技術創新的步伐在過去一年大大加速，其中最引人注目的是 AI。2024 年，NVIDIA Research 實現了諸多無與倫比的重大突破。

NVIDIA Research 匯聚了數百名頂尖智慧精英，他們在 AI 等諸多前沿領域成為推動技術發展的中流砥柱。

在過去的一年里，NVIDIA Research 在電路、內存架構和稀疏算法方面取得了豐碩的研究成果，為未來 GPU 性能的改進奠定了堅實的基礎。NVIDIA Research 團隊發明了新穎的圖形技術，繼續提升實時渲染的標準。此外，還開發了提高 AI 能效的新方法——降低能耗、占用更少的 GPU 周期并提供更優的結果。

但今年最激動人心的進展都在生成式 AI 領域。

我們現在不僅可以生成圖像和文本，還可以生成 3D 模型、音樂和聲音。我們還開發了能夠以更好控制生成內容的技術：生成逼真的人形機器人運動，以及生成一系列具有相同主題的圖像。

在科學領域，生成式 AI 的應用能夠提供比傳統數值天氣模型更準確的高分辨率天氣預報。AI 模型使我們能夠準確地預測血糖水平對不同食物的反應。具身生成式 AI 正被用于開發自動駕駛汽車和機器人。

這些僅僅是 NVIDIA 在 2024 年取得的成就。下面，我們將深入介紹 NVIDIA Research 在生成式 AI 領域取得的最突出的成果。當然，我們將繼續為 AI 開發新的模型和方法，并期望在 2025 年取得更令人興奮的成果。

ConsiStory

AI 生成多幅以同一主角

為主題的圖像

ConsiStory 由 NVIDIA 與特拉維夫大學的研究人員聯合開發，能夠使多幅以同一主角為主題的圖像生成變得更加容易，這對于繪制連環畫或開發腳本等敘事型應用場景來說至關重要。

研究人員開發出的這個方法引入了一種名為“主體驅動的共享注意力”的技術，可將生成同一主體圖像所需的時間從 13 分鐘縮短到 30 秒左右。

閱讀 ConsiStory 論文，可訪問：https://arxiv.org/abs/2402.03286

ConsiStory 能夠生成一系列以同一人物為主題的圖像

Edify 3D

生成式 AI 進入新維度

NVIDIA Edify 3D 是一個基礎模型，它使開發人員和內容創作者能夠快速地生成 3D 物體，并利用這些物體把想法變成原型以及填充虛擬世界。

Edify 3D 可以幫助創作者使用 AI 生成的資產來快速地構思、布局和概念化沉浸式環境。無論是新手還是經驗豐富的內容創作者，都可以通過文本和圖像提示來利用該模型。該模型現在是用于開發視覺生成式 AI 的 NVIDIA Edify 多模態架構的一部分。

Fugatto

用于音樂、語音等的

靈活 AI 聲音機器

NVIDIA 的一個研究團隊最近發布了 Fugatto。利用輸入的文本和音頻，這個基礎性生成式 AI 模型可以生成或轉換由任意的音樂、人聲和聲音所構成的作品。

例如，它可以根據文本提示創作音樂片段、在現有歌曲中刪除或添加樂器、改變人聲的口音或情緒，甚至生成從未聽過的全新聲音。音樂制作人、廣告公司、視頻游戲開發者或語言學習工具的開發者都有望從中受益。

GluFormer

AI 可預測四年后的

血糖水平

AI 模型 GluFormer 由魏茲曼科學研究院、初創公司 Pheno.AI 和 NVIDIA 的研究人員共同主導開發，它能夠根據過去的血糖監測數據，預測個人未來的血糖水平和其他健康指標。

研究人員表示，在將飲食攝入數據添加到該模型中后，GluFormer 還能預測個人的血糖水平對特定食物和飲食變化的反應，實現精準的營養管理。研究團隊在其他 15 個數據集上對 GluFormer 進行了驗證，發現它能很好地預測其他群體的健康狀況，包括糖尿病前期、1 型和 2 型糖尿病、妊娠糖尿病以及肥胖癥。

LATTE3D

幾乎可以做到根據文字提示

即時生成 3D 形狀

NVIDIA Research 今年發布的另一個 3D 生成模型是 LATTE3D，它就像一臺高速的虛擬 3D 打印機，能在 1 秒內將文字提示轉換成 3D 表征。該模型生成的形狀采用標準渲染應用中常用的格式，可輕松地服務于虛擬環境中，應用在視頻游戲開發、營銷、設計項目或搭建機器人的虛擬訓練場地。

MaskedMimic

重建人形機器人的

真實運動

為了推進人形機器人的發展，NVIDIA 的研究人員發布了 MaskedMimic，這是一個 AI 框架，它能夠將圖像修復技術（即從不完整或被遮蔽的視角重建完整數據的過程）應用于運動描述中。

MaskedMimic 可以根據部分信息（例如運動的文字描述，或來自虛擬現實頭盔的頭部和手部位置數據）補全信息以推斷全身運動。它已經成為旨在加速人形機器人開發的研究項目 NVIDIA Project GR00T 的一部分。

StormCast

大大加強天氣預報、

氣候模擬

在氣候科學領域，NVIDIA Research 發布了 StormCast，這是一個用于模擬大氣動力學的生成式 AI 模型。在全球數據上訓練而成的其他機器學習模型的空間分辨率通常為 30 公里，時間分辨率為 6 小時，而 StormCast 達到了 3 公里的空間分辨率和每小時的時間分辨率。

NVIDIA 研究人員利用來自來自美國中部的約三年半美國國家海洋和大氣管理局（NOAA）氣候數據對 StormCast 進行了訓練。當與降水雷達配合使用時，StormCast 能夠提供最多提前 6 小時的預報，其準確度比 NOAA 最先進的 3 公里尺度區域天氣預報模型高出 10%。

閱讀與勞倫斯伯克利國家實驗室和華盛頓大學的研究人員合作撰寫的 StormCast 論文，可訪問：https://arxiv.org/abs/2408.10958

NVIDIA Research 在 AI、自動駕駛汽車、機器人領域創下多項新紀錄

整個 2024 年，源自 NVIDIA Research 的模型在 AI 訓練和推理、路線優化、自動駕駛等領域的基準測試中創下了多項新紀錄。

NVIDIA cuOpt 是一項用于物流改進的優化 AI 微服務，在基準測試中創造了 23 項世界紀錄。在針對 AI 訓練和推理的 MLPerf 行業基準測試中，NVIDIA Blackwell 平臺展現了世界級的性能。

在自動駕駛汽車領域，NVIDIA Research 的端到端自動駕駛模型 Hydra-MDP 在 CVPR 2024 自動駕駛國際挑戰賽上獲得了“端到端自動駕駛”賽道冠軍。

在機器人領域，FoundationPose（一個用于 6D 姿態估計和新物體跟蹤的統一基礎模型）在基于模型的不可見物體姿態估計 BOP 排行榜上名列第一。

NVIDIA Research在全球擁有數百名科學家和工程師，專注于 AI、計算機圖形學、計算機視覺、自動駕駛汽車和機器人等領域的研究。點擊“閱讀原文”了解更多有關 NVIDIA Research 的信息。

GTC 2025 將于2025 年 3 月 17 至 21 日在美國加州圣何塞及線上同步舉行。