AI 與圖形學在神經渲染、3D 生成和世界仿真方面的研究突破，正在推動機器人、自動駕駛汽車和內容創作的發展。

物理 AI 是現代機器人、自動駕駛汽車和智能空間背后的引擎，它融合了神經圖形學、合成數據生成、基于物理的仿真、強化學習以及 AI 推理等多種技術。作為一個全球性團隊，NVIDIA 研究中心在近 20 年的時間里，持續推動著如今正走向融合的 AI 與圖形學領域的發展。

NVIDIA 研究中心的負責人在溫哥華舉行的 SIGGRAPH 上發表特別演講，重點介紹助力物理 AI 與空間 AI 發展的圖形學及仿真創新成果。SIGGRAPH 是全球領先的計算機圖形大會，活動將持續至當地時間 8 月 14 日（周四）。

NVIDIA AI 研究副總裁 Sanja Fidler 表示：“AI 正在提升我們的仿真能力，而我們的仿真技術也在推動 AI 系統的發展。這兩個領域之間存在著真實且強大的協同效應，這種深度聯動非常罕見。”

在 SIGGRAPH 大會上，NVIDIA 發布多款用于物理 AI 的全新軟件庫，包括用于大規模場景重建的NVIDIA Omniverse NuRec 3D Gaussian Splatting 庫、用于視覺 AI 的NVIDIA Metropolis平臺的更新，以及NVIDIA Cosmos和NVIDIA Nemotron推理模型。Cosmos Reason是一款面向物理 AI 的全新推理視覺語言模型，可使機器人和視覺 AI 智能體利用先驗知識、物理規律理解和常識實現類似人類的推理能力。

這其中很多創新研究都是 NVIDIA 研究中心全球團隊的突破性成果，團隊在本次展會上發表了十多篇關于神經渲染、實時路徑追蹤、合成數據生成和強化學習等領域的前沿論文，這些功能將可為下一代物理 AI 工具提供支持。

物理 AI 如何將圖形、AI 和機器人開發相結合

物理 AI 開發首先要構建高保真、符合物理規律的 3D 環境。如果沒有這些逼真的虛擬環境，開發者就無法在仿真環境中有效訓練人形機器人等先進物理 AI 系統，因其在虛擬訓練中學習的技能無法有效擴展到現實世界。

想象一下這些場景，一臺農業機器人能夠精確施加力道來采摘桃子，而不造成磕傷，或者一個制造機器人在毫米級精度要求的設備上精準組裝微型電子元件。

NVIDIA 研究副總裁 Ming-Yu Liu 表示：“物理 AI 需要一個觸感真實的虛擬環境，一個讓機器人能通過試錯安全學習的并行宇宙。為構建這樣的虛擬世界，我們需要五大核心技術：實時渲染、計算機視覺、物理運動仿真、2D 及 3D 生成式 AI，以及 AI 推理能力。這些正是 NVIDIA 研究中心近二十年來潛心鉆研的領域。”

NVIDIA 在光線追蹤和實時計算機圖形領域擁有深厚積淀，從 2006 年創立開始，這些突破性研究在實現物理 AI 仿真方面發揮著關鍵作用。當前，大量渲染工作也由 AI 模型完成，這一技術被被稱為神經渲染。

NVIDIA 圖形研究副總裁兼實時圖形研究小組負責人 Aaron Lefohn 表示：“我們的核心渲染研究推動了用于訓練高級物理 AI 的逼真虛擬世界的構建，同樣 AI 也反過來幫助我們將圖像轉化為 3D 世界。我們現在已經能夠將任何人都可以接觸到的媒體形式，也就是照片和視頻，快速重建為虛擬 3D 環境。”

神經重建和渲染技術借助 AI，處理從現實攝像頭或其他傳感器中捕獲的數據，來生成逼真的 3D 場景表達。

這項在正向渲染（將 3D 轉換為 2D）和反向渲染（將 2D 轉換為 3D）方面的基礎性研究，融合了多年來在物理運動仿真領域的研究與產品創新，其中包括 Fidler Spatial Intelligence Lab 的成果。該實驗室發布了視頻位姿引擎 ViPE——這是一款與 Dynamic Vision Lab 及 NVIDIA Isaac 團隊合作開發的視頻 3D 幾何標注流程，能夠根據業余錄制內容、行車記錄儀內容或電影鏡頭，估算攝像頭運動并生成詳細的深度圖。

在生成式 AI 領域，Ming-Yu Liu的深度想象研究小組作為 NVIDIA 研究中心的先驅力量，開創了計算機視覺、Transformer 模型和視覺生成式 AI 模型，使物理 AI 系統能夠理解和預測世界的未來狀態，例如汽車闖紅燈時的潛在事故場景或水杯過于接近桌子邊緣時導致的墜落軌跡。

這些技術突破為 NVIDIA Cosmos 奠定了基礎，該平臺于今年早些時候推出，通過整合世界基礎模型、后訓練庫以及加速數據處理和工作流來加速物理 AI 的開發。

NVIDIA 研究中心亮相 SIGGRAPH 大會

NVIDIA 研究人員在 SIGGRAPH 大會上展示了在仿真、AI 驅動的渲染和 3D 內容生成領域的技術突破，在創建虛擬世界、機器人開發和自動駕駛汽車訓練方面具有應用潛力。

一篇論文討論了從 2D 圖像或視頻中重建具有物理感知的 3D 幾何體的挑戰。雖然許多模型可以根據視頻片段評估 3D 對象，但生成的 3D 形態通常缺乏結構穩定性。即使其視覺匹配度與真實物體高度接近，仍可能出現比例輕微失衡或缺少細節，從而影響其物理真實感。

例如，基于 2D 影像構建的 3D 椅子模型，在放入物理精度準確的仿真環境中時，可能會發生結構坍塌，其根源在于 AI 模型是對 3D 結構進行視覺估計，而非基于真實測量數據。本文提出的方法通過確保生成的 3D 形狀符合真實物理規律，來避免出現該問題，并為物理 AI 訓練創建虛擬世界提供支持。

右側：靜止狀態。左側：仿真狀態。顏色顯示了仿真幾何結構中的應力分布。視頻中出現的抖動是由于在優化過程的每次迭代中施加了隨機擾動所致。

另一篇論文介紹了一種能夠通過物理精度準確的動作賦予仿真角色真實動態的技術。研究人員將運動生成器與物理驅動的追蹤控制器相結合，為復雜的動作（例如跑酷者的特技）生成逼真的合成數據。

這些數據有助于開發虛擬角色，或訓練現實世界中的人形機器人掌握靈活的運動技能——這類技能在現實訓練數據中非常罕見。這將拓展機器人能夠完成的物理行為的范圍，使其能夠執行諸如穿越復雜地形以支持應急響應等任務。

其他論文探討了光線和材質仿真的復雜性。

大會中，通過一個項目展示了藝術家如何創建 AI 助手來增強材質細節。它利用擴散模型和基于物理效果的可微分渲染器，使創作者能夠在 3D 模型基礎上便捷修改材質紋理貼圖，進而僅通過文本提示來創建更豐富、更逼真的虛擬世界。

該團隊展示了如何利用該模型來快速添加逼真的物體細節，比如風化或老化跡象，而通常來說，使用傳統渲染方法創建此類細節非常耗時。這些物體可批量填充虛擬環境，服務于游戲等創意場景，也可用于物理仿真應用，例如在仿真器中訓練機器人和自動駕駛汽車。

在光照仿真領域，另一篇 SIGGRAPH 論文通過引入一個穩健的可微分可見性查詢機制，來解決可微分渲染中的挑戰，顯著提升了從影像與視頻數據重建 3D 幾何結構的效率與精度。

可微分渲染器能夠基于圖像和視頻重建 3D 場景。NVIDIA 研究人員將可微分渲染器與生成的基礎模型相結合，來創建 3D 內容創作的 AI 助手。

這篇論文展現了 NVIDIA 研究中心的前沿突破：它將正向渲染和反向渲染結合起來，從虛擬世界中快速提取參數，這些參數對于基于合成數據集來訓練高精度物理 AI 模型至關重要。