“洞悉 Omniverse”系列文章將重點介紹藝術家、開發者和企業如何使用通用場景描述和 NVIDIA Omniverse 的最新技術改變其工作流程。

NVIDIA Cosmos 通過可預測未來世界狀態的世界基礎模型加速物理 AI 的發展。

物理 AI 是 AI 的下一個風口。物理 AI 模型不但能夠理解指令，還能夠在現實世界中進行感知和交互并執行復雜的動作，因此可用于驅動機器人、自動駕駛汽車等自主機器。

物理 AI 模型理解世界和生成動作的方式類似于大語言模型處理和生成文本的方式。為此，物理 AI 模型必須在仿真模擬環境中接受訓練，以便理解重力、摩擦力、慣性等物理動力學知識、幾何和空間關系以及因果原理。

全球軟件開發和專業服務領域的領先企業正在使用 OpenUSD 驅動的 NVIDIA Omniverse 構建新產品和服務。這些產品和服務將加速 AI 和可控模擬仿真的發展，幫助企業創建被稱為數字孿生的逼真虛擬世界，并利用數字孿生所具有的空前精度與細節訓練物理 AI。

使用 Omniverse 和 NVIDIA Cosmos

成倍生成合成數據

NVIDIA 在 CES 上發布的生成式 AI 模型和藍圖將 Omniverse 更加深入地集成到機器人、自動駕駛汽車、視覺 AI 等物理 AI 應用中。

NVIDIA Cosmos 是一個由先進生成式世界基礎模型、高級 tokenizer、護欄和加速視頻處理管線組成的平臺。該平臺的所有組成部分都是為了加速物理 AI 的開發。

物理 AI 模型的開發過程不僅成本高昂、資源和時間耗費巨大，而且還需要大量現實數據和進行大量實際測試。Cosmos 的世界基礎模型(WFM)基于多模態輸入以視頻的形式預測未來世界的狀態，使開發者能夠輕松生成大量逼真、基于物理學的合成數據，并使用這些數據訓練和評估用于機器人、自動駕駛汽車與機器的 AI。開發者還可以通過微調 Cosmos WFM，建立下游世界模型或提高特定物理 AI 用例的質量和效率。

在與 Omniverse 搭配使用時，Cosmos 可創建一個強大的合成數據倍增引擎。開發者可以使用 Omniverse 創建 3D 場景，然后將輸出結果輸入 Cosmos 生成可控的視頻和變化。它能夠成倍快速生成涵蓋各種環境和交互的訓練數據，大幅加快自動駕駛汽車和機器人等物理 AI 系統的開發速度。

使用 OpenUSD 可以將這些場景中的數據無縫整合并以統一的方式呈現，提高仿真模擬的真實性與有效性。

Cosmos 的首批用戶中有多家領先的機器人和汽車公司，包括 1X、Agile Robots、Agility Robotics、Figure AI、Foretellix、Fourier、Galbot、Hillbot、IntBot、Neura Robotics、Skild AI、Virtual Incision、Waabi 和小鵬，以及共享出行巨頭 Uber。

Cosmos 在物理 AI 用例中的應用

Cosmos WFM 提供了一個為各種應用開發、訓練和部署大規模 AI 模型的統一框架，為各行各業帶來了變革。例如汽車、工業和機器人領域的企業現在能夠運用生成式物理 AI 和仿真模擬的力量加快創新并提高運營效率。

人形機器人：適用于合成運動生成的 NVIDIA Isaac GR00T Blueprint 幫助開發者生成海量合成運動數據集，以便使用模仿學習訓練人形機器人。借助 GR00T 工作流，用戶可以捕捉人類動作并使用 Cosmos 將數據集的規模和種類增加數倍，使其更加適合用于訓練物理 AI 系統。

自動駕駛汽車：Omniverse Sensor RTX API 驅動的自動駕駛汽車(AV)仿真使自動駕駛汽車開發者能夠播放駕駛數據、生成新的 ground-truth 數據和進行閉環測試，從而加快開發流程。開發者可以使用 Cosmos 生成合成駕駛場景，令訓練數據成倍增加，加快自動駕駛汽車物理 AI 模型的開發速度。全球共享出行巨頭 Uber 正在與 NVIDIA 合作，共同加速自動駕駛汽車的發展。Uber 能夠提供的豐富駕駛數據集，結合 Cosmos 和 NVIDIA DGX Cloud，幫助自動駕駛汽車伙伴更加高效地構建更強大的 AI 模型。

工業：Mega 是一種 Omniverse Blueprint，用于在基于 USD 的數字孿生中大規模開發、測試和優化將被部署到工廠和倉庫的物理 AI 與機器人機隊。該藍圖使用 Omniverse Cloud Sensor RTX API 同時渲染來自各類智能機器的多傳感器數據，實現大規模、高保真的傳感器仿真。Cosmos 通過生成合成邊緣案例場景來豐富訓練數據，大大提高了使用 Mega 在仿真中訓練機器人的效果和效率。供應鏈方案提供商 KION Group 是首批使用 Mega 推動零售、消費品包裝、包裹服務等行業倉庫自動化的企業之一。

進入 OpenUSD 的世界

關于 Cosmos 的更多信息，請觀看 NVIDIA 首席執行官黃仁勛 CES 主題演講回放視頻，并開始使用 Cosmos WFM。Cosmos WFM 現在可通過 Hugging Face 和 NVIDIA NGC 產品目錄上的開放模型許可證獲得。

通過 NVIDIA 深度學習培訓中心為 3D 開發者和從業者免費提供的全新 Learn OpenUSD 自學課程，了解如何持續優化 OpenUSD 工作流。有關 OpenUSD 的更多資源，請訪問 OpenUSD 論壇聯盟和 AOUSD 網站。