NVIDIA 通過全新 Omniverse 庫、Cosmos 物理 AI 模型及 AI 計算基礎設施，為機器人領域開啟新篇章

·全新 NVIDIA Omniverse NuRec 3D Gaussian Splatting（3DGS）庫支持大規模世界重建
·全新 NVIDIA Cosmos 模型支持世界生成與空間推理
·全新 NVIDIA RTX PRO Blackwell 服務器和 NVIDIA DGX Cloud 讓開發者能夠在任何地方運行需求嚴苛的仿真
·物理 AI 領先者 Amazon Devices & Services、Boston Dynamics、Figure AI 和 Hexagon 采用仿真和合成數據生成技術

廠商供圖

SIGGRAPH——2025 年 8 月11日 ——NVIDIA 宣布推出全新 NVIDIA Omniverse? 庫和 NVIDIA Cosmos? 世界基礎模型 (WFM)，加速機器人解決方案的開發和部署。

這些庫和模型由全新 NVIDIA RTX PRO? 服務器和 NVIDIA DGX? Cloud提供支持，可幫助開發者在任何地方開發物理精確的數字孿生，在仿真中捕捉和重建現實世界，生成用于訓練物理 AI模型的合成數據，并構建理解物理世界的 AI 智能體。

NVIDIA Omniverse 和仿真技術副總裁 Rev Lebaredian 表示：“計算機圖形與 AI 的融合，從根本上改變著機器人。通過將 AI 推理與物理精準的可擴展仿真相結合，我們正幫助開發者打造未來的機器人和智能汽車，這將為各行業帶來價值數萬億美元的改變。”

全新 NVIDIA Omniverse 庫助力世界構建應用

全新 NVIDIA Omniverse 軟件開發套件 (SDK) 和庫現已推出，可用于構建和部署工業 AI和機器人開發仿真應用。

●全新 Omniverse SDK推出了 MuJoCo (MJCF) 與通用場景描述 (OpenUSD)之間的數據互操作性，幫助超過 250,000 名 MJCF 機器人學習開發者無縫地模擬各平臺的機器人。
●全新 Omniverse NuRec 庫和 AI 模型引入了 Omniverse RTX 光線追蹤 3D Gaussian Splatting（3DGS）技術，這種渲染技術可幫助開發者利用傳感器數據，在 3D 中截取、重建和模擬現實世界。
●NVIDIA Isaac Sim? 5.0和 NVIDIA Isaac Lab 2.2開源機器人仿真和學習框架現已在 GitHub 上提供。Isaac Sim現在包括 NuRec 神經渲染和基于 OpenUSD 的全新機器人及傳感器模式，幫助機器人開發者縮小仿真與現實之間的差距。

Omniverse NuRec 渲染現已集成到超過 15 萬名開發者使用的領先開源模擬器 CARLA中。 智能汽車(AV) 工具鏈領先者 Foretellix正在集成 NuRec, NVIDIA Omniverse Sensor RTX? 和 Cosmos Transfer，以增強其可擴展的合成數據生成能力，提供物理精準的場景。 Voxel51的視覺和多模態 AI 數據引擎 FiftyOne 支持 NuRec，幫助簡化重建的數據準備工作。 FiftyOne 的客戶包括福特和保時捷等。

Boston Dynamics、Figure AI、Hexagon、RAI Institute、Lightwheel 和 Skild AI 正在采用 Omniverse 庫、Isaac Sim 和 Isaac Lab，加速其 AI 機器人開發。 Amazon Devices & Services 正在使用它們來支持新的制造解決方案。

Cosmos 推動機器人世界生成進步

Cosmos WFM 下載量超過 200 萬次，可幫助開發者通過文本、圖像和視頻提示大規模生成各種用于訓練機器人的數據。

NVIDIA 在 SIGGRAPH 大會上宣布的新模型在合成數據生成速度、模型精度、語言支持和控制方面取得了重大進步：

●Cosmos Transfer-2即將發布，它簡化了提示并能從地面實況 3D 仿真場景或空間控制輸入（如深度、分割、邊緣和高清地圖）中，快速生成逼真的合成數據。
●Cosmos Transfer 的精簡版本將 70 個步驟的蒸餾過程簡化為一個步驟，開發者能夠以前所未有的速度在 NVIDIA RTX PRO 服務器上運行模型。

Lightwheel、Moon Surgical 和 Skild AI 正在利用 Cosmos Transfer 大規模模擬各種條件，加速物理 AI 訓練。

Cosmos Reason 突破對世界的理解

自 OpenAI 的 CLIP 模型推出以來，視覺語言模型(VLM) 改變了物體和模式識別等計算機視覺任務。但是，它們尚未能夠解決多步驟任務，也無法處理模糊或新穎的體驗。

NVIDIA Cosmos Reason是一款面向物理 AI 和機器人開發的全新開源、可定制的 70 億參數推理 VLM，可讓機器人和視覺 AI 智能體像人類一樣推理，利用先驗知識、物理理解和常識，理解現實世界并付諸行動。

Cosmos Reason 可用于機器人開發和物理 AI 應用，包括：

●數據管理與注釋，幫助開發者自動對海量、多樣化的訓練數據集進行高質量管理與注釋。
●機器人規劃和推理，在機器人視覺語言行為 (VLA) 模型中，充當有意識、有條理決策的大腦。Cosmos Reason 讓機器人能夠解讀環境，并在收到復雜指令時，將其分解為任務，并運用常識執行這些任務，即使是在不熟悉的環境中。
●視頻分析 AI 智能體基于可用于視頻搜索和總結的 NVIDIA Blueprint 構建，能夠從海量視頻數據中提取有價值的洞察并進行根本原因分析。

NVIDIA 的機器人和 NVIDIA DRIVE? 團隊正在使用 Cosmos Reason 進行數據管理和篩選、注釋和 VLA 后訓練。Uber 正使用它為輔助駕駛訓練數據添加注釋和字幕。

Magna正在其城市配送平臺（City Delivery platform）中使用 Cosmos Reason 進行開發。該平臺是一種完全自主、低成本的即時配送解決方案，旨在幫助車輛更快地適應新城市。Cosmos Reason 為車輛的長期軌跡規劃器增加了對世界的理解能力。VAST Data、Milestone Systems 和 Linker Vision正在采用 Cosmos Reason 實現城市和工業環境的自動化交通監控，提高安全性，并提升視覺檢查能力。

全新 NVIDIA AI 基礎設施為任何地方的機器人開發工作負載提供支持

為幫助開發者充分利用這些先進技術和軟件庫，NVIDIA 宣布推出專為極高要求工作負載而設計的 AI 基礎設施。

●NVIDIA RTX PRO Blackwell 服務器為訓練、合成數據生成、機器人學習和仿真等所有機器人開發工作負載提供統一架構。
●NVIDIA DGX Cloud現已在 Microsoft Azure Marketplace上提供，為 Omniverse 開發者提供一個完全托管的平臺，簡化從云端大規模流式傳輸基于 OpenUSD 和 NVIDIA RTX? 的應用，從而最大限度地減少基礎設施編排和管理。Accenture 和 Hexagon 是首批采用該平臺的行業領先者。

加速開發者生態系統

為了幫助機器人開發者和物理 AI 開發者推動 3D 和仿真技術的采用，NVIDIA 還宣布：

●OpenUSD 課程和認證：滿足對通用場景描述專業知識的需求，由 OpenUSD 聯盟成員 Adobe、Amazon Robotics、Ansys（Synopsys 旗下）、Autodesk、Pixar、PTC、Rockwell Automation、SideFX、Siemens、TCS 和 Trimble 以及 Hexagon 等行業領先者的支持。
●與 Lightwheel 開源協作，將機器人策略訓練和評估框架集成到 NVIDIA Isaac Lab 中，具備并行強化學習訓練功能，以及機器人操作和運動的基準測試和仿真就緒資產。