NVIDIA 通過全新 Omniverse 庫、Cosmos 物理 AI 模型及 AI 計算基礎(chǔ)設施，為機器人領(lǐng)域開啟新篇章

·全新 NVIDIA Omniverse NuRec 3D Gaussian Splatting（3DGS）庫支持大規(guī)模世界重建
·全新 NVIDIA Cosmos 模型支持世界生成與空間推理
·全新 NVIDIA RTX PRO Blackwell 服務器和 NVIDIA DGX Cloud 讓開發(fā)者能夠在任何地方運行需求嚴苛的仿真
·物理 AI 領(lǐng)先者 Amazon Devices & Services、Boston Dynamics、Figure AI 和 Hexagon 采用仿真和合成數(shù)據(jù)生成技術(shù)

廠商供圖

SIGGRAPH——2025 年 8 月11日 ——NVIDIA 宣布推出全新 NVIDIA Omniverse? 庫和 NVIDIA Cosmos? 世界基礎(chǔ)模型 (WFM)，加速機器人解決方案的開發(fā)和部署。

這些庫和模型由全新 NVIDIA RTX PRO? 服務器和 NVIDIA DGX? Cloud提供支持，可幫助開發(fā)者在任何地方開發(fā)物理精確的數(shù)字孿生，在仿真中捕捉和重建現(xiàn)實世界，生成用于訓練物理 AI模型的合成數(shù)據(jù)，并構(gòu)建理解物理世界的 AI 智能體。

NVIDIA Omniverse 和仿真技術(shù)副總裁 Rev Lebaredian 表示：“計算機圖形與 AI 的融合，從根本上改變著機器人。通過將 AI 推理與物理精準的可擴展仿真相結(jié)合，我們正幫助開發(fā)者打造未來的機器人和智能汽車，這將為各行業(yè)帶來價值數(shù)萬億美元的改變。”

全新 NVIDIA Omniverse 庫助力世界構(gòu)建應用

全新 NVIDIA Omniverse 軟件開發(fā)套件 (SDK) 和庫現(xiàn)已推出，可用于構(gòu)建和部署工業(yè) AI和機器人開發(fā)仿真應用。

●全新 Omniverse SDK推出了 MuJoCo (MJCF) 與通用場景描述 (OpenUSD)之間的數(shù)據(jù)互操作性，幫助超過 250,000 名 MJCF 機器人學習開發(fā)者無縫地模擬各平臺的機器人。
●全新 Omniverse NuRec 庫和 AI 模型引入了 Omniverse RTX 光線追蹤 3D Gaussian Splatting（3DGS）技術(shù)，這種渲染技術(shù)可幫助開發(fā)者利用傳感器數(shù)據(jù)，在 3D 中截取、重建和模擬現(xiàn)實世界。
●NVIDIA Isaac Sim? 5.0和 NVIDIA Isaac Lab 2.2開源機器人仿真和學習框架現(xiàn)已在 GitHub 上提供。Isaac Sim現(xiàn)在包括 NuRec 神經(jīng)渲染和基于 OpenUSD 的全新機器人及傳感器模式，幫助機器人開發(fā)者縮小仿真與現(xiàn)實之間的差距。

Omniverse NuRec 渲染現(xiàn)已集成到超過 15 萬名開發(fā)者使用的領(lǐng)先開源模擬器 CARLA中。 智能汽車(AV) 工具鏈領(lǐng)先者 Foretellix正在集成 NuRec, NVIDIA Omniverse Sensor RTX? 和 Cosmos Transfer，以增強其可擴展的合成數(shù)據(jù)生成能力，提供物理精準的場景。 Voxel51的視覺和多模態(tài) AI 數(shù)據(jù)引擎 FiftyOne 支持 NuRec，幫助簡化重建的數(shù)據(jù)準備工作。 FiftyOne 的客戶包括福特和保時捷等。

Boston Dynamics、Figure AI、Hexagon、RAI Institute、Lightwheel 和 Skild AI 正在采用 Omniverse 庫、Isaac Sim 和 Isaac Lab，加速其 AI 機器人開發(fā)。 Amazon Devices & Services 正在使用它們來支持新的制造解決方案。

Cosmos 推動機器人世界生成進步

Cosmos WFM 下載量超過 200 萬次，可幫助開發(fā)者通過文本、圖像和視頻提示大規(guī)模生成各種用于訓練機器人的數(shù)據(jù)。

NVIDIA 在 SIGGRAPH 大會上宣布的新模型在合成數(shù)據(jù)生成速度、模型精度、語言支持和控制方面取得了重大進步：

●Cosmos Transfer-2即將發(fā)布，它簡化了提示并能從地面實況 3D 仿真場景或空間控制輸入（如深度、分割、邊緣和高清地圖）中，快速生成逼真的合成數(shù)據(jù)。
●Cosmos Transfer 的精簡版本將 70 個步驟的蒸餾過程簡化為一個步驟，開發(fā)者能夠以前所未有的速度在 NVIDIA RTX PRO 服務器上運行模型。

Lightwheel、Moon Surgical 和 Skild AI 正在利用 Cosmos Transfer 大規(guī)模模擬各種條件，加速物理 AI 訓練。

Cosmos Reason 突破對世界的理解

自 OpenAI 的 CLIP 模型推出以來，視覺語言模型(VLM) 改變了物體和模式識別等計算機視覺任務。但是，它們尚未能夠解決多步驟任務，也無法處理模糊或新穎的體驗。

NVIDIA Cosmos Reason是一款面向物理 AI 和機器人開發(fā)的全新開源、可定制的 70 億參數(shù)推理 VLM，可讓機器人和視覺 AI 智能體像人類一樣推理，利用先驗知識、物理理解和常識，理解現(xiàn)實世界并付諸行動。

Cosmos Reason 可用于機器人開發(fā)和物理 AI 應用，包括：

●數(shù)據(jù)管理與注釋，幫助開發(fā)者自動對海量、多樣化的訓練數(shù)據(jù)集進行高質(zhì)量管理與注釋。
●機器人規(guī)劃和推理，在機器人視覺語言行為 (VLA) 模型中，充當有意識、有條理決策的大腦。Cosmos Reason 讓機器人能夠解讀環(huán)境，并在收到復雜指令時，將其分解為任務，并運用常識執(zhí)行這些任務，即使是在不熟悉的環(huán)境中。
●視頻分析 AI 智能體基于可用于視頻搜索和總結(jié)的 NVIDIA Blueprint 構(gòu)建，能夠從海量視頻數(shù)據(jù)中提取有價值的洞察并進行根本原因分析。

NVIDIA 的機器人和 NVIDIA DRIVE? 團隊正在使用 Cosmos Reason 進行數(shù)據(jù)管理和篩選、注釋和 VLA 后訓練。Uber 正使用它為輔助駕駛訓練數(shù)據(jù)添加注釋和字幕。

Magna正在其城市配送平臺（City Delivery platform）中使用 Cosmos Reason 進行開發(fā)。該平臺是一種完全自主、低成本的即時配送解決方案，旨在幫助車輛更快地適應新城市。Cosmos Reason 為車輛的長期軌跡規(guī)劃器增加了對世界的理解能力。VAST Data、Milestone Systems 和 Linker Vision正在采用 Cosmos Reason 實現(xiàn)城市和工業(yè)環(huán)境的自動化交通監(jiān)控，提高安全性，并提升視覺檢查能力。

全新 NVIDIA AI 基礎(chǔ)設施為任何地方的機器人開發(fā)工作負載提供支持

為幫助開發(fā)者充分利用這些先進技術(shù)和軟件庫，NVIDIA 宣布推出專為極高要求工作負載而設計的 AI 基礎(chǔ)設施。

●NVIDIA RTX PRO Blackwell 服務器為訓練、合成數(shù)據(jù)生成、機器人學習和仿真等所有機器人開發(fā)工作負載提供統(tǒng)一架構(gòu)。
●NVIDIA DGX Cloud現(xiàn)已在 Microsoft Azure Marketplace上提供，為 Omniverse 開發(fā)者提供一個完全托管的平臺，簡化從云端大規(guī)模流式傳輸基于 OpenUSD 和 NVIDIA RTX? 的應用，從而最大限度地減少基礎(chǔ)設施編排和管理。Accenture 和 Hexagon 是首批采用該平臺的行業(yè)領(lǐng)先者。

加速開發(fā)者生態(tài)系統(tǒng)

為了幫助機器人開發(fā)者和物理 AI 開發(fā)者推動 3D 和仿真技術(shù)的采用，NVIDIA 還宣布：

●OpenUSD 課程和認證：滿足對通用場景描述專業(yè)知識的需求，由 OpenUSD 聯(lián)盟成員 Adobe、Amazon Robotics、Ansys（Synopsys 旗下）、Autodesk、Pixar、PTC、Rockwell Automation、SideFX、Siemens、TCS 和 Trimble 以及 Hexagon 等行業(yè)領(lǐng)先者的支持。
●與 Lightwheel 開源協(xié)作，將機器人策略訓練和評估框架集成到 NVIDIA Isaac Lab 中，具備并行強化學習訓練功能，以及機器人操作和運動的基準測試和仿真就緒資產(chǎn)。