本文是洞悉 Omniverse系列文章。“洞悉 Omniverse”重點介紹開發者、3D 從業者與企業如何使用OpenUSD和NVIDIA Omniverse的最新進展從根本上變革他們的工作流程。

開源已成為推動機器人和自主系統創新的關鍵因素。通過提供從仿真框架到 AI 模型等關鍵基礎設施的訪問權限，NVIDIA 正在推動協作式開發，加速構建更安全、更強大的自主系統。

在 1 月初的 CES 上，NVIDIA 推出了一套全新的開放物理 AI模型和框架，旨在加速人形機器人、智能汽車和其他物理 AI 具身系統的開發。這些工具覆蓋了機器人開發的整個生命周期——從高保真世界仿真和合成數據生成，到云原生編排和邊緣部署——為開發者提供了一套模塊化工具包，助力構建能夠在現實世界中進行推理、學習和行動的自主系統。

OpenUSD提供了一個通用框架，對這些物理 AI 工具間的 3D 數據在共享方式進行了標準化，使開發者能夠構建精確的數字孿生，并實現從仿真到部署的各個環節中實現無縫復用。基于 OpenUSD 構建的NVIDIA Omniverse庫作為 ground?truth 仿真數據源，為整個技術棧提供支持。

從實驗室到展廳

在 CES 2026 上，開發者們將 NVIDIA 物理 AI 堆棧從實驗室帶到展廳，首次展示了從重型設備、工廠助手到社交和服務機器人的各類設備。

該堆棧整合了NVIDIA Cosmos世界模型；NVIDIA Isaac 技術，包括用于策略評估的全新Isaac Lab-Arena開源框架；用于智能汽車的NVIDIA Alpamayo開放 AI 模型、仿真框架和物理 AI 數據集組合；以及用于跨計算環境協調訓練的NVIDIA OSMO框架。

Caterpillar 的 Cat AI 助手搭載面向代理式 AI 的NVIDIA Nemotron開放模型，并運行于 NVIDIA Jetson Thor 邊緣 AI 模組上，將自然語言交互直接引入重型車輛駕駛室。操作員可以像使用“Hey Cat”式語音指令獲取分步指導，還可以通過語音調整安全參數。

在幕后，Caterpillar利用 Omniverse 庫構建工廠和作業現場的數字孿生，以幫助模擬布局、交通流線和多機工作流。在變更部署到作業現場之前，這些洞察會被反饋到設備和車隊中，從而使 AI 輔助作業更加安全高效。

LEM Surgical展示了其 Dynamis 機器人手術系統，該系統已獲得 FDA 批準，并已在脊柱手術中投入常規臨床應用。新一代系統采用 NVIDIA Jetson AGX Thor 進行計算，NVIDIA Holoscan進行實時傳感器處理，并借助 NVIDIA Isaac for Healthcare 來訓練其自主機械臂。

LEM Surgical 還采用了 NVIDIA Cosmos Transfer (一個開放且完全可定制的世界模型，能夠生成基于物理學的合成數據) 來生成合成訓練數據，并使用 NVIDIA Isaac Sim 框架進行數字孿生仿真。Dynamis 系統是一款專為硬組織手術設計的雙臂人形手術機器人，它能夠模擬人類外科醫生的靈巧操作，并以更高的精度完成復雜的脊柱手術，從而減輕外科醫生和手術助手的體力負擔。

NEURA Robotics正在基于 NVIDIA 全套堆棧構建認知機器人，利用Isaac Sim和Isaac Lab，在基于 OpenUSD 的數字孿生中訓練其 4NE1 人形機器人和 MiPA 服務機器人，然后再將其部署到家庭和工作場所。該公司還使用 NVIDIA Isaac GR00T-Mimic 對其平臺的Isaac GR00T 基礎模型進行后訓練。

此外，NEURA Robotics 正在與 SAP 和 NVIDIA 協作，將 SAP 的 Joule 智能體集成到其機器人中，通過 Mega NVIDIA Omniverse Blueprint 在復雜、真實的運行場景中模擬和改進機器人行為，然后再將這些智能體和行為部署到公司的 Neuraverse 生態系統以及現實世界的機隊中。

智元機器人使用 NVIDIA Cosmos Predict 2 作為其 Genie Envisioner (GE-Sim) 平臺的世界建模基礎，使該平臺能夠基于強大的視覺和物理先驗知識，生成受動作控制的視頻。通過將該數據與 Isaac Sim 和 Isaac Lab 相結合，并利用智元機器人自身的數據進行后訓練，使得在 Genie Envisioner 中開發的策略能夠更可靠地遷移到 Genie2 人形機器人和 Jetson Thor 驅動的緊湊型桌面機器人。

Intbot正使用 NVIDIA Cosmos Reason 2 開放模型為其社交機器人賦予現實世界的“第六感”——通過該模型的推理能力，識別超越簡單腳本任務的簡單社交信號和安全情境。在其Cosmos Cookbook中，Intbot 展示了推理視覺語言模型如何協助機器人判斷何時開口，并實現更自然的人機交互。

機器人開發者如何利用新的工具包和框架

NVIDIA 近期推出了基于 Isaac Lab 的人形機器人操作引擎 Agile，該引擎整合了完整的仿真到現實驗證工作流，可在宇樹 G1 和?逐際動力 TRON 等平臺上訓練穩健的強化學習策略。

機器人開發者可以利用 Agile 內置的任務配置、用于決策的馬爾可夫決策過程 (Markov Decision Process) 數學模型、訓練實用工具及確定性評估工具來調整策略。然后，開發者可在 Isaac Lab 中對這些策略進行壓力測試，并將運動控制與全身行為更可靠、更高效地轉移至真實世界中的機器人。

Hugging Face 與 NVIDIA 正通過將 NVIDIA Isaac GR00T N 系列模型及仿真框架整合至LeRobot 生態系統，實現雙方機器人社區的融合。開發者現可直接在 LeRobot 平臺訪問 Isaac GR00T N1.6 模型與 Isaac Lab-Arena，從而簡化策略訓練與評估流程。

此外，Hugging Face 的開源 Reachy 2 人形機器人已經與 NVIDIA Jetson Thor 實現了全面互操作，可以直接部署高級視覺語言動作 (VLA) 模型，從而實現強大的現實世界性能。

ROBOTIS是一家領先的智能伺服電機、工業執行器、機械臂、開源人形機器人平臺和教育機器人套件開發商，該公司利用 NVIDIA Isaac 技術構建了一個開源的仿真到現實的工作流。該工作流首先在 Isaac Sim 中生成高保真數據，然后使用 GR00T-Mimic 進行數據增強以擴展訓練集，最后對基于 VLA 的 Isaac GR00T N 模型進行微調，該模型可直接部署至硬件設備——從而加速從仿真環境向穩健實際任務的遷移。