NVIDIA 最新推出的開放模型與框架，整合了仿真、機器人學習與嵌入式計算，旨在加速云端到實體機器人的工作流。

下一代機器人將是通用型專家，既能理解指令、學習通用技能，又可針對特定任務進行訓練。

可以將他們看作既博采眾長、也能勝任特定工作的“萬能型選手“。

構建此類機器人需打通云端到機器人的集成工作流，從而實現確保數據采集與生成、訓練并評估控制策略，最終安全部署至實體設備都能無縫銜接。這些通用型專家系統依賴推理視覺語言動作 (VLA) 模型，以實現智能感知、理解并執行多樣化任務。

為加速這一變革，NVIDIA Isaac 開放平臺為機器人開發者提供包括模型、數據管線、仿真框架、運行時庫的完整工具鏈，依托 NVIDIA“三臺計算機解決方案“，實現機器人的大規模構建與部署。同時，NVIDIA 提供開放 VLA 模型 NVIDIA Isaac GR00T N，為開發者引導并后訓練其機器人智能奠定基礎。

這些模型、庫和框架可在云端或邊緣 AI 基礎設施運行，并通過集成 OpenClaw 等長時間運行智能體進一步加速。

GTC 2026 上，NVIDIA 發布了全新智能體友好型模型 NVIDIA Isaac GR00T、Isaac 機器人仿真與學習框架，以及邊緣 AI 系統。NVIDIA 為開發者帶來面向通用型專家自主化時代的新一代強大工具。

這些開放工作流采用模塊化設計，開發者可自由組合組件、集成自有工具與數據，并加速從原型開發到現實世界部署的進程。

Agility 通過 NVIDIA Isaac 開放框架實現機器人虛實遷移

而這一切都始于數據。

將算力轉化為數據

僅在幾年前，擴展機器人流程仍高度依賴開發者手動采集數據：機器人的學習效果取決于其接觸的現實世界環境與不同的場景。

NVIDIA 開放庫和框架改變這一局面：通過將傳感器日志與遙操作演示等現實世界信號與仿真生成數據相結合，迅速將云端算力轉化為海量的可用數據。

高保真且物理精確的合成數據，正幫助開發者突破人工采集的局限：很難或者幾乎不可能獲取足量的罕見邊緣場景物理數據。這些邊緣場景的數據人工難以獲取或存在安全風險，卻是機器人在不可預測的現實環境中大規模部署前必須掌握的核心能力。

據 Gartner 報告，當前合成數據僅占邊緣場景 AI 訓練數據的 20%，但到 2030 年這一比例預計將超過 90%。

NVIDIA 正借助庫與開放框架推動這一轉變，持續賦能基于現實世界構建的高保真合成數據工廠。

NVIDIA Omniverse NuRec 加速的 3D Gaussian Splatting 庫現已全面開放下載。它可將現實世界的真實傳感器數據轉化為基于 OpenUSD 的交互式仿真場景，并集成至開放機器人仿真框架 NVIDIA Isaac Sim。這使得開發者能根據傳感器數據掃描并重建真實世界，從而在基于真實物理交互的仿真環境中安全測試機器人。

FieldAI 結合 Omniverse NuRec 與其世界級機器人基礎模型，助力工業客戶將機器人與物理 AI 輕松部署至工作流中

真實數據也可通過遙操作設備采集。借助已全面開放的 NVIDIA Isaac Teleop，開發者能夠通過 XR(擴展現實)頭戴式耳機、身體追蹤器及手套等遙操作設備收集數據，可在現實世界和仿真環境中創建演示數據，并將其用于在 NVIDIA Isaac Lab 等仿真環境中訓練機器人。

借助 NVIDIA Isaac Teleop，開發者可無縫采集真實世界與仿真環境中的演示數據。

這些數據集隨后通過全新的 NVIDIA 物理 AI 數據工廠 Blueprint 進行擴展。該藍圖將數據增強、評估與編排統一至單一工作流。

依托 NVIDIA Cosmos 開放世界基礎模型與開源智能體編排器 NVIDIA OSMO，此參考工作流為機器人提供可擴展的生產就緒型數據引擎。基于該藍圖，開發者可以將單一的現實場景轉化為全新且多樣化的合成場景，而所花費的時間僅為在現實世界中采集同類數據所需時間的一小部分。

除環境與數據仿真外，機器人開發者還需對機器人本體進行仿真。通過 NVIDIA Isaac Sim，開發者可從人形機器人、自主移動機器人及機械臂中選擇，并按現實世界的規格對虛擬模型進行骨骼綁定。

Isaac Sim 與 PTC Onshape 深度集成，簡化機器人仿真中的骨骼綁定與修改流程

機器人采用 OpenUSD 格式渲染，能與生成環境和數據無縫交互。其動作和軌跡可被記錄、回放并用于訓練 AI 模型——所有環節均在接觸現實硬件之前，在仿真環境中安全完成。

經受 AI 考驗：策略訓練

當教學素材 (即數據集) 就緒后，機器人就可開始學習新任務。這一過程始于如 GR00T 等 VLA 推理模型驅動的機器人大腦。

VLA 模型可基于特定任務數據進行后訓練。比如：折疊衣服的機器人需掌握抓取衣物、識別形狀、精準折疊及整齊堆疊;烹飪機器人需精通切菜、攪拌與煎炒;醫院護理機器人須學會在走廊自主導航、找到電梯及向醫護或患者傳遞物品。

借助光輪智能的仿真數據，機械臂在 NVIDIA Isaac Sim 中學習如何疊襯衫

VLA 模型完成后訓練后，開發者即可對機器人策略進行全面驗證。在現實世界中訓練此類機器人往往耗時過長、成本高昂且風險巨大。因此開發者轉而使用仿真框架，比如最新發布的 Isaac Lab 3.0 等進行訓練。Isaac Lab 3.0 能同時運行數千個輕量級物理仿真環境，讓機器人安全地并行演練多種場景，在短短幾天內即可完成在現實世界中原本需要數年才能積累的學習量。

下一代機器人將是通用型專家，既能理解指令、學習通用技能，又可針對特定任務進行訓練。

可以將他們看作既博采眾長、也能勝任特定工作的“萬能型選手“。

構建此類機器人需打通云端到機器人的集成工作流，從而實現確保數據采集與生成、訓練并評估控制策略，最終安全部署至實體設備都能無縫銜接。這些通用型專家系統依賴推理視覺語言動作 (VLA) 模型，以實現智能感知、理解并執行多樣化任務。

為加速這一變革，NVIDIA Isaac 開放平臺為機器人開發者提供包括模型、數據管線、仿真框架、運行時庫的完整工具鏈，依托 NVIDIA“三臺計算機解決方案“，實現機器人的大規模構建與部署。同時，NVIDIA 提供開放 VLA 模型 NVIDIA Isaac GR00T N，為開發者引導并后訓練其機器人智能奠定基礎。

這些模型、庫和框架可在云端或邊緣 AI 基礎設施運行，并通過集成 OpenClaw 等長時間運行智能體進一步加速。

GTC 2026 上，NVIDIA 發布了全新智能體友好型模型 NVIDIA Isaac GR00T、Isaac 機器人仿真與學習框架，以及邊緣 AI 系統。NVIDIA 為開發者帶來面向通用型專家自主化時代的新一代強大工具。

這些開放工作流采用模塊化設計，開發者可自由組合組件、集成自有工具與數據，并加速從原型開發到現實世界部署的進程。

Agility 通過 NVIDIA Isaac 開放框架實現機器人虛實遷移

而這一切都始于數據。

將算力轉化為數據

僅在幾年前，擴展機器人流程仍高度依賴開發者手動采集數據：機器人的學習效果取決于其接觸的現實世界環境與不同的場景。

NVIDIA 開放庫和框架改變這一局面：通過將傳感器日志與遙操作演示等現實世界信號與仿真生成數據相結合，迅速將云端算力轉化為海量的可用數據。

高保真且物理精確的合成數據，正幫助開發者突破人工采集的局限：很難或者幾乎不可能獲取足量的罕見邊緣場景物理數據。這些邊緣場景的數據人工難以獲取或存在安全風險，卻是機器人在不可預測的現實環境中大規模部署前必須掌握的核心能力。

據 Gartner 報告，當前合成數據僅占邊緣場景 AI 訓練數據的 20%，但到 2030 年這一比例預計將超過 90%。

NVIDIA 正借助庫與開放框架推動這一轉變，持續賦能基于現實世界構建的高保真合成數據工廠。

NVIDIA Omniverse NuRec 加速的 3D Gaussian Splatting 庫現已全面開放下載。它可將現實世界的真實傳感器數據轉化為基于 OpenUSD 的交互式仿真場景，并集成至開放機器人仿真框架 NVIDIA Isaac Sim。這使得開發者能根據傳感器數據掃描并重建真實世界，從而在基于真實物理交互的仿真環境中安全測試機器人。

FieldAI 結合 Omniverse NuRec 與其世界級機器人基礎模型，助力工業客戶將機器人與物理 AI 輕松部署至工作流中

真實數據也可通過遙操作設備采集。借助已全面開放的 NVIDIA Isaac Teleop，開發者能夠通過 XR(擴展現實)頭戴式耳機、身體追蹤器及手套等遙操作設備收集數據，可在現實世界和仿真環境中創建演示數據，并將其用于在 NVIDIA Isaac Lab 等仿真環境中訓練機器人。

借助 NVIDIA Isaac Teleop，開發者可無縫采集真實世界與仿真環境中的演示數據。

這些數據集隨后通過全新的 NVIDIA 物理 AI 數據工廠 Blueprint 進行擴展。該藍圖將數據增強、評估與編排統一至單一工作流。

依托 NVIDIA Cosmos 開放世界基礎模型與開源智能體編排器 NVIDIA OSMO，此參考工作流為機器人提供可擴展的生產就緒型數據引擎。基于該藍圖，開發者可以將單一的現實場景轉化為全新且多樣化的合成場景，而所花費的時間僅為在現實世界中采集同類數據所需時間的一小部分。

除環境與數據仿真外，機器人開發者還需對機器人本體進行仿真。通過 NVIDIA Isaac Sim，開發者可從人形機器人、自主移動機器人及機械臂中選擇，并按現實世界的規格對虛擬模型進行骨骼綁定。

Isaac Sim 與 PTC Onshape 深度集成，簡化機器人仿真中的骨骼綁定與修改流程

機器人采用 OpenUSD 格式渲染，能與生成環境和數據無縫交互。其動作和軌跡可被記錄、回放并用于訓練 AI 模型——所有環節均在接觸現實硬件之前，在仿真環境中安全完成。

經受 AI 考驗：策略訓練

當教學素材 (即數據集) 就緒后，機器人就可開始學習新任務。這一過程始于如 GR00T 等 VLA 推理模型驅動的機器人大腦。

VLA 模型可基于特定任務數據進行后訓練。比如：折疊衣服的機器人需掌握抓取衣物、識別形狀、精準折疊及整齊堆疊;烹飪機器人需精通切菜、攪拌與煎炒;醫院護理機器人須學會在走廊自主導航、找到電梯及向醫護或患者傳遞物品。

借助光輪智能的仿真數據，機械臂在 NVIDIA Isaac Sim 中學習如何疊襯衫

VLA 模型完成后訓練后，開發者即可對機器人策略進行全面驗證。在現實世界中訓練此類機器人往往耗時過長、成本高昂且風險巨大。因此開發者轉而使用仿真框架，比如最新發布的 Isaac Lab 3.0 等進行訓練。Isaac Lab 3.0 能同時運行數千個輕量級物理仿真環境，讓機器人安全地并行演練多種場景，在短短幾天內即可完成在現實世界中原本需要數年才能積累的學習量。

Hexagon Robotics 的 AEON 人形機器人在 NVIDIA Isaac Lab 中并行學習如何上下樓梯

Isaac Lab 已集成開源機器人學習物理引擎 Newton。借助 Newton，開發者可耦合多種物理求解器。這些求解器通過重力、慣性及碰撞約束等物理法則計算物體的運動，從而確保仿真行為的真實性。該技術使開發者能夠對機器人如何與布料等軟體對象交互，或如何在雪地、礫石等復雜地形中的行進進行仿真。

機器人開發者還可調用 NVIDIA Isaac 庫與 AI 模型，這些組件優化了邊緣端的運行時部署，并為操作與移動任務提供了核心構建塊：

Isaac for Manipulation：賦予機器人物體感知、幾何與位姿理解及抓取能力。開發者將感知模型與 GPU 加速的運動生成相結合，使機器人能在雜亂、動態場景中快速規劃并重新規劃動作;

Isaac for Mobility：為機器人定位、建圖與安全導航提供基礎。開發者利用 GPU 加速的視覺里程計與 SLAM 技術實現穩定定位，并配合實時 3D 重建技術規避障礙物及環境變化。

1X 的 NEO 機器人在 NVIDIA Isaac Lab 中學習在多樣地形上行走

為確保基于仿真的學習能夠遷移至現實世界，Isaac Sim 與 Isaac Lab 現已支持 Newton、NVIDIA PhysX 及 Google DeepMind Mujoco 等物理引擎，開發者無需調整機器人參數即可在不同框架間輕松切換。

僅訓練單一技能遠遠不夠，開發者還需要確保機器人技能能夠跨環境與任務遷移。最新發布的 Isaac Lab-Arena 支持大規模任務配置與策略評估，簡化了環境構建流程并加速復雜任務的創建，使開發者能并行評估多種任務。Isaac Lab-Arena 還可對接 LIBERO、RoboTwin 及 NIST 等工業與學術基準測試，便于開發者評估進展。

部署前的關鍵步驟：測試

在正式部署前，機器人必須在多種不同條件下反復測試其所學內容。從機器人運動與操作，到機器人動力學對每項任務的響應方式等每個細節，都必須在機器人投入現實世界運行前經過全面評估。

Cyngn 在 NVIDIA Isaac Sim 中測試叉車輪胎在不同坡度上的動力學表現。

全面測試包含兩種模式：軟件在環 (SIL) 僅測試機器人軟件棧，而硬件在環 (HIL) 則驗證軟件棧在機器人大腦(即邊緣計算單元)上的實際運行效果。

Isaac Sim 同時支持硬件在環與軟件在環測試，方便開發者能在測試與迭代過程中輕松切換真實環境與仿真環境。

Wandelbots 借助 NVIDIA Isaac Sim 在高保真仿真環境中測試工廠自動化機器人

最新版 Isaac Sim 旨在幫助開發者無縫銜接各類工作流而設計：支持 NuRec 渲染以簡化數據輸入;同時，多物理后端使機器人能無需大調整，即可在 Isaac Sim 與 Isaac Lab 間自由遷移。

此外，該平臺還可直接連接 Mega——NVIDIA 專為在數字孿生中大規模開發、測試并優化物理 AI 及機器人集群打造的 NVIDIA Blueprint。機器人開發者能將測試規模從單個機器人輕松擴展至多臺甚至整個機器人集群。

Idealworks 借助 NVIDIA Isaac Sim 與 Mega，在基于物理規律的工廠環境中同時測試多臺機器人

借助 NVIDIA Isaac 工作流與 Jetson 模組在現實世界中運行

當準備就緒進入部署階段，開發者就需要高性能計算平臺：能夠無縫運行模型、處理多樣化的高速傳感器數據，并在邊緣端支持各種形態與尺寸的機器人。

包括 Jetson Thor 與 Jetson Orin 在內的 NVIDIA Jetson 系列產品為全譜系 AI 驅動的機器人提供支持，實現從微型機械臂到全尺寸人形機器人的實時感知與 AI 推理能力。

智元機器人和 Bedrock 正在使用 NVIDIA Jetson 部署專為現實世界設計的機器人。

此外，NVIDIA Isaac 運行時庫優化了邊緣端機器人策略的運行方式。最新開源的 cuVSLAM 庫能夠幫助機器人實時定位自身位置并構建地圖，并通過基于 Jetson 的嵌入式計算機實現精確且可靠的運動追蹤。

探索新前沿

隨著機器人成為通用型專家智能體，研究人員需要可進化的工作流，以便于迭代現有技能，而非從零開始重建。

NVIDIA 新推出的開放研究框架 SOMA-X 通過標準化 AI、仿真與實體機器人之間的骨骼結構、動作及身份表示來幫助解決這一問題。

借助 SOMA-X，團隊無需重復進行骨骼綁定、動作重定向或集成，便可以更換不同的本體模型或機器人平臺，并確保 Isaac Sim、Isaac Lab 和基于 GR00T 的管線在硬件和軟件不斷迭代的同時穩定運行。

隨著新本體模型、數據集或硬件出現，開發者可以在無需破壞現有的工具或像 OpenClaw 這樣的長時間運行智能體情況下，接入相同的 SOMA-X 共享表示形式。這些智能體正不斷訓練、評估并部署新行為。

在此共享本體層之上，面向研究人員的新基礎模型 GEAR-SONIC 現已上線，為人形機器人提供了強大的功能。該模型基于 Isaac Lab 中的大規模人類動作數據進行訓練，能夠教會機器人行走、爬行、操作物體等一系列自然全身技能。這一切均通過采用單一統一策略實現，而非依賴多個特定任務控制器。

安全工具與入門資源

NVIDIA 機器人技術棧配套提供完善的安全工具和入門資源，旨在幫助團隊快速從實驗階段過渡到規模化部署的可靠系統中。

NVIDIA Halos：完整的全棧安全系統，通過覆蓋從云端到機器人的的端到端安全護欄，為機器人的安全開發、訓練和部署提供保障。

NVIDIA GR00T X-Embodiment：該數據集包含了用于后訓練 NVIDIA GR00T 的相同數據。目前該數據集在 Hugging Face 上下載量已超過 1000 萬次。

Bones Studio 發布 BONES-SEED：包含 14 萬個人類動作動畫庫，可用于訓練人形機器人。每個動作都附有描述和時間戳，為機器人團隊構建更智能、更逼真的人形機器人提供了現成的基礎。該資源可通過 Hugging Face 上的 NVIDIA 物理 AI 開放數據集獲取。

教育資源：對于初級機器人開發者，提供了 Isaac Sim 和 Isaac Lab 的學習路徑以指導開發。NVIDIA 深度學習培訓中心(DLI)也提供了自學式和講師引導類的課程，助力開啟機器人開發之旅。