通用機器人的時代已經到來，這得益于機械電子技術和機器人 AI 基礎模型的進步。但目前機器人技術的發展仍面臨一個關鍵挑戰：機器人需要大量的訓練數據來掌握諸如組裝和檢查之類的技能，而手動演示的方式難以擴展。基于NVIDIA Cosmos構建的NVIDIA Isaac GR00T-Dreams blueprint，可以通過單張圖像和語言提示生成海量的合成軌跡數據，能夠有效解決這一難題。

利用 Cosmos 世界基礎模型 (WFMs) 和生成式 AI，開發者可以快速創建用于訓練諸如NVIDIA Isaac GR00T N1.5（全球首個面向人形機器人推理和技能的開源基礎模型）等模型的數據。

本文將介紹 Isaac GR00T-Dreams blueprint，詳述其先進功能及其在開發 Isaac GR00T N1.5 基礎模型中的作用。

GR00T-Dreams blueprint 概覽

Isaac GR00T-Dreams blueprint 是用于生成大量合成軌跡數據的參考工作流，生成的數據可以用于教會人形機器人在新環境中執行新動作。

借助這一藍圖，機器人僅需極少量的人類演示數據，就能夠泛化各種行為，并適應新的環境。因此，一個小型人類演示團隊就能創造出以往需要數千人才能產出的訓練數據量。

GR00T-Dreams blueprint 是對Isaac GR00T-Mimic blueprint的補充。通過使用NVIDIA Omniverse和 Cosmos Transfer-1 WFM 擴展已知任務的現有演示數據，GR00T-Mimic 可幫助機器人培養深度熟練程度，并成為這些特定技能的專家。GR00T-Dreams 采用 Cosmos Predict-2 和 Cosmos Reason 為新任務和環境生成全新數據，致力于使機器人成為具有廣泛適應性的通用機器人。

GR00T-Dreams blueprint 工作流

該藍圖為訓練通用機器人提供強大的“現實到現實 (real-to-real)”數據工作流，使用真實機器人數據創建合成軌跡，然后用于訓練物理機器人。這種方法顯著減少了對大量人類演示的需求。具體步驟如下：

圖 1. GR00T-Dreams blueprint 架構

第一步：利用人類演示進行后訓練

首先，開發者收集用于人形機器人在單一環境中執行單一任務（如抓取與放置）的一組有限的人類遠程操作軌跡。然后利用這些真實世界數據對 Cosmos Predict-2 世界基礎模型進行后訓練。這一步驟可讓模型學習該機器人特有的特定移動能力和功能約束。

第二步：生成“夢境”

接下來，開發者向經過微調的 Cosmos 模型輸入初始圖像和基于文本的新指令，要求生成的機器人執行相應動作。這會促使生成式模型創建大量多樣化和新穎的任務場景或未來世界狀態（也稱為“夢境”），例如打開、關閉、整理物體、清潔和分類等。這些場景以 2D 視頻的形式創建。

第三步：推理和過濾

生成大量“夢境”后，Cosmos Reason 模型可用于評估每個“夢境”的質量和成功率。它會過濾掉“不好的夢境”，也就是描繪不成功或有缺陷的任務嘗試，確保僅讓高質量和相關的場景進入下一階段。

第四步：提取神經軌跡

選中的“夢境”最初只是 2D 視頻中的像素，隨后利用逆動力學模型 (IDM) 生成 3D 動作軌跡。IDM是用于動作標記的生成式 AI 模型，該模型通過輸入 2D 視頻中的兩個圖像幀，即“之前”和“之后”的畫面，預測出這兩個畫面之間發生的一系列動作。

這一步驟將“夢境”視頻中的視覺信息轉化為機器人能夠學習的可操作數據。這些已添加 3D 動作數據的 2D 視頻被稱為神經軌跡。

第五步：訓練視覺運動策略

最后，這些神經軌跡作為大規模的合成數據集，用于訓練視覺運動策略，既可以與真實世界數據協同訓練以增強性能，也可以僅通過對這些數據進行訓練，來實現對新行為和不可見環境的泛化。

用于機器人學習的高級功能

GR00T-Dreams 為機器人學習提供了先進的功能，包括新行為、新環境等。

新行為：即使僅有單一任務（例如抓取與放置）的訓練數據，機器人也能從語言指令中學習新動作。

由 GR00T-Dreams 支持的機器人打開筆記本電腦的神經軌跡和真實機器人 (Fourier GR-1) 執行情況

新環境：即使世界模型僅在一個實驗室環境中訓練過，機器人也能夠泛化到完全未見過的環境。

由 GR00T-Dreams 支持的機器人將橘子放入碗中的神經軌跡和真實機器人 (Fourier GR-1) 執行情況

多種機器人類型：適用于從人形機器人到機械臂（如 Franka 和 SO-100）等不同類型的機器人，并支持多種攝像頭視圖。

由 GR00T-Dreams 支持的 Franka 機械臂和 SO-100 機械臂執行不同操作任務

針對復雜任務增強學習：為具有挑戰性的接觸密集型任務，比如操作可變形物體（折疊）或使用工具（錘擊）等增強訓練數據，形成從初始真實畫面開始的“真實到真實”工作流。

由 GR00T-Dreams 支持的機器人錘擊操作的神經軌跡和真實機器人 (Fourier GR-1) 執行情況

使用 GR00T-Dreams

對 GR00T N1.5 進行后訓練

可以使用 GR00T-Dreams 對視覺語言動作 (VLA) 模型進行后訓練，以在未見過的環境中實現新行為和操作。

NVIDIA 研究中心使用 GR00T-Dreams blueprint 生成合成訓練數據，僅用 36 小時就完成了 GR00T N1.5 的開發。如果使用人工收集人類數據，這一過程需要近三個月的時間。

GR00T N1.5 是 GR00T N1 的首次更新，GR00T N1 是全球首個面向通用人形機器人推理和技能的開源基礎模型。這個跨形態模型可以接收語言和圖像等多模態輸入，在多樣化的環境中執行操作任務。

GR00T N1.5 的新功能：

提高對語言指令的理解準確性

借助 Isaac GR00T-Dreams，增強對新物體和新環境的泛化能力

通過 Eagle 2.5 提供更好的空間理解和開放世界視覺定位，提升視覺語言基礎

在材料處理和制造任務中成功率更高

開源的 NVIDIA 物理 AI 數據集

NVIDIA 擴展了其開源物理AI數據集。該數據集是 Hugging Face 上下載量最多的機器人數據集，最初于 2025 年 3 月推出，如今新增了數千條機器人軌跡，包括 Unitree G1 機器人的首批真實訓練數據和 24,000 條仿真遠程操作軌跡。

該數據集還包含各種操作任務的合成仿真數據，在開發 GR00T N1.5 的過程中發揮了重要的作用。

GR00T N 模型在機器人生態系統的應用

GR00T N 模型已經被很多生態合作伙伴采用，包括 AeiRobot、Foxlink、光輪智能和 NEURA Robotics 等。

AeiRobot 利用這一模型使其工業機器人能夠理解自然語言，從而完成復雜的抓取與放置任務。Foxlink 利用這一模型提高其工業機械臂的靈活性和效率。光輪智能借助這一模型驗證合成數據，以加快人形機器人在工廠中的部署。NEURA Robotics 正在評估這一模型，以加速其家用自動化系統的開發。

開始加速機器人學習

Isaac GR00T-Dreams blueprint 是用于生成大量合成軌跡數據的參考工作流，這些數據可用于教會人形機器人在新環境中執行新動作。這一藍圖使機器人僅需極少量的人類演示數據，就能夠泛化各種行為，并適應新的環境。