機器人需要借助大規模、高物理精度且多樣化的數據集進行訓練，才能在復雜環境中進行推理并完成多種任務，而目前這些數據難以公開獲取。

在華盛頓特區舉行的 NVIDIA GTC 大會上，NVIDIA 發布了基于NVIDIA Cosmos世界基礎模型構建的Isaac GR00T-Dreams合成數據生成與神經仿真框架，可幫助機器人突破現實經驗的局限進行學習。通過生成如虛擬世界狀態與動作軌跡的“夢境”，開發者可為機器人生成不同環境下的訓練數據與動作指令，使其掌握新技能。

傳統合成數據生成方法需要開發者耗費大量精力構建虛擬環境，而 GR00T-Dreams 框架徹底改變了這一模式：僅需一張圖片以及簡單的自然語言指令，即可“構想”出全新的訓練場景。

GR00T-Dreams 框架包含兩種核心模式：

Passive dreaming模式能夠自動生成多樣化的機器人訓練視頻場景。開發者只需輸入圖像和指令，例如移動物體或在空間內導航，即可對類似NVIDIA Cosmos Predict等世界模型進行后訓練。隨后，GR00T-Dreams 僅需文本提示，即可“構想”生成多個合成序列，動態呈現機器人如何在新環境中完成各類任務，同時場景中的物體與背景可以完全通過文本提示進行更換。

Lucid dreaming模式作為一個響應式神經仿真器則更進一步。它可使 AI 模型僅憑一張 2D 圖像構建出完整的交互式虛擬世界，在這些環境中開發者可以遠程精確控制機器人進行復雜機械動作，還可實時測試各種邊緣場景。

場景生成后，GR00T-Dreams 會將其送入Cosmos Reason推理模型進行篩選，該模型能夠過濾存在缺陷或質量較低的“不好的夢境”。經篩選保留的數據將形成連貫的動作軌跡，為 GR00T?N 系列等視覺語言動作模型提供后訓練支持。

這些模型集成了視覺感知、自然語言理解與物理控制系統，使機器人能夠精準解析指令并在復雜環境中做出自主響應。