CMU、MIT、清華聯合發布了全球首個生成式機器人智能體RoboGen，可以無限生成數據，讓機器人7*24小時永不停歇地訓練。為機器人進入通用場景邁出堅實一步。

RoboGen，一種自動學習多樣化的生成式機器人仿真，通過生成模擬大規模提高機器人技能。

RoboGen 利用最新的基礎模型和生成模型的進步，而不是直接使用或 調整這些模型以制定策略或低級行動一種生成方案，使用這些模型自動生成多樣化的任務、場景和訓練監督，從而在最少的人工監督下擴展機器人技能學習。

該方法設置了機器人代理，通過自我引導的提議-生成-學習循環：智能體首先提出有趣的任務和技能來開發，然后生成相應的模擬，通過使用適當的空間配置填充相關對象和資產來設置環境。

之后，代理將建議的高級任務分解為子任務，選擇最優學習方法（強化學習、運動 計劃或軌跡優化），生成所需的訓練監督，然后學習策略以獲得建議的技能。

該工作試圖提取嵌入在大型模型中的廣泛而多才多藝的知識，進入了機器人領域。完全生成式路徑可以反復查詢，從而產生源源不斷的技能演示與不同的任務和環境。

RoboGen 使用 Genesis 進行仿真和渲染，Genesis是一種用于通用機器人學習的多材料多求解器生成式仿真引擎。

?

實驗證明，RoboGen能夠生成多樣化的技能演示，包括剛性和關節物體操作、可變形物體操作以及四足行走技能。

與以往的人工創建的機器人技能學習數據集相比，RoboGen生成的任務和技能更加多樣化，幾乎不需要人類參與。

該研究試圖將大模型中的廣泛知識轉移到機器人領域，為通用機器人系統的大規模自動化技能訓練邁出了一步。

來源：CAAI認知系統與信息處理專委會

審核編輯：劉清