NVIDIA 發布了機器人仿真參考應用Isaac Sim和機器人學習框架Isaac Lab的開發者預覽版。開發者現在可以通過 GitHub 訪問早期版本,搶先體驗先進功能,用于在基于物理的仿真環境中構建、訓練和測試 AI 驅動的機器人。
Isaac Sim 的更新
Isaac Sim 是基于NVIDIA Omniverse構建的參考應用,使開發者能夠在基于物理的仿真環境中開發、仿真和測試 AI 驅動的機器人。Isaac Sim 5.0 的主要更新包括以下:
開源可用性
Isaac Sim 專用的擴展程序正在一個新的公共 Github 庫中開源,這將允許開發者構建和運行 Isaac Sim。此資源庫將作為社區的早期訪問版,通過公共開發分支提供新功能的訪問權限。但是,Omniverse Kit 的組件仍是非開源的,目前不接受外部貢獻。
此公共開發分支將通過修復錯誤不斷更新。當所有組件通過 NVIDIA 的質量保證標準后,將為官方 5.0 版本提供二進制發布版本。
先進的合成數據生成流程
Isaac Sim 引入了幾個新的擴展程序,進一步擴展了合成數據生成能力,以用于訓練、測試和驗證 AI 驅動的機器人。
MobilityGen 將作為 Isaac Sim 中的擴展程序提供,支持生成各種基于物理的數據和感知模型訓練數據,例如占用地圖、機器人狀態、位姿、速度和圖像。
Grasp 數據生成將作為新教程推出,其介紹的工作流支持自動生成抓取候選項,仿真每次抓取嘗試,并記錄用于訓練和評估的成功指標。
新的NVIDIA Omniverse Replicatorwriter 針對NVIDIA Cosmos Transfer輸入進行了優化,使開發者能夠輕松生成并導出高質量合成數據。它支持獨立工作流和腳本編輯器,并可以無縫集成到現有的 Isaac Sim 合成數據生成腳本中。
Isaac Sim 中的新工作流現在可以支持大規模物理環境的合成數據生成。其中包括觸發多樣化真實場景的 Incident Simulation,以及自動標記事件數據以豐富訓練數據集的 Caption Generation,二者共同增強了對用于視覺 AI 模型開發的場景的理解。此外,現有的 Actor 和 Object Simulation 工作流已經過優化,可進一步提高合成數據的質量和效率。
新的機器人模型
Isaac Sim 5.0 引入新的機器人模型和導入工具,使仿真設置更快、更一致,并更接近真實世界行為。
新的機器人模式將 OpenUSD 中的機器人定義標準化,該模式已被 NVIDIA 的擴展機器人資產庫采用,其中包含新的機器人模型。機器人導入器現在使用新的機器人模式,新的 Robot Import Wizard 提供了一個簡化的分步流程,用于裝配和導入用于仿真的機器人。
Isaac Sim 5.0 中的新模式還支持通過 OpenUSD 模式定義的新關節摩擦模型,包括執行器和摩擦參數,該模型由 NVIDIA 與海克斯康和 maxon 合作開發。這些模型能夠確保仿真中關節和電機的驅動更接近真實世界的系統動態,從而縮小仿真與現實之間的差距。
改進的傳感器仿真
Isaac Sim 在傳感器仿真方面取得了重大進步,使定義和測試傳感器模型變得比以往更容易,具有更高的真實感和可控性。
新的 OmniSensor USD 架構將直接在 USD 中定義 RTX 傳感器,同時引入一種新的深度傳感器模型,這種模型能夠仿真出具有詳細差異偽影的逼真立體深度。此外,資產庫也得到擴展,包含了多種新的傳感器模型。
Isaac Sim 5.0 全面支持 ROS 2 Jazzy Jalisco,兼容標準化的 ROS 2 仿真接口,以及用于運動規劃工作流的更新版 MoveIt 2 教程。此外,新的 ZeroMQ 橋接器便于 Isaac Sim 與外部系統之間的通信,還可以作為開發自定義中間件橋接器的參考示例。
Isaac Lab 的更新
Isaac GR00T N1 部署在 Isaac Lab 中的傅利葉 GR1 人形機器人上,用于雙手操作任務
Isaac Lab 是專為訓練和評估機器人學習策略而構建的開源框架。Isaac Lab 2.2 的更新支持以下功能:
增強的合成動作生成:利用Isaac GR00T-Mimic的雙臂訓練環境,放大收集的數據以用于機器人操作。
Omniverse Fabric 集成:Isaac Lab 現在支持 Fabric,可加快加載時間,更高效地執行物理仿真和傳感器數據采集。
張量化吸盤夾具:提供靈活的動態抓取仿真,這對于準確的強化學習和操作任務至關重要。
開始開發
從 Github 下載源代碼,即可開始使用 Isaac Sim 5.0 和 Isaac Lab 2.2 的早期開發版。
-
機器人
+關注
關注
213文章
30665瀏覽量
220040 -
NVIDIA
+關注
關注
14文章
5513瀏覽量
109200 -
GitHub
+關注
關注
3文章
486瀏覽量
18446
原文標題:Isaac Sim 和 Isaac Lab 現已推出早期開發者預覽版
文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業解決方案】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
僅使用智能手機在NVIDIA Isaac Sim中重建場景
NVIDIA Isaac Lab推動機器人技術突破
NVIDIA Jetson + Isaac SDK 在人形機器人領域的方案詳解
NVIDIA Isaac Lab可用環境與強化學習腳本使用指南
NVIDIA Isaac Sim與NVIDIA Isaac Lab的更新
NVIDIA Isaac 是英偉達推出的綜合性機器人開發平臺
智元機器人基于NVIDIA Isaac GR00T打造高效仿真數據采集方案

NVIDIA Isaac Sim和Isaac Lab現已推出早期開發者預覽版
評論