NVIDIA 為 NVIDIA ISAAC Sim 發布了一個新的 NVIDIA Omniverse 機器人體驗，以幫助支持對機器人學中精確、可靠、易于使用的仿真工具的加速需求。隨著許多研究實驗室和大學的無限期關閉，世界各地的機器人專家都與他們開發、測試和部署自主機器所需的物理硬件和環境分離開來。現在，更好的仿真工具比以往任何時候都能幫助機器人和自動化領域的重要工作向前發展。

這個機器人經驗展示了 Omniverse 套件 中的 NVIDIA ISAAC Sim 仿真工具包。將 ISAAC Sim 構建到 Omniverse 平臺中，相對于現有的機器人工作流程，它帶來了一些有用的改進：

它利用了 Omniverse Kit 的高精度物理模擬，直接集成了業界領先的物理框架，如用于剛體動力學的 NVIDIA Physx SDK 和用于流體動力學的 NVIDIA 流量 。

它重新關注互操作性，與 NVIDIA ISAAC 軟件開發工具包 和 ROS 的擴展進行了深度集成。

Omniverse 對于 ISAAC Sim 的體驗很容易擴展。現在您可以使用 Omniverse 工具包的 基于 Python 的腳本接口 和 擴展系統 來定制 ISAAC Sim 以適應您自己的用例。

它是為可部署而構建的，其體系結構支持本地工作站上的工作流，在 NVIDIA Jetson 系列硬件的邊緣，并通過云與 NVIDIA NGC 一起使用。

下面我們將更詳細地了解此版本中包含的預覽和示例代碼。

橋接工作流

Omniverse ISAAC Sim 仿真環境支持兩個突出的機器人框架： NVIDIA ISAAC 軟件開發工具包 和 ROS 。

ISAAC SDK 是一個企業級框架，用于開發機器人人工智能、導航和操作應用程序。 ISAAC Sim 使用 Robot Engine Bridge （REB） 擴展與 ISAAC SDK 通信，通過 TCP / IP 發送模擬傳感器數據、驅動器命令、地面真相和場景管理。 ISAAC SDK 文檔 突出了一系列的仿真場景，從復雜的多機器人自主倉庫導航到使用 Jupyter 筆記本的 簡單操作 。此外， ISAAC SDK 與 ISAAC Sim 為幾個基于 Jetson 的參考平臺（如 卡特 和 卡婭 機器人）橋接虛擬和物理機器人。

Omniverse ISAAC Sim 還支持 ROS ，這是一個機器人專家常用的框架。 ISAAC Sim ROS Bridge 擴展使機器人研究人員能夠利用 Omniverse ISAAC Sim 功能強大的多功能 GPU 實時仿真和協作平臺來擴充現有的工作流程。此版本提供了一個 喙樣 ，它將詳細介紹如何發布和訂閱主題，包括關節狀態、關節命令、 TF 、相機和 Lidar 主題。

圖 1 使用 ROS 網橋擴展來發布和訂閱不同的 rostopic 。這張截圖顯示了一只弗蘭卡熊貓機器人手臂的關節狀態流到 ROS 。

敏捷自動化

ISAAC Sim 在 Omniverse 中的另一個優點是復雜的剛體動力學現在很容易在機器人和自動化場景中進行模擬。 UR10 示例應用程序 使用通用機器人的 UR10 機械臂和一個基于吸力的抓取器來說明垃圾箱的填充和堆垛過程。在垃圾箱填充的例子中，用戶將不同的零件扔進一個機器人正在抓取的箱子里，直到箱子太重以至于吸力抓取器失靈。零件到處都是。然后，機器人手臂能夠檢測到掉落的垃圾箱，將其撿起來，并將其定位以接收新部件。雖然垃圾箱填充和堆垛是標準程序，但這些示例顯示了如何智能地擴展它們，使機器人自動化更加靈活和適應動態環境。

UR10 示例應用程序附帶了非常詳細的源代碼和文檔。它們展示了幾個核心仿真組件：

使用 URDF 進口商 加載機器人模型

為精益自動化創建狀態機

使用 黎曼運動策略 （ RMPs ）將傳統路徑規劃與高級運動生成相結合

模擬機器人上下的傳感器。

查看此擴展以了解如何為您自己的機器人應用程序構建端到端仿真。

定制機器人

除了 UR10 機器人之外， Omniverse ISAAC Sim 還有一個機器人、末端效應器和環境的資產庫，可用于模擬。但是，您也可以使用 ISAAC Sim URDF importer 擴展來處理您自己的定制機器人。此擴展將導入一個 URDF 文件并將其轉換為 Omniverse 美元代表 ，使其成為高級模擬更可用、更持久的格式。 URDF Importer 擴展還附帶了幾個示例導入和 Python API ，用于加載和配置您自己的機器人。

在這個版本中，文檔有一個 所以取樣 ，它引導您完成為 Omniverse ISAAC Sim 導入和配置自定義機器人的過程。它以 NVIDIA 卡婭 作為參考硬件。 Kaya 是由 NVIDIA Jetson Nano 提供動力的 3D 打印機器人。它的目的是使先進的機器人技術為業余愛好者和教育者所用。然而，精確的仿真是一個特別具有挑戰性的參考平臺。它有幾個 CAD 文件，一個復雜的完整傳動系統，和許多傳感器，必須配置這些傳感器來模擬它的三維映射、定位、目標識別和里程計功能。您可以查看有關創建物理上精確的虛擬 Kaya 的文檔，以了解如何從 CAD 或 URDF 文件轉換為準備模擬的機器人。

圖 3 Kaya 示例展示了如何從 CAD 文件或 ISAAC Sim URDF importer 擴展中定制或 DIY 機器人仿真。

感知世界

在 Omniverse 機器人技術體驗中，您可以預覽機器人模擬的實時光線跟蹤的好處。除了逼真的視覺效果， Omniverse 實時光線跟蹤還模擬光的物理行為。這使得 ISAAC Sim 能夠精確地模擬幾種基于光的傳感器的物理特性，包括 RGB 相機、深度相機和激光雷達。 激光雷達樣品 演示了如何利用 ISAAC Sim 激光雷達 API 來創建和激活這些傳感器，用于訓練自主機器人。設置分辨率、視野和旋轉速率，以匹配物理機器人使用的激光雷達的硬件屬性。

圖 4 Omniverse ISAAC Sim 中的激光雷達擴展可用于模擬機器人的自主導航。

進行模擬

新的 Omniverse ISAAC Sim 體驗的最新版本展示了現代機器人仿真工具包如何使研究人員和開發人員受益。在 NVIDIA Omniverse 平臺上構建該工具包，為機器人仿真提供了新的工作流程，是可用性、可擴展性和互操作性的一次重大升級。

關于作者

Madeline Gannon 是 NVIDIA 的機器人和人工智能研究人員，她專注于人類與機器人交互的工具。甘農是世界經濟論壇文化領袖，也是全球物聯網、機器人和智能城市理事會的理事。甘農擁有卡內基梅隆大學博士學位和佛羅里達國際大學建筑學碩士學位。

審核編輯：郭婷