利用 NVIDIA Isaac Sim 和 NVIDIA Omniverse 開發的 ORBIT-Surgical 正在 ICRA 機器人大會上展出。

NVIDIA 與學術研究人員正在聯合開發用于手術的機器人。

ORBIT-Surgical 是一個由多倫多大學、加州大學伯克利分校、蘇黎世聯邦理工學院、佐治亞理工學院和 NVIDIA 研究人員共同開發的機器人訓練仿真框架。它所訓練的機器人可以在提升手術團隊技術水平的同時，減輕外科醫生的認知負荷。

該框架支持十多種操作，這些操作靈感來源于腹腔鏡手術（又稱微創手術）訓練課程，例如抓取針頭等小物件、將它們從一只機械臂傳遞到另一只，并高度精準地放置針頭等。

這個基于物理學的框架是使用NVIDIA Isaac Sim（一個用于設計、訓練和測試 AI 機器人的仿真平臺）構建而成的。研究人員在NVIDIA GPU上訓練了強化學習和仿真學習算法，并使用NVIDIA Omniverse（一個用于開發和部署基于通用場景描述 OpenUSD 的高級 3D 應用程序和管線的平臺）進行逼真的渲染。

在下面的視頻中，ORBIT-Surgical 研究團隊演示了如何在實驗室環境中將仿真訓練中的數字孿生移植到實體機器人上。該團隊使用的是由機器人手術領導者 Intuitive Surgical 支持的非營利組織 Intuitive Foundation 所提供的社群支持型“達芬奇”研究套件。

ORBIT-Surgical 已在 ICRA（IEEE 國際機器人與自動化會議）上進行展示，開源代碼包現已在 GitHub 上發布。

AI 以一抵九

ORBIT-Surgical 的基礎是Isaac Orbit，這是一個基于 Isaac Sim 構建的模塊化機器人學習框架。Orbit 支持各種用于強化學習和仿真學習的程序庫，可以讓 AI 智能體進行模擬真實專家示例的訓練。

借助該手術框架，開發者能夠利用在NVIDIA RTX GPU上運行的強化學習和仿真學習框架訓練像“達芬奇”研究套件機器人（dVRK）這樣的機器人，來操縱剛性和柔性物體。

ORBIT-Surgical 引入了十多項用于手術訓練的基準任務，包括單手任務和雙手任務，單手任務包括拿起一塊紗布、將分流管插入血管或將縫合針舉到特定位置等；雙手任務包括將針從一只機械臂遞給另一只、將穿好線的針穿過環形桿、以及在避開障礙物的同時將兩只手臂伸到特定位置等。

ORBIT-Surgical 的基準測試之一是插入分流器——

左圖為真實世界中的機器人，右圖為仿真機器人。

通過開發一種利用 GPU 加速和并行化優勢的手術仿真器，該團隊能夠將機器人的學習速度提升一個數量級，相比于現有的外科手術框架。他們發現在單個 NVIDIA RTX GPU 上，機器人數字孿生可以在兩小時內完成插入分流管和舉起縫合針等任務的訓練。

憑借在 Omniverse 中進行渲染所實現的視覺逼真度，研究人員還可使用 ORBIT-Surgical 生成高保真合成數據，這有助于訓練 AI 模型完成各種感知任務，例如在手術室拍攝的真實世界視頻中區分手術工具等。

該團隊的一項概念驗證表明，將仿真和真實數據相結合，可顯著提高 AI 模型區分圖像中手術針頭的準確性，這有助于減少在訓練此類模型時對昂貴的大型真實世界數據集的需求。