NVIDIA 宣布與 Intrinsic.ai 就工業機器人任務的基礎技能模型學習展開合作。

工業制造中的許多拾取和放置問題仍然由人類操作員解決，為這些任務而編程機器人仍具有挑戰性。例如，在機器維護環境中，作為復雜的多步驟零件制造過程的一部分，協作機器人可以用來從料倉中挑選原材料零件，并將其送入數控機床或彎曲機。

這類機器人可以使用基礎模型進行編程，從而實現基礎模型在物體零件、機器人形態和現實世界的工業環境等方面顯著的通用性。

本文介紹了使用 NVIDIA Isaac Manipulator 生成抓取姿勢和機器人運動的工作流，首先在NVIDIA Isaac Sim中進行仿真，然后在現實世界中使用 Intrinsic Flowstate 執行。

感知也是通過 Flowstate 完成的，在 Flowstate 中，我們使用對象姿態估計包來獲得雜亂場景中可抓取對象的位置和方向。

在本文中，我們在一個具有挑戰性的智能取放應用程序上演示了該系統：一個機器人在雜亂的垃圾箱中抓取金屬零件，并以精確的放置姿勢將其區分。這些薄金屬片本身很難被感知，因為一般的深度相機難以處理鏡面，同時操作也有難度，因為需要使用吸盤夾具而不是手指。

用于抓取和運動生成的Isaac Manipulator

為了生成真空抓取的合成數據，我們使用了金屬片和吸盤的 CAD 模型。在仿真過程中，我們針對每個物體嘗試數千種抓取方式，并找到最優的解決方案。

良好的吸盤需要密封并避免金屬板上出現的孔洞，我們還想避免金屬板在運輸過程中的晃動，這也是在仿真中需要確保的。

圖 1. Isaac Sim 中的抓握示例

在生成了一組密集的抓取姿勢后，我們使用物體姿勢信息將其轉換為機器人框架。然后，我們使用CUDA 加速運動生成庫 NVIDIA cuMotion（由 cuRobo 提供支持）生成無碰撞軌跡，以移動機器人并實現其中一個目標抓取姿勢。

其中一些姿勢可能在運動學上無法實現，或者可能會發生碰撞，cuRobo 在規劃軌跡時會對這兩種情況進行過濾。作為參考，cuRobo 可以在 NVIDIA RTX 40 系列顯卡上快速生成運動計劃，僅需 30 毫秒。

在 Isaac Sim 中進行評估

我們首先在 Isaac Sim 中評估了工作流。仿真機器人來自配備有吸盤的定制 Kuka K10 機械臂的 CAD 文件。物體被隨機定位，以仿真現實世界中的垃圾箱揀選場景。

我們沒有使用物體檢測器，而是直接從仿真器中獲取物體姿態信息。我們利用了有關物體類型的地面實況信息，根據物體的初始姿態確定最佳可觸及抓手。

利用 Intrinsic Flowstate在現實世界執行

我們的工作流直接從仿真轉移到現實世界中的工作單元。實際的硬件設置包括一個外部校準的頂置多攝像頭系統和一個配備吸盤的 Kuka K10 機械臂。

使用 Intrinsic Flowstate 中的原生對象姿態估計包來檢測片狀金屬物體的位置。然后，使用 Isaac Manipulator 來計算對象的抓取位置，并計劃一個無碰撞的軌跡來執行抓取任務。

最后，我們通過 Flowstate 中的位置控制器在機械臂上執行該機器人軌跡。總的來說，在演示中實現了大約 8 秒/次拾取的循環時間。

展望未來

我們計劃將框架擴展到更高級的智能拾放功能，例如機器維修。在這個例子中，機器人必須將抓取的物體精確地放置在某個位置或固定裝置上，以便機器進行下游處理。