機器人在智能制造設(shè)施、商業(yè)廚房、醫(yī)院、倉庫物流和農(nóng)業(yè)領(lǐng)域等不同環(huán)境中的應用正在迅速擴展。該行業(yè)正在向智能自動化轉(zhuǎn)變，這需要增強的機器人功能來執(zhí)行感知、地圖構(gòu)建、導航、負載處理、物體抓取和復雜的裝配任務等功能。

AI 在這一變革中發(fā)揮著關(guān)鍵作用，提高了機器人的性能。通過集成 NVIDIA AI 加速，機器人可以更高的精度和效率處理復雜的任務，在各種應用中充分發(fā)揮自己的潛力。

在 COMPUTEX，NVIDIA 宣布了一些新功能，可幫助機器人專家和工程師構(gòu)建智能機器人。這些功能包括：

NVIDIA Isaac Perceptor，一種適用于自主移動機器人（AMR）和自動導引車（AGV）的新參考工作流。

NVIDIA Isaac 機器人操作系統(tǒng)（ROS）為工業(yè)機械臂提供了新的基礎(chǔ)模型和參考工作流程。

面向機器人的 NVIDIA Jetson，以及 NVIDIA JetPack 6.0 中的最新更新。

NVIDIA Isaac Sim 4.0引入了 NVIDIA Isaac Lab，這是一款輕量級應用，用于機器人學習。

NVIDIA Isaac Perceptor

AMR 和 AGV 對于裝配線效率、物料搬運和醫(yī)療健康物流至關(guān)重要。隨著這些機器人在復雜和非結(jié)構(gòu)化環(huán)境中導航，感知周圍環(huán)境并作出反應的能力變得至關(guān)重要。

Isaac Perceptor，基于 NVIDIA Isaac 機器人操作系統(tǒng)（ROS），助力原始設(shè)備制造商（OEM）、貨運服務提供商、軟件供應商和自動移動機器人（AMR）生態(tài)系統(tǒng)加速機器人開發(fā)。團隊可以為移動機器人配備感知功能，以便在非結(jié)構(gòu)化環(huán)境中成功導航和避障。

Isaac Perceptor 的早期合作伙伴包括倉儲/內(nèi)部物流領(lǐng)域的行業(yè)領(lǐng)導者、汽車制造商、工業(yè)機器人制造公司和機器人解決方案提供商，例如 ArcBest、比亞迪電子、Gideon、KION、Kudan、IdealWorks、RGo 以及 Teradyne 機器人等。

Isaac Perceptor 的主要特性

Isaac Perceptor 提供的功能可為基于 AI 的自主移動機器人提供多攝像頭、3D 環(huán)繞視覺功能。

基于 AI 的多攝像頭深度感知

Isaac Perceptor 以每秒 30Hz 的刷新率處理 16.5M 深度點。立體差異通過來自立體攝像頭的時間同步圖像對計算得出，用于為場景生成深度圖像或點云。高效的半監(jiān)督式深度神經(jīng)網(wǎng)絡(luò)（ESS DNN）為基于深度神經(jīng)網(wǎng)絡(luò)的立體差異提供了 GPU 加速支持。

▲圖 1 ESS DNN 檢測 5 米處的障礙物

多攝像頭視覺慣性測距

Isaac ROS 視覺 SLAM 提供 ROS 2 軟件包，用于視覺同步定位和映射（VSLAM）和視覺測距（VO）。這基于 NVIDIA 的 CUDA 視覺 SLAM（cuVSLAM）并提供強大的導航功能，在無特色環(huán)境中導航時，翻譯錯誤率不到 1%。

在具有稀疏視覺特征或重復模式的環(huán)境中導航對 VSLAM 解決方案來說是一個眾所周知的挑戰(zhàn)。可以通過融合來自多個視角的輸入來緩解這一問題。在最新的更新中，cuVSLAM 整合了來自多個立體攝像頭的并發(fā)視覺測距估計。

測試表明有了顯著改進。機器人使用多個攝像頭持續(xù)實現(xiàn)其導航目標，而使用單個攝像頭則不到 25%。

▲表 1 cuVSLAM 與 FRVO、S-PTAM 和 ORB-SLAM2 的性能比較。cuVSLAM 顯示了使用多個攝像頭加速機器人導航的性能

▲圖 2 使用一個攝像頭的 Isaac ROS Visual SLAM 與兩個攝像頭和四個攝像頭的對比

實時、多攝像頭立體像素網(wǎng)格映射

Isaac Perceptor 的核心是 nvblox，一個使用 CUDA 加速的 3D 場景重建庫，可以識別距離最遠 5 米的障礙物，以提供 2D 成本圖，并在 300 毫秒內(nèi)進行更新。

Isaac ROS nvblox 提供了用于三維場景重建的 ROS 2 軟件包和用于導航的本地障礙物成本地圖生成軟件包。此軟件包可應用于靜止環(huán)境以及包含人員和移動對象的場景。

此版本中的新增功能是使用多達三個 HAWK 攝像頭提供多攝像頭支持，以擴大覆蓋范圍，從而提供約 270° 的視野。

▲圖 3 使用 Isaac ROS Nvblox 進行立體像素 3D 重建，包括懸置障礙物重建

NVIDIA Nova Orin 開發(fā)者套件

此開發(fā)者套件采用 NVIDIA Jetson AGX Orin，支持多達六個攝像頭，包括多達三個立體攝像頭和三個魚眼攝像頭，攝像頭內(nèi)部延遲不到 100 微秒。

立體攝像頭的分辨率為每個攝像頭的 2MP，視野為 110X70，適用于三維占用網(wǎng)格映射、深度感知、視覺測距和人員檢測。購買 Nova Orin 開發(fā)者套件，可以使用 Segway 或 Leopard 成像的 Isaac Perceptor。

Isaac Perceptor 在此開發(fā)者套件中提供了一個參考圖，支持多達三個立體攝像頭。借助 ROS 2 軟件包的增強模塊化，此版本還提供了一個參考集成，即 Nav2 的 Nova Carter 參考機器人。

增強了與攝像頭和傳感器的兼容性

Isaac Perceptor 提供了與攝像頭和傳感器合作伙伴的集成的增強支持。Orbbec 成功集成了帶有 NVIDIA Isaac Perceptor 組件的 Gemini 335L 攝像頭。使用 Isaac ROS 視覺 SLAM 和 Nvblox 在 NVIDIA Jetson AGX Orin 上演示了這種集成。

LIPS 還成功地將其 AE450 攝像頭與 Isaac 感知器組件 Nvblox 集成。

NVIDIA Isaac Manipulator

Isaac Manipulator是由 NVIDIA 加速庫和 AI 模型組成的工作流程。它使開發(fā)者能夠?qū)?AI 加速應用于機器人臂或操作器，以便無縫感知、理解環(huán)境并與環(huán)境進行交互。

其基礎(chǔ)模型和加速庫可以作為獨立模塊集成，也可以作為整個工作流程集成到解決方案開發(fā)中。除了獨立的模塊化組件外，還為開發(fā)者提供了示例工作流程（ROS 2 啟動腳本），這些工作流程結(jié)合了 Isaac Manipulator 組件，以實現(xiàn)完整的端到端參考集成。

▲圖 4 利用 NVIDIA 組件的 Isaac Manipulator 工作流程示例（綠色）

Isaac Manipulator 的早期協(xié)作者包括機器人開發(fā)者平臺公司、OEM 和 ISV/SI，包括 Intrinsic（一家 Alphabet 公司）、西門子、Solomon、Techman 機器人、Teradyne 機器人、Vention 以及 Yaskawa。

Isaac Manipulator 的主要特性

Isaac Manipulator 引入 AI 功能來加速機械臂的開發(fā)。

cuMotion 可加快路徑規(guī)劃速度

此 GPU 加速的運動規(guī)劃器有助于縮短周期時間。cuMotion 可作為 MoveIt 2 動作規(guī)劃框架，這是一個由國際社區(qū)開發(fā)的開源項目，由 PickNik Robotics 領(lǐng)導。

cuMotion 在多個種子間并行運行軌跡優(yōu)化，并返回最佳解決方案。

作為高級視覺和機器人解決方案的領(lǐng)導者，Solomon 是 Isaac Manipulator 的早期合作者。與傳統(tǒng)算法相比，由 Isaac Manipulator cuMotion 增強的 bin-picking 系統(tǒng)將路徑規(guī)劃速度提高了 8 倍，并將路徑奇點率降低了 50%。

▲表 2 使用 Isaac Manipulator 的 Solomon 垃圾桶揀貨系統(tǒng)的性能增強。Solomon 的成功率、移動時間、軌跡長度和規(guī)劃時間都有顯著提高，路徑奇點出現(xiàn)次數(shù)減少。

FoundationPose

FoundationPose 是一種新的統(tǒng)一基礎(chǔ)模型，用于對新對象進行單次六維度姿態(tài)估計和跟蹤。此模型旨在在遇到以前未見過的物體的應用程序中實現(xiàn)高精度工作，而無需進行微調(diào)。

FoundationPose 目前位于 2023 年 BOP 排行榜，用于對未見物體進行 6D 定位。它對遮擋、快速運動以及紋理和縮放等各種物體屬性非常可靠，可以確保跨場景提供可靠的性能。開發(fā)者可以從任何角度生成物體的逼真視圖。

▲圖 6 使用 NVIDIA FoundationPose 進行姿態(tài)估計和追蹤

SyntheticaDETR

SyntheticaDETR 是一組基于實時檢測 Transformer（DETR）的模型，用于單次圖像空間物體檢測，該模型基于使用 NVIDIA Omniverse 平臺。它使用 Transformer 編碼器 – 解碼器架構(gòu)一次預測所有物體，從而實現(xiàn)比傳統(tǒng)物體檢測方法更高效的檢測效果。

▲圖 7 使用 SyntheticaDETR 進行物體檢測和追蹤

經(jīng)過合成數(shù)據(jù)和真實數(shù)據(jù)的訓練，SyntheticaDETR 在 BOP 排行榜上實現(xiàn)了 YCB-Video 數(shù)據(jù)集上的 2D 物體檢測（平均精度為 0.885，平均召回率為 0.903）。

這些模型還可以將物體檢測為 NVIDIA FoundationPose 等姿態(tài)估計器的 2D 邊界框感興趣區(qū)域。下載合成測試模式，然后下載 Isaac Manipulator，以便進行進一步的操作。

NVIDIA JetPack 6.0

NVIDIA Isaac ROS 3.0 兼容 JetPack 6.0并支持所有 NVIDIA Jetson Orin 模組和開發(fā)套件。

NVIDIA Jetson 平臺服務即將推出模塊化、API 驅(qū)動的服務，可更快、更輕松地構(gòu)建生成式 AI 和機器人應用。這些預構(gòu)建和可定制的服務旨在加速 NVIDIA Jetson Orin 系統(tǒng)模組上的 AI 應用開發(fā)。

NVIDIA Isaac Sim 4.0

借助Isaac Sim，開發(fā)者可以借助行業(yè)領(lǐng)先的傳感器和機器人類型測試，生成合成數(shù)據(jù)和各種復雜的虛擬測試環(huán)境。這可實現(xiàn)高度逼真的模擬，同時實時測試數(shù)千個機器人。

NVIDIA Isaac 實驗室

Isaac 實驗室是基于 Isaac Sim 平臺構(gòu)建的輕量級參考應用，在機器人基礎(chǔ)模型訓練中扮演著核心角色。它支持強化學習、模仿學習和遷移學習，能夠訓練各種機器人實施方案，為開發(fā)者提供設(shè)計和功能的探索空間。

新版本還可通過兼容性檢查器輕松集成 VSCode、為強化學習提供多 GPU 支持、通過 RTX 傳感器平鋪渲染提高性能、優(yōu)化緩存和著色器管理。

Isaac Sim 的其他新功能包括：

易于使用 PIP 安裝和用于導入機器人等的向?qū)А?/p>

合成數(shù)據(jù)生成（SDG）速度提升高達 80%，從而提升性能

支持 COCO 格式和用于姿態(tài)估計的自定義寫入器的新 SDG 格式。

ROS 2 啟動支持，提供端到端工作流程，并為基于圖像的發(fā)行商提供更好的性能。

更多內(nèi)置機器人支持：包括 Universal Robots UR20、UR30 和 Boston Dynamics Spot。還有許多人形機器人，包括 1X Neo、Unitree H1、Agility Digital、Fourier Intelligence GR1、Sanctuary A1 Phoenix 和 Xiaopeng PX5。