在亞特蘭大舉行的國際機器人與自動化大會 (ICRA) 上，NVIDIA 展示了其在生成式 AI、仿真和自主操控領(lǐng)域的多項研究成果。

NVIDIA 研究中心在機器人訓(xùn)練與開發(fā)領(lǐng)域，比如多模態(tài)生成式 AI 和合成數(shù)據(jù)生成等方面，不斷取得突破性進展。

5 月 19 日至 23 日在亞特蘭大舉辦的國際機器人與自動化大會 (ICRA) 上，NVIDIA 重點展示了其最新研究成果。

NVIDIA 機器人研究高級總監(jiān) Dieter Fox 表示：“ICRA 一直是引領(lǐng)機器人與自動化領(lǐng)域發(fā)展方向的關(guān)鍵平臺，它不僅見證了行業(yè)發(fā)展的關(guān)鍵里程碑，也持續(xù)表彰著那些對技術(shù)革新與社會進步產(chǎn)生深遠(yuǎn)影響的突破性成果。我們今年帶來的研究成果，將通過彌合數(shù)據(jù)鴻溝以及提升機器人安全與控制能力兩個方面，為自動駕駛汽車與人形機器人的發(fā)展注入新動能。”

面向可擴展機器人學(xué)習(xí)的生成式 AI

在 ICRA 上展示的 NVIDIA 研究論文揭示了機器人技術(shù)的未來方向，其中包括：

DreamDrive：這種 4D 時空場景生成方法利用視頻擴散和 3D Gaussian splatting 技術(shù)，為自動駕駛汽車創(chuàng)建逼真且可控的 4D 駕駛場景。

X-Mobility：一個端到端導(dǎo)航框架，使機器人能夠通過學(xué)習(xí)世界模型進行規(guī)劃和控制，從而在不同環(huán)境中實現(xiàn)泛化能力。

ReMEmber：基于記憶的導(dǎo)航方法，使機器人能夠利用長期時空推理能力進行導(dǎo)航。

DexMimicGen：該系統(tǒng)僅需少量人類演示，即可生成大規(guī)模的雙手靈巧操作數(shù)據(jù)集。

HOVER：用于人形機器人的統(tǒng)一神經(jīng)控制器，可在移動、操控等模式之間實現(xiàn)無縫切換。

MatchMaker：該工作流可自動生成多樣化 3D 裝配資產(chǎn)，用于基于仿真的訓(xùn)練，使機器人無需手動資產(chǎn)管理即可學(xué)習(xí)插裝任務(wù)。

SPOT：這個學(xué)習(xí)框架利用 SE (3) 位姿軌跡擴散技術(shù)進行以物體為中心的操控，實現(xiàn)跨實體的泛化能力。

自動駕駛汽車感知故障的系統(tǒng)級安全監(jiān)控與恢復(fù)：該系統(tǒng)可實時監(jiān)測感知可靠性并啟動恢復(fù)策略，以保障自動駕駛的穩(wěn)健規(guī)劃與安全性能。

推理階段的人機協(xié)同策略調(diào)整框架：該框架支持在推理過程中，實時通過人工引導(dǎo)調(diào)整模型輸出，在無需重新訓(xùn)練的情況下提升策略的一致性。

在 ICRA 上，NVIDIA 專家參與的機器人研討會包括：

引領(lǐng)人類運動預(yù)測的未來：探討 AI、機器人技術(shù)和生物力學(xué)的進步如何改善人機交互和安全性。

構(gòu)建面向現(xiàn)實場景可靠且可信的具身 AI：探討在現(xiàn)實場景中構(gòu)建可靠且可信的具身 AI 系統(tǒng)所面臨的關(guān)鍵挑戰(zhàn)與解決路徑。

走出實驗室—現(xiàn)實場景中的穩(wěn)健規(guī)劃與控制：了解機器人的穩(wěn)健規(guī)劃和控制，以及這些技術(shù)如何幫助機器人適應(yīng)現(xiàn)實場景的復(fù)雜性。

在機器人技術(shù)中安全利用視覺-語言基礎(chǔ)模型：探索將視覺-語言基礎(chǔ)模型安全集成到機器人應(yīng)用中的策略，以提高性能和可靠性。

大數(shù)據(jù)與大模型時代以人為中心的機器人學(xué)習(xí)：了解以人為中心的機器人學(xué)習(xí)方法，以及如何利用大數(shù)據(jù)和大模型提升機器人的適應(yīng)性和智能。

RoboARCH—用計算硬件和系統(tǒng)加速機器人技術(shù)：了解計算硬件和系統(tǒng)領(lǐng)域的創(chuàng)新，這些創(chuàng)新正推動機器人研究和應(yīng)用的快速發(fā)展。

探索 NVIDIA 研究中心的最新成果，閱讀“NVIDIA 機器人研究與開發(fā)摘要 (R2D2)”，幫助開發(fā)者更深入地了解 NVIDIA 研究中心在物理 AI 和機器人應(yīng)用方面的最新突破。