基于真實(shí)世界演示訓(xùn)練機(jī)器人策略,不僅成本高、速度慢,還容易出現(xiàn)過(guò)擬合問(wèn)題,進(jìn)而限制其在不同任務(wù)與環(huán)境中的泛化能力。而仿真優(yōu)先的方法可簡(jiǎn)化開發(fā)流程、降低風(fēng)險(xiǎn)與成本,同時(shí)部署到真實(shí)環(huán)境也將更安全、適應(yīng)性更強(qiáng)。
最新的Isaac Lab 2.3早期開發(fā)者預(yù)覽版,通過(guò)先進(jìn)的全身控制、強(qiáng)化的模仿學(xué)習(xí)和更優(yōu)的運(yùn)動(dòng)能力,提升了人形機(jī)器人的性能。此次更新還擴(kuò)展了遙操作的數(shù)據(jù)收集功能,可支持 Meta Quest VR 和 Manus 手套等設(shè)備,加速了演示數(shù)據(jù)集的創(chuàng)建。此外,新版本引入了基于運(yùn)動(dòng)規(guī)劃器的工作流,用于在操作任務(wù)中生成數(shù)據(jù)。
新增強(qiáng)化學(xué)習(xí)與模仿學(xué)習(xí):Isaac Lab 2.3 為靈巧操作任務(wù)推出了多項(xiàng)新功能,包括用于感知和本體感知的字典觀察空間,以及自動(dòng)域隨機(jī)化(ADR)和群體訓(xùn)練(PBT)的技術(shù),以提高強(qiáng)化學(xué)習(xí)訓(xùn)練的可擴(kuò)展性。
Isaac Lab 2.3 還新增了帶吸盤夾具的基準(zhǔn)測(cè)試環(huán)境,可支持吸盤與傳統(tǒng)夾具兩種操作模式。本次更新在基于管理器的工作流中加入了針對(duì) CPU 端平面夾具的支持,以強(qiáng)化模仿學(xué)習(xí)功能。
優(yōu)化升級(jí)的靈巧操作遙操作功能:Isaac Lab 2.3 新增對(duì)宇樹 G1 機(jī)器人的遙操作支持,可對(duì)宇樹三指靈巧手和 Inspire 五指靈巧手進(jìn)行動(dòng)作映射。靈巧動(dòng)作映射指將人手姿態(tài)轉(zhuǎn)換為機(jī)器人手部關(guān)節(jié)位置的過(guò)程,可實(shí)現(xiàn)高效的人機(jī)技能遷移,提升接觸密集型手部任務(wù)的執(zhí)行表現(xiàn),并為訓(xùn)練穩(wěn)健的操作策略生成豐富的演示數(shù)據(jù)。本次更新還針對(duì)傅利葉 GR1T2、宇樹 G1 等雙臂機(jī)器人,改進(jìn)了上半身控制。
引入無(wú)碰撞運(yùn)動(dòng)規(guī)劃技術(shù),助力操作數(shù)據(jù)生成:在最新版的 Isaac Lab 中,開發(fā)者可以使用 Isaac Lab Mimic 中的 SkillGen 來(lái)生成演示。SkillGen 工作流能生成自適應(yīng)、無(wú)碰撞的操作演示。它將人工提供的子任務(wù)片段與 GPU 加速運(yùn)動(dòng)規(guī)劃相結(jié)合,使得只需少量的人工演示,就能學(xué)習(xí)現(xiàn)實(shí)世界中接觸密集型操作任務(wù)。
移動(dòng)機(jī)器人的端到端導(dǎo)航:開發(fā)者現(xiàn)可利用 Isaac Lab 中的移動(dòng)工作流對(duì)NVIDIA COMPASS進(jìn)行后訓(xùn)練。NVIDIA COMPASS 是基于視覺(jué)的通用移動(dòng)工作流,適配不同類型機(jī)器人與多樣環(huán)境。該工作流包括三個(gè)環(huán)節(jié):在 Isaac Sim 中進(jìn)行合成數(shù)據(jù)生成、訓(xùn)練移動(dòng)模型,以及最終部署到NVIDIA Jetson Orin或NVIDIA Thor。通過(guò) Cosmos Transfer 技術(shù)優(yōu)化合成數(shù)據(jù),可以有效縮小仿真與現(xiàn)實(shí)的差距。
人形機(jī)器人移動(dòng)操作的合成數(shù)據(jù)生成:移動(dòng)操作是指移動(dòng)與操作的協(xié)同執(zhí)行:機(jī)器人在移動(dòng)機(jī)身(行走或滾動(dòng))的同時(shí),對(duì)物體實(shí)施動(dòng)作(抓取、推動(dòng)或拉動(dòng)),形成全身協(xié)同作業(yè)體系。該工作流通過(guò)整合導(dǎo)航與全身控制器(WBC),生成移動(dòng)與操作協(xié)同合作的機(jī)器人任務(wù)演示數(shù)據(jù)。借助這一方案,機(jī)器人能夠執(zhí)行復(fù)雜且連續(xù)的任務(wù),例如從桌面抓取物體、穿越空間,再將物體放置到其他位置。
策略評(píng)估框架:NVIDIA 正與光輪智能共同開發(fā)NVIDIA Isaac Lab – Arena。這是一款用于可擴(kuò)展仿真實(shí)驗(yàn)的開源策略評(píng)估框架。借助該框架的 API,開發(fā)者無(wú)需自行搭建系統(tǒng),即可簡(jiǎn)化并執(zhí)行復(fù)雜的大規(guī)模評(píng)估任務(wù)。這意味著開發(fā)者既能專注于策略迭代,也能向社區(qū)貢獻(xiàn)評(píng)估方法,進(jìn)而加速機(jī)器人研究領(lǐng)域的研發(fā)進(jìn)程。
基礎(chǔ)設(shè)施支持:Isaac Lab 2.3 現(xiàn)支持搭載 NVIDIA GB10 Grace Blackwell 超級(jí)芯片的 NVIDIA RTX PRO Blackwell 服務(wù)器與 DGX Spark 系統(tǒng)。無(wú)論是 RTX PRO 還是 DGX Spark,均為研究人員提供了卓越平臺(tái),可支撐從訓(xùn)練、合成數(shù)據(jù)生成到機(jī)器人學(xué)習(xí)與仿真等各類機(jī)器人開發(fā)工作負(fù)載的實(shí)驗(yàn)、原型開發(fā)與運(yùn)行。
-
機(jī)器人
+關(guān)注
關(guān)注
213文章
31074瀏覽量
222189 -
NVIDIA
+關(guān)注
關(guān)注
14文章
5592瀏覽量
109721 -
仿真
+關(guān)注
關(guān)注
54文章
4482瀏覽量
138251
原文標(biāo)題:在 NVIDIA Isaac Lab 2.3 中使用全身控制和增強(qiáng)遙操作,簡(jiǎn)化機(jī)器人學(xué)習(xí)
文章出處:【微信號(hào):NVIDIA-Enterprise,微信公眾號(hào):NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
NVIDIA Isaac Lab推動(dòng)機(jī)器人技術(shù)突破
NVIDIA 發(fā)布三大利器,推動(dòng)人形機(jī)器人邁向新紀(jì)元
NVIDIA 利用全新開源模型與仿真庫(kù)加速機(jī)器人研發(fā)進(jìn)程
NVIDIA Isaac Lab多GPU多節(jié)點(diǎn)訓(xùn)練指南
NVIDIA助力構(gòu)建人形機(jī)器人全身遙操作仿真平臺(tái)
NVIDIA展示機(jī)器人領(lǐng)域的研究成果
NVIDIA Isaac Lab可用環(huán)境與強(qiáng)化學(xué)習(xí)腳本使用指南
通過(guò)NVIDIA Cosmos模型增強(qiáng)機(jī)器人學(xué)習(xí)
NVIDIA Isaac Sim和Isaac Lab現(xiàn)已推出早期開發(fā)者預(yù)覽版
NVIDIA Isaac Sim與NVIDIA Isaac Lab的更新
盤點(diǎn)#機(jī)器人開發(fā)平臺(tái)
NVIDIA Isaac 是英偉達(dá)推出的綜合性機(jī)器人開發(fā)平臺(tái)
深度解讀英偉達(dá)Newton機(jī)器人平臺(tái):技術(shù)革新與跨界生態(tài)構(gòu)建
智元機(jī)器人基于NVIDIA Isaac GR00T打造高效仿真數(shù)據(jù)采集方案
NVIDIA Isaac Lab 2.3新增功能助力簡(jiǎn)化機(jī)器人學(xué)習(xí)
評(píng)論