通用機(jī)器人策略需要能夠處理多種任務(wù)，適應(yīng)不同形態(tài)的機(jī)器人，并在多樣化的環(huán)境中運(yùn)行。因此，仿真評估過程必須具有可擴(kuò)展性且易于復(fù)現(xiàn)。目前，建立大規(guī)模的策略評估流程既繁瑣又依賴人工。如果缺乏系統(tǒng)化的方法，開發(fā)者將不得不以高昂成本構(gòu)建定制化基礎(chǔ)設(shè)施，即便如此，任務(wù)庫的復(fù)雜性和多樣性仍不足。

本文將介紹NVIDIA Isaac Lab-Arena，專為仿真環(huán)境中實(shí)現(xiàn)高效、可擴(kuò)展的機(jī)器人策略評估而設(shè)計(jì)的開源框架。該框架建立在NVIDIA Isaac Lab之上，由NVIDIA與光輪智能共同開發(fā)。它提供了用于任務(wù)管理、任務(wù)多樣化以及大規(guī)模并行評估的簡化API。現(xiàn)在，開發(fā)者無需承擔(dān)系統(tǒng)構(gòu)建的高昂成本，即可快速構(gòu)建復(fù)雜的基準(zhǔn)測試原型。本文還將展示一個涵蓋環(huán)境設(shè)置、可選的策略后訓(xùn)練以及閉環(huán)評估的端到端示例工作流。

Isaac Lab-Arena概覽與核心優(yōu)勢

Isaac Lab-Arena的Pre-alpha版本正式上線，我們誠邀社區(qū)參與其路線圖的規(guī)劃。同時，我們正與基準(zhǔn)測試作者合作，在Isaac Lab-Arena上實(shí)現(xiàn)并開源他們的評估方法，從而構(gòu)建一個不斷擴(kuò)大的生態(tài)系統(tǒng)，讓研究者能夠在統(tǒng)一的核心上使用現(xiàn)成的基準(zhǔn)測試和共享的評測方法。

Isaac Lab-Arena具備以下核心優(yōu)勢包括：簡化任務(wù)管理、實(shí)現(xiàn)自動化的多樣化處理、支持大規(guī)模基準(zhǔn)測試、與數(shù)據(jù)生成和模型訓(xùn)練無縫集成。后續(xù)將詳細(xì)說明。

簡化任務(wù)管理（從零到一）：

模塊化：框架采用樂高式的模塊化架構(gòu)，取代了傳統(tǒng)的單體式任務(wù)描述。系統(tǒng)能夠通過獨(dú)立的物體、場景、本體和任務(wù)模塊，動態(tài)構(gòu)建Isaac Lab環(huán)境。

泛化性：通過Affordance系統(tǒng)（如“可開啟”、“可按壓”）實(shí)現(xiàn)標(biāo)準(zhǔn)化交互，使任務(wù)能夠適配到各種不同的物體上。

可擴(kuò)展性：記錄的指標(biāo)與數(shù)據(jù)均可靈活擴(kuò)展。用戶可根據(jù)需要，對仿真過程和分析結(jié)果進(jìn)行精細(xì)化的控制。

自動化的多樣化處理（從一到多）：可輕松混搭各類組件，將同一任務(wù)應(yīng)用于不同的機(jī)器人或物體。例如，無需重寫代碼，即可從家庭場景中的“開易拉罐”任務(wù)，無縫切換到工業(yè)流程任務(wù)。未來，團(tuán)隊(duì)計(jì)劃利用基礎(chǔ)模型自動生成多樣化且真實(shí)的訓(xùn)練任務(wù)。

大規(guī)模與策略無關(guān)的并行基準(zhǔn)測試：支持在數(shù)千個并行仿真環(huán)境中評估任意機(jī)器人策略，從而實(shí)現(xiàn)高吞吐量的GPU加速評估。當(dāng)前版本支持同構(gòu)的并行環(huán)境（允許進(jìn)行參數(shù)變化）。

用戶可以在統(tǒng)一的核心架構(gòu)上，獲取社區(qū)基準(zhǔn)測試和共享的評估方法。

寬松的開源許可：開發(fā)者可以自由使用、分發(fā)該框架，并為框架的開發(fā)做出貢獻(xiàn)。

與數(shù)據(jù)生成和訓(xùn)練無縫集成：盡管Isaac Lab-Arena的核心功能是任務(wù)配置與評估，但它與數(shù)據(jù)生成及訓(xùn)練框架緊密集成。這種集成實(shí)現(xiàn)了無縫的閉環(huán)工作流，涵蓋從Isaac Lab-Teleop、Isaac Lab-Mimic到NVIDIA Isaac GR00T N系列模型的后訓(xùn)練與推理全過程。

靈活的部署選項(xiàng)：支持在本地工作站或云原生環(huán)境（如OSMO）中部署，便于實(shí)現(xiàn)CI/CD。此外，它還可集成至如LeRobotEnvironment Hub等排行榜和分發(fā)平臺。

圖 . NVIDIA Isaac Lab-Arena開源框架致力于在仿真環(huán)境中實(shí)現(xiàn)高效、可擴(kuò)展的機(jī)器人策略評估

生態(tài)系統(tǒng)發(fā)展

NVIDIA正與各基準(zhǔn)測試作者合作構(gòu)建并發(fā)布基于Isaac Lab-Arena的評估方案，包括經(jīng)過仿真到現(xiàn)實(shí)驗(yàn)證的評估方法、任務(wù)與數(shù)據(jù)集，以方便社區(qū)在統(tǒng)一的核心架構(gòu)上進(jìn)行復(fù)用與擴(kuò)展。這些方案將涵蓋工業(yè)及研究領(lǐng)域的移動、機(jī)械臂與移動操作等多個方向的基準(zhǔn)測試。

光輪智能作為Isaac Lab-Arena框架的共同開發(fā)者，已正式采用該框架。通過Lightwheel-RoboCasa-Tasks和Lightwheel-LIBERO-Tasks套件，該公司已創(chuàng)建并開源了超過250項(xiàng)任務(wù)，并計(jì)劃未來將其確立為正式基準(zhǔn)測試。目前，光輪智能正使用Isaac Lab-Arena開發(fā)RoboFinals，這是一個旨在反映復(fù)雜真實(shí)世界環(huán)境的工業(yè)級基準(zhǔn)測試。

Isaac Lab-Arena環(huán)境現(xiàn)已集成至Hugging FaceLeRobotEnvironment Hub。開發(fā)者可以輕松注冊基于該框架構(gòu)建的自定義環(huán)境，并利用持續(xù)擴(kuò)充的環(huán)境庫，對包括Isaac GR00T N、pi0和SmolVLA在內(nèi)的機(jī)器人策略進(jìn)行后訓(xùn)練與評估。更多詳細(xì)信息，請參閱LeRobot文檔。

NVIDIA正通過Hugging Face平臺為數(shù)百萬開發(fā)者提供開放機(jī)器人模型與數(shù)據(jù)集，推動機(jī)器人領(lǐng)域成為該平臺上增長最快的類別之一。

RoboTwin正使用Isaac Lab-Arena構(gòu)建RoboTwin2.0的擴(kuò)展版本（大規(guī)模具身智能仿真基準(zhǔn)測試），以及其他復(fù)雜的多步驟任務(wù)基準(zhǔn)測試。目前正計(jì)劃發(fā)布開源版本，相關(guān)的論文提交與代碼更新工作也在同步推進(jìn)中。

此外，通用具身智能體研究中心（GEAR）等NVIDIA研究中心實(shí)驗(yàn)室也在使用Isaac Lab-Arena。他們旨在對Isaac GR00T N系列視覺-語言-動作模型進(jìn)行基準(zhǔn)測試，從而在大規(guī)模場景下評估人形機(jī)器人的推理與技能執(zhí)行能力。

NVIDIA西雅圖機(jī)器人實(shí)驗(yàn)室（SRL）正將其在語言條件任務(wù)套件及評估方法方面的研究成果集成到Isaac Lab-Arena中，用于通用機(jī)器人策略的基準(zhǔn)測試。

Isaac Lab-Arena的未來規(guī)劃

當(dāng)前發(fā)布的Pre-alpha版本是功能相對有限的早期框架形態(tài)。我們有意以此作為實(shí)際起點(diǎn)，邀請開發(fā)者進(jìn)行試用、提供反饋，并共同參與框架未來的設(shè)計(jì)與發(fā)展。

框架計(jì)劃引入構(gòu)建復(fù)雜任務(wù)庫所需的核心功能，包括：通過自然語言指令放置物體、通過組合基本技能實(shí)現(xiàn)復(fù)合任務(wù)的編排、強(qiáng)化學(xué)習(xí)任務(wù)的設(shè)置，以及并行異構(gòu)評估（例如，在不同并行環(huán)境中使用不同的物體）。

從長遠(yuǎn)來看，團(tuán)隊(duì)致力于探索更智能體化、更神經(jīng)化的方法，以進(jìn)一步擴(kuò)展評估的規(guī)模。例如，利用NVIDIA Cosmos實(shí)現(xiàn)由世界模型驅(qū)動的神經(jīng)仿真與場景生成。此外，團(tuán)隊(duì)還將借助NVIDIA Omniverse NuRec實(shí)現(xiàn)從現(xiàn)實(shí)到仿真的構(gòu)建，從而創(chuàng)建與真實(shí)世界高度一致的鏡像仿真環(huán)境。社區(qū)的積極參與和反饋對于技術(shù)的發(fā)展至關(guān)重要。

如何利用Isaac Lab-Arena設(shè)置任務(wù)并進(jìn)行大規(guī)模策略評估

本節(jié)將展示一個端到端的示例工作流，利用GR1機(jī)器人評估Isaac GR00T N系列模型在“打開微波爐門“這一操作技能上的表現(xiàn)。該工作流涵蓋環(huán)境設(shè)置、可選的策略后訓(xùn)練以及閉環(huán)評估。

第一步：環(huán)境創(chuàng)建與多樣化

請按照“GR1開啟微波爐門”任務(wù)的先決條件，克隆倉庫并運(yùn)行Docker容器。隨后，通過組合不同模塊在Isaac Lab-Arena中構(gòu)建環(huán)境。您需要將一個具備“可開啟”與“可按壓”交互特質(zhì)的物體（微波爐）放置在特定場景（廚房）中，并結(jié)合機(jī)器人本體（GR1機(jī)器人）來執(zhí)行指定任務(wù)（開啟微波爐門）。用戶還可根據(jù)需要，添加基于遠(yuǎn)程操作的數(shù)據(jù)采集配置。

獲取資產(chǎn)：

background = self.asset_registry.get_asset_by_name("kitchen")()
microwave = self.asset_registry.get_asset_by_name("microwave")()
assets = [background, microwave]
 
embodiment = self.asset_registry.get_asset_by_name("gr1_pink")(enable_cameras=args_cli.enable_cameras)
teleop_device = self.device_registry.get_device_by_name("avp")()

想要了解詳細(xì)信息，請參閱Assets Design與Affordances Design。

放置物體：

microwave_pose = Pose(
    position_xyz=(0.4, -0.00586, 0.22773),
    rotation_wxyz=(0.7071068, 0, 0, -0.7071068),
)
microwave.set_initial_pose(microwave_pose)

構(gòu)建場景：

scene = Scene(assets=assets)

創(chuàng)建任務(wù)：

task = OpenDoorTask(microwave, openness_threshold=0.8, reset_openness=0.2)

任務(wù)封裝了物體、成功標(biāo)準(zhǔn)，以及終止邏輯、事件和指標(biāo)。更多詳情，請參閱Task Design。

最后，將這些獨(dú)立的組件整合起來，即可構(gòu)建出完整的可運(yùn)行環(huán)境：

isaaclab_arena_environment = IsaacLabArenaEnvironment(
    name=self.name,
    embodiment=embodiment,
    scene=scene,
    task=task,
    teleop_device=teleop_device,
)

接下來，利用測試數(shù)據(jù)集來運(yùn)行該環(huán)境。

首先，下載測試數(shù)據(jù)集：

hf download \
    nvidia/Arena-GR1-Manipulation-Task \
    arena_gr1_manipulation_dataset_generated.hdf5 \
    --repo-type dataset \
    --local-dir $DATASET_DIR

運(yùn)行該環(huán)境：

python isaaclab_arena/scripts/replay_demos.py \
  --device cpu \
  --enable_cameras \
  --dataset_file "${DATASET_DIR}/arena_gr1_manipulation_dataset_generated.hdf5" \
  gr1_open_microwave \
  --embodiment gr1_pink

機(jī)器人將基于NVIDIA采集的遙操作數(shù)據(jù)，來執(zhí)行開啟微波爐的任務(wù)。

若需了解創(chuàng)建新環(huán)境所涉及的技術(shù)細(xì)節(jié)與設(shè)計(jì)原則，請參閱官方教程文檔。

跨機(jī)器人、物體及場景的高效擴(kuò)展任務(wù)

以下示例將展示如何在不重構(gòu)環(huán)境或工作流的情況下，輕松替換任務(wù)中的物體或機(jī)器人。

示例1 –將操作對象從微波爐切換為power_drill：

background = asset_registry.get_asset_by_name("kitchen")()
embodiment = asset_registry.get_asset_by_name("gr1_pink")()
power_drill = asset_registry.get_asset_by_name("power_drill")()
assets = [background, power_drill]

示例2 –將機(jī)器人本體從GR1更換為Franka機(jī)械臂，并將操作對象更換為cracker_box：

background = asset_registry.get_asset_by_name("kitchen")()
embodiment = asset_registry.get_asset_by_name("franka")()
cracker_box = asset_registry.get_asset_by_name("cracker_box")()
assets = [background, cracker_box]

示例3 –將背景從廚房切換為工業(yè)包裝臺：

background = asset_registry.get_asset_by_name("packing_table")()
embodiment = asset_registry.get_asset_by_name("gr1_pink")()
cracker_box = asset_registry.get_asset_by_name("power_drill")()
assets = [background, cracker_box]

第二步：可選的策略后訓(xùn)練

雖然Isaac Lab-Arena的核心功能聚焦于任務(wù)設(shè)置與策略評估，但如果您的策略在評估前需要進(jìn)行后訓(xùn)練，該環(huán)境也能夠與數(shù)據(jù)采集、數(shù)據(jù)生成及后訓(xùn)練流程無縫集成。您可以按以下步驟操作：

使用Isaac Lab Teleop采集示范數(shù)據(jù)

使用Isaac Lab Mimic將少量示范數(shù)據(jù)擴(kuò)展為規(guī)模更大的合成數(shù)據(jù)集

利用生成的訓(xùn)練集，對Isaac GR00T N系列模型或任意機(jī)器人策略進(jìn)行后訓(xùn)練

第三步：在并行環(huán)境中執(zhí)行評估

接下來的步驟是對訓(xùn)練完成的策略進(jìn)行評估。需要注意的是，該框架支持評估任何已訓(xùn)練好的機(jī)器人策略。

方案1 –在單個環(huán)境中測試策略：

python isaaclab_arena/examples/policy_runner.py \
  --policy_type gr00t_closedloop \
  --policy_config_yaml_path isaaclab_arena_gr00t/gr1_manip_gr00t_closedloop_config.yaml \
  --num_steps 2000 \
  --enable_cameras \
  gr1_open_microwave \
  --embodiment gr1_joint

方案2 –在多個并行的同質(zhì)環(huán)境中測試策略：

python isaaclab_arena/examples/policy_runner.py \
  --policy_type gr00t_closedloop \
  --policy_config_yaml_path isaaclab_arena_gr00t/gr1_manip_gr00t_closedloop_config.yaml \
  --num_steps 2000 \
  --num_envs 10 \
  --enable_cameras \
  gr1_open_microwave \
  --embodiment gr1_joint

開始使用NVIDIA Isaac Lab-Arena

Isaac Lab-Arena的Pre-alpha版本現(xiàn)已開源。我們誠邀您加入，共同參與并指引其未來的設(shè)計(jì)與開發(fā)。如需使用該框架，可參閱GitHub代碼庫及相關(guān)文檔。

歡迎通過GitHub Issue反饋漏洞或建議功能優(yōu)化，也歡迎提交pull request來貢獻(xiàn)您的修改。

基于Isaac Lab-Arena創(chuàng)建任務(wù)或經(jīng)過仿真到現(xiàn)實(shí)驗(yàn)證的基準(zhǔn)測試，并將其開源，共同構(gòu)建一個即插即用的機(jī)器人學(xué)習(xí)任務(wù)共享生態(tài)。

任務(wù)發(fā)布至排行榜或LeRobot Environment Hub等評估平臺，提升任務(wù)的可見度，并便于在共享工作流與注冊表上運(yùn)行。

關(guān)于作者

Sangeeta Subramanian 是 NVIDIA 的高級產(chǎn)品經(jīng)理，專注于開發(fā)用于機(jī)器人學(xué)習(xí)和評估的仿真軟件。她曾從事智能汽車平臺軟件的開發(fā)工作，并在 NVIDIA DRIVE 平臺的系統(tǒng)軟件工程領(lǐng)導(dǎo)方面擁有豐富的經(jīng)驗(yàn)。她擁有北卡羅來納州立大學(xué)計(jì)算機(jī)科學(xué)碩士學(xué)位。

Kalyan Vadrevu 是 NVIDIA 的產(chǎn)品營銷經(jīng)理，專注于 ROS 開發(fā)者生態(tài)系統(tǒng)、Isaac ROS、Isaac Manipulator 和 Isaac Perceptor。在加入 NVIDIA 之前，Kalyan 曾在微軟和諾基亞從事開發(fā)者關(guān)系和 SDK 營銷工作。他擁有印第安納大學(xué) Bloomington 分校的營銷 MBA 學(xué)位。

Oyindamola Omotuyi 是 NVIDIA 的產(chǎn)品營銷經(jīng)理實(shí)習(xí)生，專注于機(jī)器人開發(fā)社區(qū)。在之前的 NVIDIA 實(shí)習(xí)期間，她撰寫了 NVIDIA 對話 AI 電子書的介紹。 Oyindamola Omotuyi 擁有尼日利亞拉各斯大學(xué)系統(tǒng)工程學(xué)士學(xué)位和辛辛那提大學(xué)機(jī)械工程碩士學(xué)位。她目前正在辛辛那提大學(xué)攻讀博士學(xué)位，專注于多智能體深度強(qiáng)化學(xué)習(xí)和機(jī)器人感知。

Vikram Ramasamy 是 NVIDIA 的高級機(jī)器人工程師，從事機(jī)器人和仿真到現(xiàn)實(shí)應(yīng)用的 3D 感知工作。在蘇黎世聯(lián)邦理工學(xué)院完成碩士學(xué)位后，他加入了 NVIDIA，當(dāng)時他是 AMZRacing 團(tuán)隊(duì)的一員，為自動駕駛賽車控制系統(tǒng)做出了貢獻(xiàn)。在職業(yè)生涯早期，他從事的是用于賽車應(yīng)用的空氣動力學(xué)技術(shù)。

Alexander Millane 是 NVIDIA 的高級機(jī)器人工程師，從事機(jī)器感知、機(jī)器人學(xué)習(xí)和仿真交叉領(lǐng)域的工作。Alex 擁有蘇黎世聯(lián)邦理工學(xué)院的博士學(xué)位，主要研究機(jī)器人的實(shí)時 3D 重建。