通用機器人策略需要能夠處理多種任務，適應不同形態的機器人，并在多樣化的環境中運行。因此，仿真評估過程必須具有可擴展性且易于復現。目前，建立大規模的策略評估流程既繁瑣又依賴人工。如果缺乏系統化的方法，開發者將不得不以高昂成本構建定制化基礎設施，即便如此，任務庫的復雜性和多樣性仍不足。

本文將介紹NVIDIA Isaac Lab-Arena，專為仿真環境中實現高效、可擴展的機器人策略評估而設計的開源框架。該框架建立在NVIDIA Isaac Lab之上，由NVIDIA與光輪智能共同開發。它提供了用于任務管理、任務多樣化以及大規模并行評估的簡化API。現在，開發者無需承擔系統構建的高昂成本，即可快速構建復雜的基準測試原型。本文還將展示一個涵蓋環境設置、可選的策略后訓練以及閉環評估的端到端示例工作流。

Isaac Lab-Arena概覽與核心優勢

Isaac Lab-Arena的Pre-alpha版本正式上線，我們誠邀社區參與其路線圖的規劃。同時，我們正與基準測試作者合作，在Isaac Lab-Arena上實現并開源他們的評估方法，從而構建一個不斷擴大的生態系統，讓研究者能夠在統一的核心上使用現成的基準測試和共享的評測方法。

Isaac Lab-Arena具備以下核心優勢包括：簡化任務管理、實現自動化的多樣化處理、支持大規模基準測試、與數據生成和模型訓練無縫集成。后續將詳細說明。

簡化任務管理（從零到一）：

模塊化：框架采用樂高式的模塊化架構，取代了傳統的單體式任務描述。系統能夠通過獨立的物體、場景、本體和任務模塊，動態構建Isaac Lab環境。

泛化性：通過Affordance系統（如“可開啟”、“可按壓”）實現標準化交互，使任務能夠適配到各種不同的物體上。

可擴展性：記錄的指標與數據均可靈活擴展。用戶可根據需要，對仿真過程和分析結果進行精細化的控制。

自動化的多樣化處理（從一到多）：可輕松混搭各類組件，將同一任務應用于不同的機器人或物體。例如，無需重寫代碼，即可從家庭場景中的“開易拉罐”任務，無縫切換到工業流程任務。未來，團隊計劃利用基礎模型自動生成多樣化且真實的訓練任務。

大規模與策略無關的并行基準測試：支持在數千個并行仿真環境中評估任意機器人策略，從而實現高吞吐量的GPU加速評估。當前版本支持同構的并行環境（允許進行參數變化）。

用戶可以在統一的核心架構上，獲取社區基準測試和共享的評估方法。

寬松的開源許可：開發者可以自由使用、分發該框架，并為框架的開發做出貢獻。

與數據生成和訓練無縫集成：盡管Isaac Lab-Arena的核心功能是任務配置與評估，但它與數據生成及訓練框架緊密集成。這種集成實現了無縫的閉環工作流，涵蓋從Isaac Lab-Teleop、Isaac Lab-Mimic到NVIDIA Isaac GR00T N系列模型的后訓練與推理全過程。

靈活的部署選項：支持在本地工作站或云原生環境（如OSMO）中部署，便于實現CI/CD。此外，它還可集成至如LeRobotEnvironment Hub等排行榜和分發平臺。

圖 . NVIDIA Isaac Lab-Arena開源框架致力于在仿真環境中實現高效、可擴展的機器人策略評估

生態系統發展

NVIDIA正與各基準測試作者合作構建并發布基于Isaac Lab-Arena的評估方案，包括經過仿真到現實驗證的評估方法、任務與數據集，以方便社區在統一的核心架構上進行復用與擴展。這些方案將涵蓋工業及研究領域的移動、機械臂與移動操作等多個方向的基準測試。

光輪智能作為Isaac Lab-Arena框架的共同開發者，已正式采用該框架。通過Lightwheel-RoboCasa-Tasks和Lightwheel-LIBERO-Tasks套件，該公司已創建并開源了超過250項任務，并計劃未來將其確立為正式基準測試。目前，光輪智能正使用Isaac Lab-Arena開發RoboFinals，這是一個旨在反映復雜真實世界環境的工業級基準測試。

Isaac Lab-Arena環境現已集成至Hugging FaceLeRobotEnvironment Hub。開發者可以輕松注冊基于該框架構建的自定義環境，并利用持續擴充的環境庫，對包括Isaac GR00T N、pi0和SmolVLA在內的機器人策略進行后訓練與評估。更多詳細信息，請參閱LeRobot文檔。

NVIDIA正通過Hugging Face平臺為數百萬開發者提供開放機器人模型與數據集，推動機器人領域成為該平臺上增長最快的類別之一。

RoboTwin正使用Isaac Lab-Arena構建RoboTwin2.0的擴展版本（大規模具身智能仿真基準測試），以及其他復雜的多步驟任務基準測試。目前正計劃發布開源版本，相關的論文提交與代碼更新工作也在同步推進中。

此外，通用具身智能體研究中心（GEAR）等NVIDIA研究中心實驗室也在使用Isaac Lab-Arena。他們旨在對Isaac GR00T N系列視覺-語言-動作模型進行基準測試，從而在大規模場景下評估人形機器人的推理與技能執行能力。

NVIDIA西雅圖機器人實驗室（SRL）正將其在語言條件任務套件及評估方法方面的研究成果集成到Isaac Lab-Arena中，用于通用機器人策略的基準測試。

Isaac Lab-Arena的未來規劃

當前發布的Pre-alpha版本是功能相對有限的早期框架形態。我們有意以此作為實際起點，邀請開發者進行試用、提供反饋，并共同參與框架未來的設計與發展。

框架計劃引入構建復雜任務庫所需的核心功能，包括：通過自然語言指令放置物體、通過組合基本技能實現復合任務的編排、強化學習任務的設置，以及并行異構評估（例如，在不同并行環境中使用不同的物體）。

從長遠來看，團隊致力于探索更智能體化、更神經化的方法，以進一步擴展評估的規模。例如，利用NVIDIA Cosmos實現由世界模型驅動的神經仿真與場景生成。此外，團隊還將借助NVIDIA Omniverse NuRec實現從現實到仿真的構建，從而創建與真實世界高度一致的鏡像仿真環境。社區的積極參與和反饋對于技術的發展至關重要。

如何利用Isaac Lab-Arena設置任務并進行大規模策略評估

本節將展示一個端到端的示例工作流，利用GR1機器人評估Isaac GR00T N系列模型在“打開微波爐門“這一操作技能上的表現。該工作流涵蓋環境設置、可選的策略后訓練以及閉環評估。

第一步：環境創建與多樣化

請按照“GR1開啟微波爐門”任務的先決條件，克隆倉庫并運行Docker容器。隨后，通過組合不同模塊在Isaac Lab-Arena中構建環境。您需要將一個具備“可開啟”與“可按壓”交互特質的物體（微波爐）放置在特定場景（廚房）中，并結合機器人本體（GR1機器人）來執行指定任務（開啟微波爐門）。用戶還可根據需要，添加基于遠程操作的數據采集配置。

獲取資產：

background = self.asset_registry.get_asset_by_name("kitchen")()
microwave = self.asset_registry.get_asset_by_name("microwave")()
assets = [background, microwave]
 
embodiment = self.asset_registry.get_asset_by_name("gr1_pink")(enable_cameras=args_cli.enable_cameras)
teleop_device = self.device_registry.get_device_by_name("avp")()

想要了解詳細信息，請參閱Assets Design與Affordances Design。

放置物體：

microwave_pose = Pose(
    position_xyz=(0.4, -0.00586, 0.22773),
    rotation_wxyz=(0.7071068, 0, 0, -0.7071068),
)
microwave.set_initial_pose(microwave_pose)

構建場景：

scene = Scene(assets=assets)

創建任務：

task = OpenDoorTask(microwave, openness_threshold=0.8, reset_openness=0.2)

任務封裝了物體、成功標準，以及終止邏輯、事件和指標。更多詳情，請參閱Task Design。

最后，將這些獨立的組件整合起來，即可構建出完整的可運行環境：

isaaclab_arena_environment = IsaacLabArenaEnvironment(
    name=self.name,
    embodiment=embodiment,
    scene=scene,
    task=task,
    teleop_device=teleop_device,
)

接下來，利用測試數據集來運行該環境。

首先，下載測試數據集：

hf download \
    nvidia/Arena-GR1-Manipulation-Task \
    arena_gr1_manipulation_dataset_generated.hdf5 \
    --repo-type dataset \
    --local-dir $DATASET_DIR

運行該環境：

python isaaclab_arena/scripts/replay_demos.py \
  --device cpu \
  --enable_cameras \
  --dataset_file "${DATASET_DIR}/arena_gr1_manipulation_dataset_generated.hdf5" \
  gr1_open_microwave \
  --embodiment gr1_pink

機器人將基于NVIDIA采集的遙操作數據，來執行開啟微波爐的任務。

若需了解創建新環境所涉及的技術細節與設計原則，請參閱官方教程文檔。

跨機器人、物體及場景的高效擴展任務

以下示例將展示如何在不重構環境或工作流的情況下，輕松替換任務中的物體或機器人。

示例1 –將操作對象從微波爐切換為power_drill：

background = asset_registry.get_asset_by_name("kitchen")()
embodiment = asset_registry.get_asset_by_name("gr1_pink")()
power_drill = asset_registry.get_asset_by_name("power_drill")()
assets = [background, power_drill]

示例2 –將機器人本體從GR1更換為Franka機械臂，并將操作對象更換為cracker_box：

background = asset_registry.get_asset_by_name("kitchen")()
embodiment = asset_registry.get_asset_by_name("franka")()
cracker_box = asset_registry.get_asset_by_name("cracker_box")()
assets = [background, cracker_box]

示例3 –將背景從廚房切換為工業包裝臺：

background = asset_registry.get_asset_by_name("packing_table")()
embodiment = asset_registry.get_asset_by_name("gr1_pink")()
cracker_box = asset_registry.get_asset_by_name("power_drill")()
assets = [background, cracker_box]

第二步：可選的策略后訓練

雖然Isaac Lab-Arena的核心功能聚焦于任務設置與策略評估，但如果您的策略在評估前需要進行后訓練，該環境也能夠與數據采集、數據生成及后訓練流程無縫集成。您可以按以下步驟操作：

使用Isaac Lab Teleop采集示范數據

使用Isaac Lab Mimic將少量示范數據擴展為規模更大的合成數據集

利用生成的訓練集，對Isaac GR00T N系列模型或任意機器人策略進行后訓練

第三步：在并行環境中執行評估

接下來的步驟是對訓練完成的策略進行評估。需要注意的是，該框架支持評估任何已訓練好的機器人策略。

方案1 –在單個環境中測試策略：

python isaaclab_arena/examples/policy_runner.py \
  --policy_type gr00t_closedloop \
  --policy_config_yaml_path isaaclab_arena_gr00t/gr1_manip_gr00t_closedloop_config.yaml \
  --num_steps 2000 \
  --enable_cameras \
  gr1_open_microwave \
  --embodiment gr1_joint

方案2 –在多個并行的同質環境中測試策略：

python isaaclab_arena/examples/policy_runner.py \
  --policy_type gr00t_closedloop \
  --policy_config_yaml_path isaaclab_arena_gr00t/gr1_manip_gr00t_closedloop_config.yaml \
  --num_steps 2000 \
  --num_envs 10 \
  --enable_cameras \
  gr1_open_microwave \
  --embodiment gr1_joint

開始使用NVIDIA Isaac Lab-Arena

Isaac Lab-Arena的Pre-alpha版本現已開源。我們誠邀您加入，共同參與并指引其未來的設計與開發。如需使用該框架，可參閱GitHub代碼庫及相關文檔。

歡迎通過GitHub Issue反饋漏洞或建議功能優化，也歡迎提交pull request來貢獻您的修改。

基于Isaac Lab-Arena創建任務或經過仿真到現實驗證的基準測試，并將其開源，共同構建一個即插即用的機器人學習任務共享生態。

任務發布至排行榜或LeRobot Environment Hub等評估平臺，提升任務的可見度，并便于在共享工作流與注冊表上運行。

關于作者

Sangeeta Subramanian 是 NVIDIA 的高級產品經理，專注于開發用于機器人學習和評估的仿真軟件。她曾從事智能汽車平臺軟件的開發工作，并在 NVIDIA DRIVE 平臺的系統軟件工程領導方面擁有豐富的經驗。她擁有北卡羅來納州立大學計算機科學碩士學位。

Kalyan Vadrevu 是 NVIDIA 的產品營銷經理，專注于 ROS 開發者生態系統、Isaac ROS、Isaac Manipulator 和 Isaac Perceptor。在加入 NVIDIA 之前，Kalyan 曾在微軟和諾基亞從事開發者關系和 SDK 營銷工作。他擁有印第安納大學 Bloomington 分校的營銷 MBA 學位。

Oyindamola Omotuyi 是 NVIDIA 的產品營銷經理實習生，專注于機器人開發社區。在之前的 NVIDIA 實習期間，她撰寫了 NVIDIA 對話 AI 電子書的介紹。 Oyindamola Omotuyi 擁有尼日利亞拉各斯大學系統工程學士學位和辛辛那提大學機械工程碩士學位。她目前正在辛辛那提大學攻讀博士學位，專注于多智能體深度強化學習和機器人感知。

Vikram Ramasamy 是 NVIDIA 的高級機器人工程師，從事機器人和仿真到現實應用的 3D 感知工作。在蘇黎世聯邦理工學院完成碩士學位后，他加入了 NVIDIA，當時他是 AMZRacing 團隊的一員，為自動駕駛賽車控制系統做出了貢獻。在職業生涯早期，他從事的是用于賽車應用的空氣動力學技術。

Alexander Millane 是 NVIDIA 的高級機器人工程師，從事機器感知、機器人學習和仿真交叉領域的工作。Alex 擁有蘇黎世聯邦理工學院的博士學位，主要研究機器人的實時 3D 重建。