NVIDIA 最近發布了 NVIDIA Cosmos 開放世界基礎模型（WFM）的更新，旨在加速物理 AI 模型的測試與驗證數據生成。借助 NVIDIA Omniverse 庫和 Cosmos，開發者可以大規模生成基于物理學的合成數據。

Cosmos Predict 2.5現在將 Text2World、Image2World 和 Video2World 三個獨立的模型統一為一個輕量級架構，能夠從單個圖像、視頻或提示生成一致且可控的多機位視頻世界。

Cosmos Transfer 2.5能夠實現高保真、空間可控的世界間風格轉換，以增加數據多樣性。開發者可以在多機位的仿真環境中添加新的天氣、光照和地形條件。Cosmos Transfer 2.5 的體積縮小到上一代的 1/3.5，性能更快的同時，在提示對齊和物理精度方面都有所提升。

這些 WFM 可以集成到在 NVIDIA Isaac Sim 開源機器人仿真框架中運行的合成數據流程中，該框架基于 NVIDIA Omniverse 平臺構建，以生成逼真的視頻，縮小仿真與現實之間的差距。開發者可以參考由四部分構成的合成數據生成流程：

NVIDIA Omniverse NuRec 神經重建庫，可通過智能手機拍攝的圖像，在 OpenUSD 環境中重建真實世界的數字孿生。

SimReady 資產，用于為數字孿生填充物理精確的 3D 模型。

Isaac Sim 中的 MobilityGen 工作流，用于生成合成數據。

NVIDIA Cosmos，用于擴充生成數據。

從仿真到現實世界，了解企業與開發者如何使用合成數據：Skild AI，Serve Robotics，Zipline，光輪智能，FS Studio，Robots for Humanity 等領先的機器人和 AI 公司及開發者已經在使用這些技術來加速物理 AI 開發。

文是洞悉Omniverse系列文章。“洞悉 Omniverse”重點介紹開發者、3D 從業者與企業如何使用OpenUSD和NVIDIA Omniverse的最新進展深入改變他們的工作流。

驅動機器人、輔助駕駛車輛和其他智能機器的物理 AI模型必須具備安全性、能夠適應動態場景，以及實時感知、推理和操作的能力。與可基于互聯網海量數據集訓練的大型語言模型不同，物理 AI 模型必須從基于現實世界中的數據中學習。

然而，要收集足夠多的涵蓋現實世界各種場景的數據是極其困難的，在某些情況下甚至存在危險。基于物理學的合成數據生成，為解決這一問題提供了關鍵途徑。

NVIDIA 最近發布了NVIDIA Cosmos開放世界基礎模型 (WFM)的更新，旨在加速物理 AI 模型的測試與驗證數據生成。借助NVIDIA Omniverse庫和 Cosmos，開發者可以大規模生成基于物理學的合成數據。

Cosmos Predict 2.5現在將 Text2World、Image2World 和 Video2World 三個獨立的模型統一為一個輕量級架構，能夠從單個圖像、視頻或提示生成一致且可控的多機位視頻世界。

Cosmos Transfer 2.5能夠實現高保真、空間可控的世界間風格轉換，以增加數據多樣性。開發者可以在多機位的仿真環境中添加新的天氣、光照和地形條件。Cosmos Transfer 2.5 的體積縮小到上一代的 1/3.5，性能更快的同時，在提示對齊和物理精度方面都有所提升。

這些 WFM 可以集成到在NVIDIA Isaac Sim開源機器人仿真框架中運行的合成數據流程中，該框架基于NVIDIA Omniverse平臺構建，以生成逼真的視頻，縮小仿真與現實之間的差距。開發者可以參考由四部分構成的合成數據生成流程：

NVIDIA Omniverse NuRec 神經重建庫，可通過智能手機拍攝的圖像，在OpenUSD環境中重建真實世界的數字孿生。

SimReady 資產，用于為數字孿生填充物理精確的 3D 模型。

Isaac Sim 中的 MobilityGen 工作流，用于生成合成數據。

NVIDIA Cosmos，用于擴充生成數據。

從仿真到現實世界

領先的機器人和 AI 公司已經在使用這些技術來加速物理 AI 開發。

Skild AI致力于打造通用機器人的大腦，他們正利用 Cosmos Transfer，通過添加新變體來擴充現有數據，以便測試和驗證在NVIDIA Isaac Lab訓練的機器人策略。

Skild AI 使用 Isaac Lab 創建可擴展的仿真環境，讓其機器人可以在不同的形態和應用場景中訓練。通過將 Isaac Lab 的機器人仿真能力和 Cosmos 的合成數據生成相結合，Skild AI 能夠在各種條件下訓練機器人智能體，避免了現實世界數據采集所面臨的時間和成本限制。

Serve Robotics在 NVIDIA Isaac Sim 中從數千個仿真場景中生成合成數據，然后結合真實數據與合成數據，用于物理 AI 模型訓練。該公司已構建起全球規模最大的公共空間自主機器人車隊之一，并在城市地區完成了超過 10 萬次“最后一英里”送餐。Serve 的機器人每月收集 100 萬英里的數據，包含近 1700 億張圖像與激光雷達樣本，這些數據被用于仿真訓練以持續優化機器人模型。

除了給人送餐，Serve 最近還使用其機器人來運送算力——將全新的NVIDIA DGX Spark個人 AI 超級計算機交付給 Refik Anadol、Will.I.AM 和 Ollama。DGX Spark 提供 1 petaflop 的 AI 性能，為開發者提供了桌面級計算能力，支持從 AI 模型原型設計、模型微調到推理及機器人開發等全流程工作。

自主無人機送貨公司 Zipline 也參與了 DGX Spark 的交付，首席硬件官 Jo Mardall 在加利福尼亞州半月灣的公司總部和測試場地通過無人機接收了 DGX Spark。Zipline 使用NVIDIA Jetson邊緣 AI 和機器人平臺為其無人機配送系統提供支持。

了解開發者如何使用合成數據

光輪智能作為一家仿真優先的機器人解決方案提供商，正利用 SimReady 資產和大規模合成數據集幫助公司彌合仿真到現實的差距。憑借基于 OpenUSD 構建的高質量合成數據和仿真環境，光輪智能的解決方案有助于確保在仿真中訓練的機器人能夠在從工廠車間到家庭場景的真實環境中高效運作。

數據科學家、Omniverse 社區成員Santiago Villa正運用合成數據結合Omniverse 庫與 Blender 軟件，通過識別阻礙作業的大型巖塊來優化采礦作業。

未被檢測到的巖石進入破碎機可能會導致每次事故延誤七分鐘或更久，每年給礦山造成高達 65 萬美元的生產損失。利用 Omniverse 在不同光照和天氣條件下生成數千張自動標注的合成圖像能夠顯著降低培訓成本，同時使礦業公司能夠改進巖石檢測系統，避免設備停機。

FS Studio與一家全球物流領導者合作，利用Omniverse 庫 (如 Replicator)創建了數千種在不同光照條件下的逼真包裹變體，以改善 AI 驅動的包裹檢測。合成數據集顯著提高了目標檢測精度，減少了誤報，為客戶物流網絡中的吞吐速度和系統性能帶來了可衡量的提升。

Robots for Humanity 為一家石油和天然氣客戶在 Isaac Sim 中使用 Omniverse 庫構建了完整的仿真環境，生成合成數據，包括深度、分割和 RGB 圖像，同時通過遙操作從 Unitree G1 機器人收集關節和運動數據。

Omniverse 大使Scott Dempsey正在開發一個合成數據生成合成器，根據現實世界制造商的規格構建各種電纜，使用 Isaac Sim 生成經過 Cosmos Transfer 增強的合成數據，為檢測和處理電纜的應用創建逼真的訓練數據集。