全新 NVIDIA 安全框架與技術正在推進開發者構建安全物理 AI 的方式。

本文是洞悉 Omniverse 系列文章。“洞悉 Omniverse”重點介紹開發者、3D 從業者與企業如何使用 OpenUSD 和 NVIDIA Omniverse 的最新進展深入改變他們的工作流。

物理 AI 正從研究實驗室走向現實世界，為智能機器人和智能汽車 (如無人駕駛出租車) 提供支持，這些系統必須在不可預測的環境中可靠地感知、推理和行動。

為了安全地擴展這些系統，開發者需要基于 OpenUSD 這一通用基礎架構，將現實世界數據、高保真仿真和強大的 AI 模型連接起來的工作流。

最新發布的 OpenUSD 核心規范 1.0 (OpenUSD，即通用場景描述) 定義了標準數據類型、文件格式和組合行為，為開發者在擴展自動化系統時提供可預測、可互操作的 USD 管線。

借助 OpenUSD，NVIDIA Omniverse 庫結合了 NVIDIA RTX 渲染、物理仿真和高效的運行時，能夠創建精準反映現實環境的數字孿生以及仿真就緒 (SimReady) 資產，用于合成數據生成與測試。

NVIDIA Cosmos 世界基礎模型可在這些仿真之上運行，增強數據多樣性，從同一場景生成新的天氣、光照和地形條件，讓團隊能夠安全地覆蓋罕見且具有挑戰性的極端案例。

此外，合成數據生成、多模態數據集和 SimReady 工作流程的進步，正在與 NVIDIA Halos 綜合安全系統相融合，共同為下一代輔助駕駛系統的部署構建一條基于標準的路徑，使部署過程更安全、更快捷、成本效益更高。

構建安全物理 AI 的基礎

開放標準與 SimReady 資產

OpenUSD 核心規范 1.0 建立了支撐 SimReady 資產的標準數據模型和行為，使開發者能夠在 OpenUSD 上構建適用于 AI 工廠和機器人的可互操作的仿真管線。

基于這一基礎，SimReady 3D 資產可在不同工具和團隊之間復用，并直接加載到 NVIDIA Isaac Sim 中，USDPhysics 碰撞器、剛體動力學和基于組合弧的變體讓團隊能夠在虛擬設施中測試機器人，對實際操作進行逼真的模擬。

開源學習

Learn OpenUSD 課程現已開源并在 GitHub 上提供，允許貢獻者針對不同受眾、語言及應用場景進行模板、練習和內容的本地化與適配。這為教育工作者提供了現成的基礎框架，幫助新團隊快速融入基于 OpenUSD 的仿真工作流。

生成式世界作為安全倍增器

Gaussian splatting 是一種利用可編輯 3D 元素快速高保真渲染環境的技術，結合世界模型，加速安全機器人測試和驗證的仿真管線。

在 SIGGRAPH Asia 上，NVIDIA 研究團隊推出了 Play4D，這是一種流式工作流，可通過 4D Gaussian splatting 實現動態場景的精準渲染，提高逼真度。

空間智能公司 World Labs 正使用其 Marble 生成式世界模型，結合 NVIDIA Isaac Sim 和 Omniverse NuRec，使研究人員能夠僅在數小時內，而非數周，將文本提示和示例圖像轉換為基于高斯的、物理就緒的逼真 3D 環境。

這些世界隨后可用于物理 AI 的訓練、測試以及仿真到現實的遷移。這種高保真仿真工作流程擴展了機器人可練習的場景范圍，同時將實驗安全地保持在仿真中。

光輪智能幫助團隊通過 SimReady 資產擴展機器人訓練

借助 OpenUSD，光輪智能的 SimReady 資產庫包含通用場景描述層，能夠更加便捷地構建高保真機器人數字孿生。SimReady 資產嵌入了精確的幾何、材質和驗證的物理屬性，可直接加載到 NVIDIA Isaac Sim 和 Isaac Lab 中進行機器人訓練，使機器人在學習過程中體驗真實的接觸、動力學和傳感器反饋。

安全的端到端輔助駕駛

端到端輔助駕駛安全正借助新研究、開放框架和檢查服務的結合取得快速進展，可推動安全驗證變得更嚴謹且可擴展。

NVIDIA 研究人員與哈佛大學和斯坦福大學的伙伴最近推出了 Sim2Val 框架，該框架能夠通過統計學方法融合真實道路與仿真測試結果，在驗證無人駕駛出租車及智能汽車于少見且關鍵的安全場景中能否安全運行的同時，顯著減少開發者對昂貴的物理里程的依賴。

這些創新還包括新的開源 NVIDIA Omniverse NuRec Fixer，這是一個基于 Cosmos 的模型，訓練于輔助駕駛數據，能去除神經重建中的偽影，生成更高質量的 SimReady 資產。

為使這些進展符合嚴格的全球標準，獲得美國國家標準學會國家認可委員會 (ANAB) 認證的 NVIDIA Halos AI 系統檢測實驗室，正通過 Halos 認證計劃，為無人駕駛出租車車隊、輔助駕駛堆棧、傳感器和制造商平臺中的 Halos 組件提供公正的檢測和認證服務。

輔助駕駛生態系統領導者推動物理 AI 安全落地

Bosch、Nuro 和 Wayve 是首批參與 NVIDIA Halos AI 系統檢測實驗室的企業，該實驗室旨在加速無人駕駛出租車車隊的安全大規模部署。生產輔助駕駛、工業自動化和醫療應用傳感器系統的 Onsemi 最近成為首個通過 NVIDIA Halos AI 系統檢測實驗室檢查的公司。

開源仿真平臺 CARLA 集成了 NVIDIA NuRec 和 Cosmos Transfer，能夠生成重建駕駛場景和多樣化場景變化;Voxel51 的 FiftyOne 引擎與 Cosmos Dataset Search、NuRec 和 Cosmos Transfer 連接，幫助團隊在輔助駕駛流水線中對多模態數據集進行整理、標注與評估。

密歇根大學的 Mcity 正利用 Omniverse 庫和技術增強其 32 英畝輔助駕駛測試設施的數字孿生。團隊正在集成 NVIDIA 輔助駕駛仿真藍圖和 Omniverse Sensor RTX API，以創建基于物理的攝像頭、激光雷達、雷達和超聲波傳感器模型。

通過將真實傳感器記錄與高保真仿真數據對齊，并開放共享相關數據資產，Mcity 能夠在車輛上路前安全、可重復地測試少見且危險的駕駛場景。