物理 AI (Physical AI）涵蓋機器人技術、智能汽車等領域，需要大量真實世界數據、專用基礎設施以及嚴格的測試。

51Sim 利用NVIDIA Cosmos的生成式世界基礎模型，對現有的合成數據進行大規模泛化，在確保物理真實性的前提下，大幅提升了數據的豐富度。同時依托 NVIDIA Issac Sim，將輔助駕駛領域的經驗成功拓展到了具身智能領域，為端到端輔助駕駛仿真測試與具身智能機器人訓練提供了海量高置信度的合成數據，目前相關成果已在多個主機廠和智能裝備企業中實現落地應用。

合成數據的“多樣性”和“真實性”痛點

合成數據的泛化性和模擬-現實差距（Sim-to-Real Gap）是包括輔助駕駛仿真在內的具身智能領域的核心難題。

端到端輔助駕駛模型測試區別于傳統的模塊化測試方式，需要同時包含感知與規控環節，因此高置信度的感知仿真的重要性大幅提升，這也對仿真場景的真實性和數據置信度提出了更高的要求。同時泛化性也是重要的影響因素，高階輔助駕駛的進化深度依賴數據多樣性，海量、多維度，且覆蓋極端場景的長尾數據可以有效提升算法針對突發事件的應對能力。

相比于智能汽車，港口、礦山、工廠等場景的工礦則更加復雜，真實數據的采集成本更高、數據更為稀缺。同時由于裝備本身的復雜性，需要依托高質量的仿真環境和高度真實的物理仿真引擎才能完成閉環仿真測試與訓練數據合成，這為安全性驗證提出了更艱巨的任務。

利用 NVIDIA Cosmos 提升輔助駕駛合成數據場景的泛化性

NVIDIA Cosmos是一個生成式世界基礎模型（WFMs）平臺，包含先進的視覺標記器、護欄以及加速視頻數據處理工具管線。它專為加速輔助駕駛汽車和機器人領域的合成數據生成、AI 模型訓練與評估而設計，能夠為世界模型訓練提供支持，并加速輔助駕駛汽車和機器人的物理 AI 開發。

基于高真實感動靜態場景仿真和物理級傳感器仿真，51Sim 的輔助駕駛與機器人仿真測試平臺 SimOne 能夠輸出豐富的傳感器原始數據和真值數據類型，包括攝像頭視頻流、2D/3D 包圍盒、語義分割、實例分割、深度圖、法線圖等。這些真值可進一步作為Cosmos Transfer的控制輸入，通過不同的 Prompt，生成大規模、高真實感的合成數據集。

NVIDIA Cosmos為 51Sim 多種合成數據技術路線的融合帶來了更多可能性。圖形和 3DGS 混合渲染引擎的輸出可以直接作為 Cosmos 世界基礎模型的輸入。Cosmos Transfer可基于結構輸入或來自NVIDIA Omniverse的真實數據，可根據提示，生成不同場景風格的視頻。可在 Hugging Face 和 GitHub 上開放使用。在 Cosmos Transfer 的支持下，通過初期的基礎場景搭建以及云端 GPU 集群的加速生成，用戶可在有限資源投入的前提下，快速生成兼具真實性與多樣性的合成數據，顯著提升了生成效率，降低合成數據的整體成本。

借助 Cosmos，51Sim 將基于自研方案生產的合成數據的泛化性，實現了跨數量級的提升。一次構建，可生成海量的泛化場景，大幅提升了數據的復用性，節省了重建成本。這些合成數據幫助車企算法研發部門實現了極端數據的“飽和式”覆蓋，為應對極端場景提供了更強大的數據保障，加速高階輔助駕駛算法的快速迭代。

51Sim 專注打造強大落地能力的合成數據方案

憑借多年利用圖形引擎對真實世界進行數字孿生重建的經驗，51Sim 積累了海量的高質量 3D 資產庫，并擁有包括物理仿真及圖形渲染、3DGS 輻射場的重建、世界模型在內的行業內全面的合成數據技術路徑。

依托自研的 3DGS 混合引擎，51Sim 大幅提升了虛擬環境的視覺真實度和多樣化，并大幅降低了重建成本。這些虛擬場景產生的合成數據，嚴格遵循真實世界的物理規律，包括光照變化、材質特性、碰撞反饋及物體間的動態交互。

51Sim 的合成數據方案已在端到端輔助駕駛領域實現落地應用，憑借高置信度且多樣性的仿真場景、真實傳感器標定的物理級傳感器建模能力及一致性經驗，實現了攝像頭、激光雷達、毫米波雷達等物理級多傳感器仿真，滿足了車企算法測試部門對于端到端仿真對置信度的極致要求。

為了進一步滿足在輔助駕駛算法對于數據的真實性與多樣性的要求，縮小真實與仿真之間的領域差異，SimOne 還引入了實時光線追蹤渲染、3DGS 場景及動靜態資產的重建技術。同時，為了增強數據的多樣性，SimOne 還構建了基于域隨機化的靜態場景生成系統、基于大語言模型（LLM）的動態場景生成工具，并增加了海量的 SOTIF 資產庫，結合天氣與光照的泛化能力，從而實現了高質量、多樣化的合成數據生成。

未來展望：推動物理AI安全、高效地進入物理世界

基于 NVIDIA Cosmos 與 Isaac Sim 的強大能力，51Sim 進一步為端到端輔助駕駛提供了海量高置信度的仿真數據，全面提升了輔助駕駛系統的安全性與泛化性能，助力車企端到端輔助駕駛技術的落地。

目前，51Sim 目前應用領域已從輔助駕駛仿真，向智能裝備、低空飛行器、通用機器人等眾多行業進行了拓展。依托 NVIDIA Isaac 開放生態，將多年積累的仿真與合成數據經驗，和海量的高質量數據資產，成功拓展到了智能裝備、機器人等具身智能的仿真訓練領域，為更多行業提供有力數據和仿真能力支撐，推動物理 AI 安全、高效地進入物理世界。

51Sim 于今年加入了 NVIDIA 初創加速計劃，并參加了 2025 NVIDIA 創業企業展示活動，后續將在 NVIDIA 的助力下，在技術和市場方面進行更多交流與聯動。