全新的 Cosmos Predict-2 世界基礎模型與 CARLA 的集成加速了智能汽車訓練。

輔助駕駛堆棧正在從許多不同的模型演變為統一的端到端架構，端到端架構可直接根據傳感器數據執行駕駛操作。這種向使用大模型的過渡大大增加了對用于訓練、測試和驗證的高質量、基于物理學傳感器數據的需求。

為加速下一代輔助駕駛架構的開發，NVIDIA 發布了NVIDIA Cosmos Predict-2，這是一種全新的世界基礎模型，具有更強的未來世界狀態預測能力，可生成高質量的合成數據，以及新的開發者工具。

Cosmos Predict-2 是 NVIDIA Cosmos 平臺的一部分，該平臺為開發者提供了應對端到端輔助駕駛開發中最復雜挑戰的技術。Oxa、Plus 與 Uber 等行業領導者正在使用 Cosmos 模型快速擴展輔助駕駛開發的合成數據生成。

Cosmos Predict-2 加速智能汽車訓練

Cosmos Predict-1 可通過文本、圖像和視頻提示預測并生成未來世界狀態。在 Cosmos Predict-1 的基礎上，Cosmos Predict-2 可更好地理解文本和視覺輸入的上下文，從而減少幻覺，使生成的視頻細節更豐富。

Cosmos Predict-2 通過增強文字理解和常識推理水平，

優化了路口停車標志的識別效果。

通過使用最新的優化技術，Cosmos Predict-2 顯著加快了 NVIDIA DGX Cloud 上合成數據的生成速度。

經后訓練的 Cosmos 模型解鎖了新的訓練數據源

通過在輔助駕駛數據集上對 Cosmos 模型進行后訓練，開發者可以生成與現有物理環境與車輛軌跡高度匹配的視頻，還能從單視角視頻（如行車記錄儀片段）生成多視角視頻。這種將廣泛可用的行車記錄儀數據轉化為多攝像頭數據的能力，為開發者提供了全新的輔助駕駛訓練數據庫。這些多視角視頻數據還可用于替換因傳感器損壞或遮擋而缺失的真實攝像頭數據。

經后訓練的 Cosmos 模型會生成多視角視頻數據，從而大幅增強輔助駕駛訓練數據集。

NVIDIA Research 團隊基于 20,000 小時的真實世界駕駛數據對 Cosmos 模型進行了后訓練。利用輔助駕駛專用模型生成多視角視頻數據，該團隊提高了模型在霧天和雨天等復雜環境下的性能。

汽車行業生態系統

利用 Cosmos Predict 推動技術進步

多家汽車制造商已經將 Cosmos Predict 集成到其系統中，以擴展并加速車輛開發的規模和速度。

輔助駕駛卡車領域的領軍企業 Plus 正在利用NVIDIA DRIVE AGX平臺構建其解決方案，該企業正在通過卡車運輸數據對 Cosmos Predict 進行后訓練，以生成高度逼真的合成駕駛場景，從而加速其輔助駕駛卡車解決方案的大規模商業化進程。輔助駕駛軟件公司 Oxa 也正在使用 Cosmos Predict，以支持生成具有高保真和時間一致性的多攝像頭視頻數據。

全新 NVIDIA 模型

和 NIM 微服務助力智能汽車開發

除 Cosmos Predict-2 外，NVIDIA 還以NVIDIA NIM微服務預覽版的方式發布了Cosmos Transfer，以便開發者在數據中心 GPU 上部署。

Cosmos Transfer NIM微服務預覽版增強了數據集，并使用NVIDIA Omniverse平臺的結構化輸入或地面實況仿真來生成逼真的視頻。另外，NuRec Fixer 模型有助于修復和填補重建輔助駕駛數據的空白。

NuRec Fixer 通過填補駕駛數據中的空白來提升神經重建的質量。

全球領先的開源輔助駕駛模擬平臺 CARLA，現已將 Cosmos Transfer 和NVIDIA NuRec集成到其最新版本中，后者是一套用于神經重建和渲染的 API 工具集。這有助于 CARLA 平臺上超過 15 萬智能汽車開發者用戶群以高保真度渲染合成仿真場景和視角，并通過簡單的提示生成無限種照明、天氣和地形組合變化。

開發者可以使用 NVIDIA 物理 AI 數據集上提供的開源數據試用該工作流。最新發布的數據集包括由 Cosmos 生成的 40,000 個片段，以及用于神經渲染的樣本重建場景。借助最新版本的 CARLA，開發者可以創建新的行駛軌跡、重新定位傳感器并完善模擬駕駛過程。

這種可擴展的數據生成工作流為端到端輔助駕駛模型架構的開發提供了動力，最近 NVIDIA Research 團隊連續第二次獲得 CVPR 大會輔助駕駛國際挑戰賽“端到端輔助駕駛”賽道冠軍，就是最佳佐證。

該挑戰賽為研究人員提供了探索應對突發情況方法的新機會，除使用真實世界人類駕駛數據之外，加速開發更智能的汽車。

NVIDIA Halos 提升端到端智能汽車安全性

為增強輔助駕駛系統的運行安全性，NVIDIA 今年早些時候推出了NVIDIA Halos，這是一個綜合安全系統，它將 NVIDIA 全套汽車硬件、軟件安全堆棧與專注于汽車安全領域的前沿 AI 研究成果相結合。

汽車行業領軍企業博世、Easyrain 與 Nuro 率先加入 NVIDIA Halos AI 系統檢測實驗室，驗證其產品與 NVIDIA 技術的安全集成，提升智能汽車的安全性。今年早些時候宣布加入實驗室的成員還包括大陸集團、Ficosa、OMNIVISION、onsemi 和 Sony Semiconductor Solutions。