NVIDIA 發布一系列涵蓋語音、安全與輔助駕駛領域的全新 AI 工具，其中包括面向移動出行領域的行業級開源視覺-語言-動作推理模型（Reasoning VLA）NVIDIA DRIVE Alpamayo-R1。此外，一項新的獨立基準測試認可了 NVIDIA Nemotron 模型及數據集的開放性與透明度。

全球研究人員將開源技術作為其工作的基礎。為使業界能夠獲取數字與物理 AI 領域的最新成果，NVIDIA 正進一步擴展其開源 AI 模型、數據集及工具庫，這些資源幾乎可以應用于所有研究領域。

在全球頂級 AI 會議NeurIPS上，NVIDIA 發布了支持科學研究的開放式物理 AI 模型與工具，其中包括面向輔助駕駛的行業級開源 VLA 推理模型 Alpamayo-R1。在數字 AI 領域，NVIDIA 推出了面向語音處理與 AI 安全領域的新模型及數據集。

NVIDIA 研究人員將在本次大會上帶來 70 余篇論文、演講及專題研討會，分享涵蓋 AI 推理、醫學研究、智能汽車開發等多個領域的創新項目。

這些舉措進一步深化了 NVIDIA 對開源生態的承諾。這一努力獲得了獨立 AI 基準測試機構Artificial Analysis最新“開放性指數” (Openness Index) 的認可。該指數基于模型許可的開放性、數據透明度及技術細節的可用性，將NVIDIA Nemotron系列開源技術評為 AI 生態系統中最開放的前沿 AI 開發技術之一。

NVIDIA DRIVE Alpamayo-R1 為輔助駕駛開辟了全新的研究前沿

NVIDIA DRIVE Alpamayo-R1 (AR1)作為面向輔助駕駛研究的開源 VLA 推理模型，創新性地將思維鏈 AI 推理與路徑規劃技術深度融合。該技術對于提升輔助駕駛系統在復雜路況下的安全性以及實現L4 級自動駕駛至關重要。

此前的輔助駕駛模型在復雜場景下易于出錯，例如人流密集的路口、前方車道即將封閉，或者有車輛在自行車道上違規停車。推理能力賦予了輔助駕駛系統類人的“常識”，讓它們像人類一樣更自然地駕駛。

AR1 通過對場景進行分解并逐步推理來實現這一目標。它會考慮所有可能的軌跡后，結合上下文數據選擇最優路線。

舉例而言，在行人密集且緊鄰自行車道的區域，搭載 AR1 的智能汽車可通過思維鏈進行推理：首先采集行駛路徑數據，同時整合推理軌跡 (即系統對采取特定操作的解釋說明)，繼而利用這些信息規劃后續行駛路線，例如主動避讓自行車道或為潛在橫穿馬路的行人提前減速或停車。

AR1 基于NVIDIA Cosmos Reason構建的開放式基礎架構，使研究人員能夠根據自身非商業用途需求定制模型，包括用于基準測試與開發實驗性輔助駕駛應用。

對于經過后訓練的 AR1，強化學習表現出了顯著效果，研究人員觀察到，相比預訓練模型，AR1 的推理能力有了大幅提升。

NVIDIA DRIVE Alpamayo-R1 將在 GitHub 和 Hugging Face 平臺開放獲取，以及用于訓練和評估該模型的數據子集已收錄于NVIDIA 物理 AI 開放數據集。NVIDIA 同時發布了用于評估 AR1 的開源框架AlpaSim。

深入了解用于輔助駕駛的 VLA 推理模型(中文字幕)。

為任意物理 AI 應用場景定制 NVIDIA Cosmos

開發者現可通過 Cosmos Cookbook 中的分步指南，快速入門推理示例和高級后訓練工作流，學習如何使用和后訓練基于 Cosmos 的模型。這本面向物理 AI 開發者的綜合指南涵蓋了 AI 開發的全流程，包括數據整理、合成數據生成及模型評估。

Cosmos 支持的應用場景極為豐富。NVIDIA 的最新案例包括：

LidarGen，為輔助駕駛仿真生成激光雷達數據的世界模型。

Omniverse NuRec Fixer，一款面向輔助駕駛與機器人仿真的模型，可依托NVIDIA CosmosPredict，近乎即時的修復神經重建數據中的瑕疵，如新視角或噪聲數據導致的模糊與區域缺失問題。

Cosmos Policy，將大型預訓練視頻模型轉化為穩健機器人策略的框架——該策略可指導機器人行為的一系列規則。

ProtoMotions3，基于 NVIDIA Newton 和 Isaac Lab 構建的開源 GPU 加速框架，用于訓練物理仿真的數字人與人形機器人，其逼真場景由Cosmos 世界基礎模型 (WFM)生成。

此為基于 Cosmos 構建的 LidarGen 模型輸出示例。上方圖片展示了疊加生成激光雷達數據的輸入數據。中間圖像呈現了生成與真實激光雷達距離圖對比。左下角為真實激光雷達點云，右下角則展示了由 LidarGen 生成的點云。

策略模型可在 NVIDIA Isaac Lab 和 Isaac Sim 中進行訓練，隨后可利用策略模型生成的數據對適用于機器人的 NVIDIA GR00T N 系列模型進行后訓練。

在 Isaac Sim 中使用 ProtoMotions3 訓練的人形機器人策略，其 3D 背景場景由 Lyra 基于 Cosmos 世界基礎模型生成。

NVIDIA 生態合作伙伴正利用 Cosmos 世界基礎模型開發其最新技術。

輔助駕駛開發商Voxel51正為 Cosmos Cookbook 貢獻模型實施方案。物理 AI 開發商1X、Figure AI、Foretellix、Gatik、Oxa、PlusAI 和X-Humanoid均在其最新物理 AI 應用中采用世界基礎模型技術。蘇黎世聯邦理工學院的研究團隊將在NeurIPS會議上發表論文，重點展示如何利用 Cosmos 模型創建逼真且連貫的 3D 場景。

NVIDIA Nemotron 新功能擴充數字 AI 開發工具集

NVIDIA 同步發布了全新的多說話人語音 AI模型、一款具備推理能力的新模型，以及用于 AI 安全的數據集，并推出可生成高質量合成數據集的開源工具，以支持強化學習和特定領域模型定制。這些工具包括：

MultiTalker Parakeet：一款面向流媒體音頻的多說話人自動語音識別模型，即使在對話重疊或語速較快的對話中，也能準確識別不同說話人的內容。

Sortformer：一款先進的實時多說話人分割模型，能夠在音頻流精準識別不同說話者的語音片段 (該過程稱為聲紋分割)。

Nemotron 內容安全推理模型：一個基于邏輯推理的 AI 安全模型，能夠跨領域動態執行定制化策略。

Nemotron 內容安全音頻數據集：一個合成數據集，可用于訓練模型以識別不安全音頻內容，從而助力開發能同時適用于文本和音頻的跨模態護欄。

NeMo Gym：一個用于加速和簡化大語言模型訓練中強化學習環境開發的開源庫。該庫還提供了不斷豐富的即用型訓練環境集合，以支持基于可驗證獎勵的強化學習 (RLVR) 訓練方法。

NeMo 數據設計庫：該庫現已基于 Apache 2.0 協議開源，提供了一套端到端工具集，用于生成、驗證并優化生成式 AI 開發所需的高質量合成數據集，還涵蓋領域特定模型定制與評估功能。

采用 NVIDIA Nemotron 和 NeMo 工具構建安全、專業化的代理式 AI 的 NVIDIA 生態系統合作伙伴包括 CrowdStrike、Palantir 和 ServiceNow。

NVIDIA 研究中心推動語言 AI 創新

在 NeurIPS 大會上發布了數十篇 NVIDIA 研究論文，以下幾篇是推進語言模型發展的重點研究成果：

Audio Flamingo 3：通過完全開源的大型音頻語言模型推動音頻智能發展：該大型音頻語言模型具備跨語音、聲音與音樂的推理能力，可理解并推理長達 10 分鐘的音頻片段，在超過 20 項基準測試中取得了業界領先的性能表現 (SOTA)。

Minitron-SSM：通過分組感知 SSM 剪枝實現高效混合語言模型壓縮：該研究提出一種可壓縮混合模型的新剪枝方法，通過對 Nemotron-H 8B 模型進行剪枝與蒸餾，將其參數從 80 億壓縮至 40 億。所得模型在精度上超越同規模模型，同時實現推理吞吐量兩倍提升。

Jet-Nemotron：基于后神經架構搜索 (Post Neural Architecture Search, PostNAS) 的高效語言模型：該研究提出了一種高性價比的后訓練流程，用于開發新型高效語言模型架構，并介紹了通過該流程生成的混合架構模型系列。該系列模型在精度上達到或超越了目前領先的全注意力基線模型的同時，顯著提升生成吞吐量。

Nemotron-Flash：面向延遲優化的混合小語言模型：該項目提出一種全新小語言模型 (SLM) 架構，其設計核心從參數數量轉向真實場景的延遲優化，最終在速度與精度方面均達到業界領先水平。

ProRL：延長強化學習拓展大語言模型的推理邊界：延長強化學習 (ProRL) 是一種通過延長模型訓練周期提升性能的技術。在這篇NeurIPS論文中，NVIDIA 研究人員闡述了該方法如何使模型在推理能力上持續超越基礎模型。