為擴展開放模型生態(tài)，NVIDIA 發(fā)布全新開放模型、數(shù)據(jù)和工具，推動各行業(yè) AI 技術(shù)的發(fā)展。

這些模型包括適用于代理式 AI 的NVIDIA Nemotron系列、適用于物理 AI的NVIDIA Cosmos平臺、適用于輔助駕駛汽車開發(fā)的全新NVIDIA Alpamayo系列、適用于機器人的NVIDIA Isaac GR00T以及適用于生物醫(yī)學的NVIDIA Clara，它們將為企業(yè)提供構(gòu)建真實世界 AI 系統(tǒng)所需的技術(shù)工具。

NVIDIA 貢獻了開源訓練框架及全球規(guī)模最大的開放多模態(tài)數(shù)據(jù)集之一，包括 10 萬億語言訓練 token、50 萬條機器人軌跡、45.5 萬種蛋白質(zhì)結(jié)構(gòu)及 100 TB 汽車傳感器數(shù)據(jù)。如此規(guī)?？涨暗亩嘣_放資源將加速語言、機器人、科學研究及輔助駕駛汽車領(lǐng)域的創(chuàng)新。

領(lǐng)先科技企業(yè)例如博世、CodeRabbit、CrowdStrike、Cohesity、Fortinet、Franka Robotics、Humanoid、Palantir、Salesforce、ServiceNow、日立和 Uber 等，正在使用并基于 NVIDIA 的開放模型技術(shù)進行開發(fā)。

NVIDIA Nemotron 賦予 AI 智能體語音、多模態(tài)智能和安全能力

基于近期發(fā)布的NVIDIA Nemotron 3系列開放模型與數(shù)據(jù)，NVIDIA 推出 Nemotron 語音、多模態(tài)檢索增強生成 (RAG) 和安全模型。

Nemotron Speech包含全新ASR 模型等多個榜首級的開放模型，可實現(xiàn)實時低延遲語音識別，適用于實時字幕和語音 AI 應用。日常及模態(tài)基準測試顯示，該模型性能較同類模型提升 10 倍。

Nemotron RAG包含全新的嵌入與重排序視覺語言模型 (VLM)，能夠提供高精度的多語言和多模態(tài)數(shù)據(jù)洞察，提高文檔搜索與信息檢索能力。

Nemotron Safety模型可提升 AI 應用的安全性與可信度，目前已包括支持擴展語言的Llama Nemotron 內(nèi)容安全模型，以及高精度檢測敏感數(shù)據(jù)的Nemotron PII模型。

博世正在使用 Nemotron Speech 實現(xiàn)駕駛者與汽車的交互。ServiceNow 使用 Nemotron 等開放數(shù)據(jù)集訓練其 Apriel 系列模型，以獲得高成本效益的多模態(tài)性能。

Cadence 與 IBM 正在嘗試使用 NVIDIA Nemotron RAG 模型提高對復雜技術(shù)文檔的檢索與推理能力。

CrowdStrike、Cohesity 和 Fortinet 正在使用 NVIDIA Nemotron Safety 模型，以增強其 AI 應用的可信度。

Palantir 正在將 Nemotron 模型集成到其 Ontology 框架中，以開發(fā)首創(chuàng)的專業(yè) AI 智能體集成技術(shù)棧。CodeRabbit正在使用 Nemotron 模型驅(qū)動和擴展其 AI 代碼審核系統(tǒng)，在保持高審核精度的同時提升速度與成本效益。

NVIDIA 同時面向開發(fā)者發(fā)布了多個開源數(shù)據(jù)集、訓練資源和藍圖，包括榮登MMTEB 排行榜的Llama Embed Nemotron 8B模型的數(shù)據(jù)集與訓練代碼。NVIDIA 還發(fā)布了更新版LLM Router，指導開發(fā)者如何自動將 AI 請求發(fā)送至最適合的模型，以及用于開發(fā)全新 Nemotron 語音 ASR 模型的數(shù)據(jù)集。

適用于各類物理 AI 與機器人的新模型

開發(fā)適用于機器人和自主系統(tǒng)的物理 AI 需要海量多元數(shù)據(jù)集，以及能在復雜現(xiàn)實環(huán)境中感知、推理并行動的模型。在 Hugging Face 平臺上，機器人技術(shù)是增長較快的領(lǐng)域，NVIDIA 的開源機器人模型和數(shù)據(jù)集位居下載量榜首。

NVIDIA 推出NVIDIA Cosmos 開源世界基礎(chǔ)模型，通過類人推理與世界生成能力加快物理 AI 的開發(fā)與驗證。

Cosmos Reason 2是一個全新的榜首級推理型 VLM，可幫助機器人與 AI 智能體在物理世界中實現(xiàn)更高精度的視覺感知、理解與交互。

Cosmos Transfer 2.5與Cosmos Predict 2.5是兩個領(lǐng)先的模型，可在各種不同環(huán)境與條件下生成大規(guī)模合成視頻。

基于 Cosmos 平臺，NVIDIA 還推出了適用于各類具身物理 AI 的開源模型與藍圖：

Isaac GR00T N1.6是專為人形機器人打造的開源推理視覺語言行動 (VLA) 模型，它能實現(xiàn)全身控制，并借助 NVIDIA Cosmos Reason 增強推理和上下文理解。

用于視頻搜索和總結(jié)的 NVIDIA Blueprint作為 NVIDIA Metropolis 平臺的一部分，是一個適用于構(gòu)建視覺 AI 智能體的參考工作流。這些 AI 智能體可通過分析海量錄制和實時視頻，從而提升運營效率并維護環(huán)境秩序。

Salesforce、Milestone、日立、Uber、VAST Data和Encord正在使用 Cosmos Reason 開發(fā)用于交通和工作場所生產(chǎn)力的 AI 智能體。Franka Robotics、Humanoid 和 NEURA Robotics 在投產(chǎn)前使用 Isaac GR00T 仿真、訓練和驗證機器人的新行為。

適用于推理型輔助駕駛汽車的 NVIDIA Alpamayo

開發(fā)安全、可規(guī)模化的輔助駕駛依賴于 AI 能夠在復雜的真實環(huán)境和場景中進行感知、推理和行動，以及支持快速訓練、測試和大規(guī)模優(yōu)化的開發(fā)工作流。

NVIDIA 推出全新 NVIDIA Alpamayo 系列開放模型、仿真工具和大型數(shù)據(jù)集，將推動推理型輔助駕駛汽車的開發(fā)進程。該系列包含：

Alpamayo 1：首個應用于輔助駕駛汽車的大型開放 VLA 推理模型，使汽車能夠理解周圍環(huán)境并解釋其決策背后的邏輯。

AlpaSim：一款開源的仿真框架，支持在多樣化環(huán)境和極端事件中對推理型輔助駕駛模型進行閉環(huán)訓練與評估。

NVIDIA 還同時發(fā)布了物理 AI 開放數(shù)據(jù)集。該數(shù)據(jù)集包含超過 1,700 小時的駕駛數(shù)據(jù)，覆蓋極其廣泛的地理區(qū)域與環(huán)境條件，涵蓋推動推理架構(gòu)發(fā)展所需的罕見且復雜的真實世界極端場景。

適用于醫(yī)療與生命科學的 NVIDIA Clara

為降低成本并加速治療方案的落地，NVIDIA 推出全新 Clara AI 模型，彌合數(shù)字藥物研發(fā)與現(xiàn)實醫(yī)療之間的差距。

新模型將幫助研究人員設(shè)計更加安全、有效且更易生產(chǎn)的療法，具體包括以下模型：

La-Proteina幫助設(shè)計大規(guī)模、原子級精確的蛋白質(zhì)，用于研究和候選藥物開發(fā)，為科學家研究此前被視為無法治療的疾病提供了新工具。

ReaSyn v2通過將制造藍圖融入研發(fā)過程，確保 AI 設(shè)計的藥物能夠?qū)嶋H合成。

KERMT通過預測潛在藥物與人體的相互作用，在研發(fā)早期提供高精度、計算安全的測試。

RNAPro通過預測 RNA 分子的復雜三維結(jié)構(gòu)，挖掘個性化醫(yī)療的潛力。

此外，NVIDIA 還發(fā)布了一個包含 45.5 萬個合成蛋白質(zhì)結(jié)構(gòu)的數(shù)據(jù)集，幫助 AI 研究人員開發(fā)更加精準的 AI 模型。

歡迎使用 NVIDIA 開放模型與技術(shù)

NVIDIA 開放模型、數(shù)據(jù)和框架現(xiàn)已登陸 GitHub 和 Hugging Face，以及各類云、推理和 AI 基礎(chǔ)設(shè)施平臺及NVIDIA 官網(wǎng)，供開發(fā)者靈活獲取配套資源。

其中多款模型也以NVIDIA NIM形式提供，支持在任意 NVIDIA 加速的基礎(chǔ)設(shè)施上進行安全且可擴展的部署，涵蓋從邊緣到云的各種場景。