新聞摘要：

● NVIDIA Dynamo 1.0 為大規(guī)模分布式推理提供了生產級的開源基礎架構。

● Dynamo 和 NVIDIA TensorRT LLM 優(yōu)化已原生集成到 LangChain、llm-d、LMCache、SGLang 和 vLLM 等開源框架中，以提升推理性能。

● Dynamo 將 NVIDIA Blackwell GPU 推理性能至高提升 7 倍，并通過免費的開源軟件降低了 Token 成本，為數百萬 GPU 提供了增加收益的機會。

● NVIDIA 推理平臺已被云服務提供商亞馬遜云科技 (AWS)、微軟 Azure、谷歌云和 Oracle Cloud Infrastructure (OCI) 以及 NVIDIA 云合作伙伴阿里云、CoreWeave、Together AI 和 Nebius 所集成，并被 AI 原生公司 Cursor 和 Perplexity、推理端點提供商 Baseten、Deep Infra 和 Fireworks 以及字節(jié)跳動、美團、PayPal 和 Pinterest 等全球企業(yè)采用。

**加利福尼亞州圣何塞—— GTC —— 太平洋時間 2026 年 3 月 16 日 —— **NVIDIA 今日宣布，用于大規(guī)模生成式和智能體推理的開源軟件 NVIDIA Dynamo 1.0 現已在全球范圍內被廣泛采用。Dynamo 1.0 與 NVIDIA Blackwell 平臺相結合，助力云提供商、AI 創(chuàng)新者和全球企業(yè)能夠以無與倫比的規(guī)模、效率和速度提供高性能的 AI 推理服務。

隨著代理式 AI 系統(tǒng)在各行各業(yè)的應用，數據中心內的推理擴展已成為一項復雜的資源編排挑戰(zhàn)，不同規(guī)模、不同模態(tài)的請求以及性能目標會以不可預測的突發(fā)形式出現。

正如計算機的操作系統(tǒng)協(xié)調硬件和應用程序一樣，Dynamo 1.0 作為 AI 工廠的分布式“操作系統(tǒng)”，在集群中無縫地協(xié)調 GPU 和顯存、內存等存儲資源，以驅動復雜的 AI 工作負載。在最近的行業(yè)基準測試中，Dynamo 將 NVIDIA Blackwell GPU 的推理性能至高提升 7 倍，并通過免費的開源軟件降低了 Token 成本，為數百萬 GPU 帶來了增加收益的機會。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“推理是智能的引擎，驅動了每一次查詢、每一個智能體以及每一個應用。通過 NVIDIA Dynamo，我們創(chuàng)建了首個面向 AI 工廠的‘操作系統(tǒng)’。整個生態(tài)系統(tǒng)中的快速采用表明新一波代理式 AI 浪潮已經到來，NVIDIA 正在全球范圍內推動其發(fā)展。”

Dynamo 1.0 通過引入更智能的“流量控制”以及在 GPU 和低成本存儲之間移動數據的能力，將推理工作分配到多個 GPU 上，從而減少了資源浪費并緩解了顯存限制。針對代理式 AI 和長提示，它可以將請求路由到已在稍早步驟獲得最相關“短期記憶”的 GPU，然后在無需使用時卸載該顯存。

NVIDIA 推理平臺發(fā)展勢頭強勁

通過將 NVIDIA Dynamo 和 NVIDIA TensorRT? LLM 庫優(yōu)化集成到 LangChain、llm-d、LMCache、SGLang、vLLM 等各大供應商的熱門框架中，NVIDIA 正在加速開源生態(tài)系統(tǒng)的發(fā)展。核心的 Dynamo 構建模塊，例如用于實現更智能 KV 存儲管理的 KVBM、用于實現快速 GPU 到 GPU 數據移動的 NVIDIA NIXL 以及用于簡化擴展的 NVIDIA Grove，也可作為獨立模塊使用。NVIDIA 還將 TensorRT LLM CUDA^?^ 內核貢獻給 FlashInfer 項目，以便將其原生集成到開源框架中。

NVIDIA 推理平臺在整個 AI 生態(tài)系統(tǒng)中得到支持，包括：

● 云服務提供商： 亞馬遜云科技 (AWS) 、微軟 Azure、谷歌云、OCI

● NVIDIA 云合作伙伴： 阿里云、CoreWeave、Crusoe、DigitalOcean、Gcore、GMI Cloud、Lightning AI、Nebius、Nscale、Together AI、Vultr

● AI 原生公司： Cursor、Hebbia、Perplexity

● 推理端點提供商： Baseten、Deep Infra、Fireworks

● 全球企業(yè)： 阿斯利康、貝萊德、字節(jié)跳動、Coupang、Instacart、美團、PayPal、Pinterest、Shopee、軟銀集團

CoreWeave 產品和工程執(zhí)行副總裁 Chen Goldberg 表示：“隨著 AI 從實驗性試點轉向持續(xù)的大規(guī)模生產，底層基礎設施必須像其支持的模型一樣具備動態(tài)性。采用 NVIDIA Dynamo 使我們能夠為部署復雜的 AI 智能體提供更無縫、更具彈性的環(huán)境。這一底座具有穩(wěn)定性和高性能編排能力，助力業(yè)界具有挑戰(zhàn)性的智能體工作負載實現全球部署。”

Nebius 首席技術官 Danila Shtan 表示：“大規(guī)模交付可靠的 AI 推理不僅需要強大的 GPU，還需要將性能轉化為實際客戶價值的軟件。從 Dynamo 到 TensorRT LLM，我們高度重視 NVIDIA 的軟件堆棧，其帶來了深度優(yōu)化、可預測的性能以及更快的部署速度，幫助我們?yōu)榭蛻籼峁└唵巍⒏咝阅艿?AI 生產路徑。”

Pinterest 首席技術官 Matt Madrigal 表示：“為數億用戶提供直觀的多模態(tài) AI 體驗，需要全球規(guī)模的實時智能。作為開源領域的重要實踐者，我們致力于構建可擴展的 AI 技術。通過 NVIDIA Dynamo 對部署進行優(yōu)化，我們得以基于高性能 AI 基礎設施持續(xù)拓展，為用戶提供無縫、個性化體驗。”

Together AI 聯合創(chuàng)始人兼首席執(zhí)行官 Vipul Ved Prakash 表示：“AI 原生企業(yè)需要能夠可靠、高效地隨其應用規(guī)模而擴展的推理能力。NVIDIA Dynamo 1.0 與 Together AI 的前沿推理研究相結合，助力我們構建高性能堆棧，為大規(guī)模生產工作負載提供加速且經濟高效的推理。”