自 2016 年推出 NVIDIA DGX 以來，NVIDIA 與 OpenAI 便開始共同推動 AI 技術的邊界。此次 OpenAI gpt-oss-20b 和 gpt-oss-120b 模型的發布持續深化了雙方的 AI 創新合作。NVIDIA 在 NVIDIA Blackwell 架構上優化了這兩款全新的開放權重模型并實現了推理性能加速，在 NVIDIA 系統上至高達到每秒 150 萬個 Token (TPS)。

這兩個 gpt-oss 模型是具有鏈式思維和工具調用能力的文本推理大語言模型 (LLM)，采用了廣受歡迎的混合專家模型 (MoE) 架構和 SwigGLU 激活函數。其注意力層使用 RoPE 技術，上下文規模為 128k，交替使用完整上下文和長度為 128 個 Token 的滑動窗口。兩個模型的精度為 FP4，可運行在單個 80GB 數據中心 GPU 上，并由 Blackwell 架構提供原生支持。

這兩個模型在 NVIDIA Hopper 架構 Tensor Core GPU 上訓練而成，gpt-oss-120b 模型訓練耗時超過 210 萬小時，而 gpt-oss-20b 模型訓練耗時約為前者的十分之一。除了NVIDIA TensorRT-LLM外，NVIDIA 還與 Hugging Face Transformers、Ollama、vLLM 等多個頂級開源框架合作，提供優化內核和模型增強。本文將介紹 NVIDIA 如何將 gpt-oss 集成到軟件平臺以滿足開發者需求。

表 1. OpenAI gpt-oss-20b 和 gpt-oss-120b 模型規格，包括總參數量、活躍參數量、專家模型數和輸入上下文長度

NVIDIA 還與 OpenAI 和社區一同對性能進行優化，增加了以下功能：

Blackwell 上用于注意力預填充 (prefill)、注意力解碼 (decode) 和 MoE 低延遲的 TensorRT-LLM Gen 內核。

Blackwell 上的 CUTLASS MoE 內核。

Hopper 上用于專用注意力機制的 XQA 內核。

通過適用于 LLM 的 FlashInfer 內核服務庫提供優化的注意力與 MoE 路由內核。

支持 MoE 的 OpenAI Triton 內核，適用于 TensorRT-LLM 和 vLLM。

使用 vLLM 進行部署

NVIDIA 與 vLLM 合作，在共同驗證準確性的同時，分析并提升了 Hopper 和 Blackwell 架構的性能。數據中心開發者可通過 FlashInfer LLM 內核服務庫使用經 NVIDIA 優化的內核。

vLLM 建議使用 uv 進行 Python 依賴項管理。用戶可以使用 vLLM 啟動一個與 OpenAI API 兼容的 Web 服務器。以下命令將自動下載模型并啟動服務器。更多詳細信息參見文檔和 vLLM Cookbook 指南。

uv run--with vllm vllm serve openai/gpt-oss-20b

使用 TensorRT-LLM 進行部署

上述優化已包含在 NVIDIA / TensorRT-LLM GitHub 庫中，開發者可根據庫中的部署指南啟動其高性能服務器，并按照指南從 Hugging Face 下載模型 checkpoint。NVIDIA 與 Transformers 庫合作，提升了新模型的開發者體驗。指南還提供 Docker 容器以及低延遲和最大吞吐量場景下性能配置的指導。

在 NVIDIA 系統上實現

每秒 100 萬個 Token 以上的性能

NVIDIA 工程師與 OpenAI 密切合作，確保了新發布的 gpt-oss-120b 和 gpt-oss-20b 模型在 NVIDIA Blackwell 和 NVIDIA Hopper 平臺上實現第零天 (Day 0) 性能提升。

根據早期性能測量結果，規模更大、計算需求更高的 gpt-oss-120b 模型，在 NVIDIA 系統上可實現每秒 150 萬個 Token 的性能或服務約 5 萬名并發用戶。Blackwell 搭載了許多能夠提高推理性能的架構技術，包括使用了 FP4 Tensor Core 的第二代 Transformer Engine，以及高帶寬的第五代 NVIDIA NVLink 和 NVIDIA NVLink Switch，使得 72 顆 Blackwell GPU 可視作一個大型 GPU 運行。

NVIDIA 平臺的性能、靈活性和創新速度使得該生態系統能夠在 Day 0 便以高吞吐量和低單位 Token 成本運行最新模型。

通過 NVIDIA Launchable 試用經過優化的模型

還可以使用 Open AI Cookbook 上 JupyterLab Notebook 中的 Python API 部署 TensorRT-LLM，并將其作為NVIDIA Launchable在構建平臺中使用。用戶可以在預配置環境中一鍵部署經過優化的模型，并在多個云平臺進行測試。

使用 NVIDIA Dynamo 進行部署

NVIDIA Dynamo是一個幫助開發者為大規模應用部署 OpenAI gpt-oss 等模型的開源推理服務平臺。它與主流的推理后端集成，并提供 LLM 感知路由、彈性自動擴展和分離服務等功能。在應用輸入序列長度 (ISL) 長的情況下，Dynamo 的分離服務可顯著提升性能。在 32K ISL 場景中，Dynamo 在系統吞吐量和 GPU 預算相同的情況下，交互性能較合并服務提升了 4 倍。如需使用 Dynamo 進行部署，可參考該指南：

https://github.com/ai-dynamo/dynamo/blob/main/components/backends/trtllm/gpt-oss.md

在 NVIDIA GeForce RTX AI PC 本地運行

開發者可在本地運行 AI ，以實現更快的迭代、更低的延遲和更可靠的數據隱私保護。兩個模型均具有原生 MXFP4 精度，可在 NVIDIA RTX PRO GPU 驅動的專業工作站上運行，其中 gpt-oss-20b 可部署在任何具有不低于 16GB 顯存的 GeForce RTX AI PC 上。開發者可通過 Ollama、Llama.cpp 或 Microsoft AI Foundry Local，使用其常用的應用和 SDK 體驗這兩個模型。如需使用，請訪問 RTX AI Garage。

圖 1. 使用 Ollama 安裝和運行模型的步驟

通過 NVIDIA NIM 簡化企業部署

企業開發者可通過 NVIDIA API 目錄中的NVIDIA NIM預覽 API 和 Web Playground 環境試用 gpt-oss 模型。這兩個模型已被打包成 NVIDIA NIM，可靈活、輕松地部署在任何 GPU 加速的基礎設施上，同時保證數據隱私和提供企業級安全。

下載和部署預打包、可移植式且經過優化的 NIM：

下載 gpt-oss-120b

鏈接：https://www.nvidia.cn/ai/

文檔：https://docs.api.nvidia.com/nim/reference/openai-gpt-oss-120b

下載 gpt-oss-20b

鏈接：https://www.nvidia.cn/ai/

文檔：https://docs.api.nvidia.com/nim/reference/openai-gpt-oss-20b

隨著兩個 gpt-oss 模型被全面集成到 NVIDIA 開發者生態系統中，開發者可選擇最有效的解決方案?？稍?NVIDIA API 目錄用戶界面或通過 OpenAI Cookbook 中的 NVIDIA 開發者指南開始使用。