AI 模型復雜性的指數級增長驅動參數規模從數百萬迅速擴展到數萬億，對計算資源提出了前所未有的需求，必須依賴大規模 GPU 集群才能滿足。混合專家（MoE）架構的廣泛應用以及測試時擴展（test-time scaling）在推理階段的引入，進一步加劇了計算負載。為實現高效的推理部署，AI 系統已發展出大規模并行化策略，包括張量并行、流水線并行和專家并行等技術。這些需求推動了支持內存語義的縱向擴展（Scale-up）計算網絡向更大的 GPU 域演進，構建統一的計算與內存資源池，實現高效協同。

本文詳細闡述了NVIDIA NVLink Fusion如何借助高效可擴展的 NVIDIA NVLink scale-up 架構技術，滿足日益復雜的 AI 模型不斷增長的需求。

圖 1：模型規模與復雜性的提升推動了 scale-up 域的擴展

NVLink 如何持續演進以滿足不斷增長的 scale-up 需求

NVIDIA 于 2016 年首次推出 NVLink，旨在克服 PCIe 在高性能計算和人工智能工作負載中的局限性。該技術實現了更快的 GPU 間通信，并構建了統一的內存空間。

2018年，NVIDIA 推出了 NVLink Switch 技術，實現了在 8 個 GPU 的網絡拓撲中每對 GPU 之間高達 300 GB/s 的 all-to-all 帶寬，為多 GPU 計算時代的 scale-up 網絡奠定了基礎。隨后，在第三代 NVLink Switch 中引入了 NVIDIA 可擴展分層聚合與歸約協議（SHARP）技術，進一步提升了性能，有效優化了帶寬性能并降低了集合操作的延遲。

隨著 2024 年第五代 NVLink 的發布，進一步增強的 NVLink Switch 支持 72 個 GPU 實現全互聯通信，通信速率達 1800 GB/s，聚合總帶寬高達 130 TB/s，較第一代產品提升了 800 倍。

盡管 NVIDIA 已大規模部署 NVLink 近十年，但仍在不斷突破技術極限，對未來三代的 NVLink 產品，會保持每年推出一代的節奏。這一迭代策略推動了持續的技術進步，有效滿足了 AI 模型在復雜性和計算需求方面的指數級增長。

NVLink 的性能取決于硬件和通信庫，尤其是 NVIDIA 集群通信庫（NCCL）。

NCCL 作為一個開源庫，專為加速單節點和多節點拓撲中 GPU 之間的通信而設計，能夠實現接近理論帶寬的 GPU 到 GPU 通信性能。它無縫支持橫向和縱向擴展，具備自動拓撲感知與優化能力。NCCL 已集成到所有主流深度學習框架中，歷經 10 年的開發與 10 年的生產環境部署，技術成熟且廣泛應用。

圖 2：NCCL 支持縱向擴展和橫向擴展，在所有主流框架中均受支持

最大化 AI 工廠收入

NVIDIA 在 NVLink 硬件和軟件庫方面積累了豐富的經驗，配合大規模的計算域，能夠有效滿足當前 AI 推理計算的需求。其中，72-GPU 機架架構在多種應用場景中實現了卓越的推理性能，發揮了關鍵作用。在評估大語言模型（LLM）推理性能時，前沿帕累托（Frontier Pareto）曲線清晰地展現了每瓦吞吐量與延遲之間的權衡關系。

AI 工廠的生產和收入目標是最大化曲線下的面積。影響該曲線動態的因素眾多，包括原始算力、內存容量與吞吐量，以及 scale-up 技術，通過高速通信優化實現張量并行、流水線并行和專家并行等技術。

在檢查各類 scale-up 配置的性能時，我們發現存在顯著差異，即使是使用相同的 NVLink 速度。

在 4 個 GPU 的 NVLink mesh 拓撲（無交換機）中，由于每對 GPU 之間只能分到有限帶寬，曲線會呈現下降趨勢。

采用 NVLink Switch 的 8 GPU 網絡拓撲能顯著提升性能，因為每對 GPU 之間均實現完全帶寬。

通過 NVLink Switch 擴展至 72 個 GPU 的域，可最大限度地提升性能和收益。

NVLink Fusion 實現對NVLink scale-up 技術的定制化使用

NVIDIA 推出了 NVLink Fusion，使超大規模數據中心能夠采用經過生產驗證的 NVLink scale-up 技術。該技術可讓定制芯片（包括 CPU 和 XPU）與 NVIDIA 的 NVLink scale-up 網絡技術以及機架級擴展架構相集成，從而實現半定制化的 AI 基礎設施部署。

NVLink scale-up 技術涵蓋 NVLink SERDES、NVLink chiplets、NVLink 交換機以及機架級擴展架構的整體方案。高密度機架級擴展架構包括 NVLink spine、銅纜系統、創新的機械結構、先進的供電與液冷技術，以及供應鏈就緒的完整生態系統。

NVLink Fusion 為定制 CPU、定制 XPU 或兩者的組合配置提供了靈活的解決方案。作為模塊化開放計算項目（OCP）MGX 機架架構的一部分，NVLink Fusion 可與任何網卡（NIC）、數據處理器（DPU）或橫向擴展交換機集成，使客戶能夠根據需求靈活構建理想的系統。

對于自定義 XPU 配置，NVLink 通過通用芯粒互連（Universal Chiplet Interconnect Express, UCIe）IP 與接口實現集成。NVIDIA 提供支持 UCIe 的 NVLink 橋接芯片，既能實現極高性能，又便于集成，使客戶能夠像 NVIDIA 一樣充分利用 NVLink 的功能。UCIe 作為一項開放標準，采用該接口進行 NVLink 集成可讓客戶為其 XPU 靈活選擇當前或未來平臺的多種方案。

對于自定義 CPU 配置，建議集成 NVIDIA NVLink-C2C IP，以連接 NVIDIA GPU，從而實現最佳性能。采用定制 CPU 與 NVIDIA GPU 的系統可平滑訪問 CUDA 平臺的數百個 NVIDIA CUDA-X 庫，充分發揮加速計算的高性能優勢。

由廣泛的生產就緒合作伙伴生態系統提供有力支持

NVLink Fusion 擁有一個強大的芯片生態系統，涵蓋定制芯片、CPU 以及 IP 技術合作伙伴，不僅確保了廣泛的技術支持和快速的設計實現，還持續推動著技術創新。

對于機架產品，用戶可受益于我們的系統合作伙伴網絡以及數據中心基礎設施組件供應商。這些合作伙伴和供應商已實現 NVIDIA Blackwell NVL72 系統的大規模生產。通過整合生態系統與供應鏈資源，用戶能夠加快產品上市速度，并顯著縮短機架級擴展系統，以及 scale-up 網絡的生產部署時間。

提升 AI 推理性能

NVLink 代表了滿足 AI 推理時代計算需求的重大飛躍。NVLink Fusion 充分融合了 NVIDIA 在 NVLink scale-up 技術領域長達十年的深厚積累，結合 OCP MGX 機架架構及生態系統開放的生產部署標準，為超大規模數據中心提供了卓越的性能與全面的定制化選項。