全新 NVIDIA Spectrum-X 網絡平臺構筑阿里生成式 AI 云底座。

隨著生成式 AI 的熱潮席卷全球，用于訓練生成式 AI 的大型高性能網絡基礎設施開始受到客戶和行業的關注。這不僅僅是因為巨大的市場潛力，更因為生成式 AI 應用對當前網絡的技術與產品帶來的巨大挑戰。

由于生成式 AI 訓練任務的特性，其對網絡的要求與傳統的 DC 網絡在多方面存在差異。主要體現在：

性能至上，對于網絡帶寬及通信效率的要求高，需要實現從 GPU 到網絡，再到其它 GPU 的端到端帶寬平衡，從而達到充分發揮集群訓練性能的目的。

AI 網絡流量并發性高和突發性流量多，對于數據的完整性要求很高，依賴于 RDMA 轉發保證帶寬最大化和數據的完整性，降低對 CPU 資源消耗。

模型并行加數據并行共存的通信機制導致對于網絡時延敏感，網絡中的任何額外的時延都可能影響數以百計的 GPU 之間的通信效率。

需要無收斂的網絡拓撲保證各種通信場景下的網絡帶寬沒有瓶頸。

由于傳統的網絡解決方案無法滿足這些需求，NVIDIA 依靠多年在 AI 和高速通信領域的積累，推出了 Spectrum-X 以太網解決方案，以推動以太網技術可以更好地適配生成式 AI 基礎設施的要求。

NVIDIA Spectrum-X 是專為基于以太網的 AI 云提高性能和效率而設計的平臺。

NVIDIA Spectrum-X 依托于 NVIDIA Spectrum-4 以太網交換機和 NVIDIA BlueField-3 DPU 的緊密結合，專為 AI 工作負載構建了端到端的創新網絡平臺，大幅提升了以太網在大規模、可擴展環境中的通信效率，并在多租戶環境中實現了一致的、可預測的性能，提高了生成式 AI 云的性能和能效。NVIDIA Spectrum-X 網絡平臺還包括 Cumulus Linux、NetQ、Air 和 DOCA 加速軟件等，以及 NVIDIA 的 LinkX 系列線纜和光模塊產品，共同助力該網絡平臺實現出色的性能。

NVIDIA Spectrum-X 網絡平臺集成了 NVIDIA Spectrum-4 以太網交換機、NVIDIA BlueField-3 DPU、NVIDIA LinkX 線纜及加速軟件和 SDK，通過無損以太網的端到端動態路由、基于可編程擁塞控制的性能隔離技術等先進的 RoCE 擴展功能，構建了一個專為 AI 云而優化和加速的端到端高性能 400GbE 以太網絡。測試顯示，與傳統以太網相比，采用 NVIDIA Spectrum-X 網絡平臺可將大規模 AI 工作負載的性能提高到 1.7 倍，并將網絡的有效通信帶寬提升到 1.6 倍。

NVIDIA Spectrum-X 網絡平臺，實現了 GPU 到 GPU 直接的端到端加速和優化，大幅減少了大規模生成式 AI 模型的運行時間，提升了 GPU 的效率，優化了 AI 平臺的總體擁有成本（TCO）和降低了基礎設施的整體功耗。同時，它還具有高度的通用性，有力地支撐了各種生成式 AI 應用，由于它也是標準的以太網，實現了與已有的基于以太網堆棧的云架構和云服務互通。

阿里云作為全球領先的云供應商，擁有巨型的通用計算平臺。同時，阿里云也持續向加速計算領域擴張，建成并持續擴張以“PAI 靈駿”算力服務為代表大型的 GPU 集群。阿里云基礎設施網絡團隊從 2017 年開始構建端網融合的可預期高性能 RDMA 網絡架構，過去幾年已經在高性能存儲領域實現了大規模部署，目前正在大規模 AI 計算領域持續創新迭代和規模部署，以適配 AI 計算對高性能網絡的訴求。阿里云也充分認識到技術創新對以太網方案持續支持高性能網絡，尤其是生成式 AI 基礎設施的重要性。

為此，阿里云聯合 NVIDIA 對 Spectrum-X 解決方案進行測試，以評估新技術對高性能網絡的適應能力。

測試的主要內容和結果

阿里云測試環境配置

測試環境使用了 2 臺 Spine 交換機，4 臺 ToR 交換機，16 臺 HGX GPU 服務器并配置了 NVIDIA BlueField-3 DPU，基于 NVIDIA 51.2T Spectrum-4 交換芯片的 SN5600，以太網交換機，支持 128*400G 或者 64*800G 端口。每臺 GPU 服務器配置 8 張 BlueField-3 DPU，每 4 臺 GPU 服務器為一組連接到一臺 ToR 交換機，共 4 組連接到 4 臺 ToR 交換機。ToR 交換機通過 200G 網絡連接到 BlueField-3 DPU，4 臺 ToR 交換機通過 2 臺 Spine 交換機連接在一起，構成無阻塞胖樹網絡。

主要的測試內容

這些測試由多個級別的工作負載組成，從簡單到復雜：

RDMA 基準性能測試，覆蓋帶寬和延遲。

孤立場景下的 All to All 和 All Reduce 集合通信測試，專注于 NCCL 性能基準。

在共享資源和有背景噪聲環境下的性能測試。

故障場景的測試。

測試結果顯示，由于使用了端到端的逐包負載均衡優化技術（Adaptive Routing）和零配置 RoCE 擁塞控制（ZTR CC）使得網絡利用率顯著提升，并顯著減少由于網絡擁塞和 In-Cast 問題帶來的時延和抖動。網絡帶寬利用率在各種測試場景下均可超過 90%。這種逐包負載均衡技術也可以對多種故障情況（本端和遠端）做出響應，合理地利用網絡內的帶寬資源。在真實訓練任務的測試過程中，Spectrum-X 可以降低 20% 以上的訓練時間。在獲得這一切收益的同時，網絡的配置工作量大大降低，運維人員不再需要進行復雜的配置和頻繁的調優工作。

這些測試結果表明 NVIDIA Spectrum-X 加速網絡平臺的突破性技術可大幅提升大規模生成式 AI 工作負載的性能，并大幅縮短生成式 AI 模型的運行時間。

通過采用 NVIDIA Spectrum-X 網絡平臺，客戶可進一步為千行百業的客戶提供具有性能和成本優勢的生成式 AI 云服務，將 AI 通用大模型和行業大模型賦能和融合各種應用場景。NVIDIA 和阿里云的開發人員將基于 NVIDIA Spectrum-X 網絡平臺的加速軟件和 SDK 進一步在虛擬化、定制化可編程擁塞控制、遙測、快速故障響應等方面展開合作，推動這一新解決方案的進一步發展和應用。

針對這一聯合測試，阿里云基礎設施網絡研發事業部總經理蔡德忠表示：“高性能網絡技術是 AI 計算 Scaling Law 的關鍵所在，這個領域需要持續不斷的創新迭代，阿里云始終堅持網絡的開放性，也是網絡開源生態的領導者和積極貢獻者，阿里云與 NVIDIA 在 AI 計算和高性能存儲領域合作多年，將持續探索創新基于 Open Ethernet 的高性能網絡方案，助力 AI 計算集群的大規模高效擴展。”

NVIDIA 網絡高級副總裁 Gilad Shainer表示：“生成式 AI（Generative AI）是面向下一代業務需求的典型代表，為了支撐成千上萬的用戶的需求，生成式 AI 云需要先進及可靠的網絡基礎架構滿足各種 AI 業務的平滑增長。阿里云和 NVIDIA 在 Spectrum-X 以太網平臺上的策略合作，可以充分利用 Spectrum-X 的先進路由技術和云上業務性能隔離技術，使阿里云及其廣大用戶可以盡情享受生成式 AI 的服務?！?/p>

審核編輯：劉清