NVIDIA 將率先為 AI 工廠引入采用光電一體封裝 (CPO) 的優化以太網網絡，通過 NVIDIA Spectrum-X 以太網硅光技術，為 NVIDIA Rubin 平臺實現橫向擴展 (scale-out)和跨區域擴展 (scale-across) ，成為萬億參數 AI 基礎設施的旗艦交換機。

本文探討了 Spectrum-X 以太網硅光技術在協議和硬件方面的關鍵優化和創新，這些優化和創新為十億瓦級 (Gigascale) AI 工廠實現節能、高效、可靠且彈性的 CPO 網絡。

專門面向AI的以太網如何在NVIDIA Rubin平臺上實現可擴展的訓練和推理

超低抖動以太網網絡在擴展 AI 工廠方面發揮著至關重要的作用，因為它可確保在整個基礎設施中進行一致且可靠的數據傳輸。通過最大限度地減少抖動，無論批量大小，AI 系統始終可以實現高效的 token 吞吐量，這對于處理各種要求苛刻的工作負載至關重要。同時支持在單個 AI 工廠內無縫實現多租戶，使多個用戶和應用能夠同時運行，而不會降低性能。

它還提高了基于混合專家模型 (MoE) 架構的調度效率，實現更快的專家選擇并提高整體模型性能，如圖 1 所示。因此，AI 工廠能夠以更快的速度、更高的可靠性和可擴展性運行。

圖 1. 與通用以太網相比，NVIDIA Spectrum-X 以太網提供更低通信抖動和更高的 NVIDIA 集合通信庫 (NCCL) 性能

Spectrum-X以太網硅光技術為AI工廠光互連實現技術創新

Spectrum-X 以太網硅光交換機通過光電一體封裝 (CPO) 的硅光引擎進一步提高 AI 工廠的性能。

與可插拔互連方案相比，新封裝和低損耗光電通道將 1.6 Tb/s 端口功耗降低到五分之一。

與通用以太網方案相比，CPO 方案光電鏈路可將鏈路無閃斷的 AI 正常運行時間延長 5 倍，賦能 AI 工作負載無中斷運行。

網絡可靠性提高 10 倍，為任務關鍵型應用提供出色的魯棒性。

借助這些創新，企業組織可以擴展其 AI 基礎設施并提高每瓦性能，支持更大的工作負載，同時保持更佳能效、可靠性和網絡穩定性。

Spectrum-X 以太網 Photonics 是全球首款完全集成 512 個 200G 通道的光電一體封裝硅光交換機系統。其采用的表面法線 I/O (surface-normal input/output) 可拆式光纖連接器技術先進，提高了 AI 工廠高性能以太網交換機的組裝和可擴展性。通過在最后階段使用精密機械操作的全自動光纖連接流程，制造商可以更大限度地提高產量和吞吐量，簡化大規模部署。

表面法線 I/O 架構能夠在不增加交換機封裝物理尺寸的情況下擴展光端口。這對于高基數交換機尤其有利，因為交換機需要在緊湊的空間內進行大量連接，以支持龐大的 AI 工作負載。

兼容回流焊接 (solder-reflow) 光引擎也是一項突破，可與現代測試和組裝工具無縫集成。這種兼容性可在貼到交換芯片之前對光學組件進行全面篩查，確保僅使用已知良好的引擎，從而實現 100% 良率保障。該流程受益于拾放 (pick-and-place) 自動化和全面的預組裝測試，共同為這些先進的交換機系統提供了高效的制造途徑。

在四芯片交換機架構中集成 shuffle 機制是另一項關鍵創新，可在單個集群內實現 GPU 的扁平化和高效擴展。這種拓撲消除了傳統方案中額外交換層引起的延遲，隨著集群的增長保持極佳性能。SN6800 交換機可通過 512 個 800 Gb/s 端口或 2048 個 200 Gb/s 端口提供 409.6 Tb/s 的總帶寬，利用其集成的光纖 shuffle 和光電一體封裝的硅光技術建立空間高效和節能高效的以太網解決方案。這些綜合創新為 AI 工廠創建了強大、可擴展的網絡基礎設施，助力新一代 AI 應用。

AI工廠網絡創新的下一步發展方向

這種全面的協同設計方法 (包括芯片、系統、軟件和 AI 模型) 有助于開發可擴展、高性能的 AI 工廠。Spectrum-X 以太網硅光交換機可為 AI 工廠提供超低抖動網絡，從而提高速度、可靠性和可擴展性，為新一代應用建立強大的基礎設施。有關更多信息，請參閱NVIDIA 硅光技術頁面。

關于作者

Ashkan Seyedi 是產品營銷總監，致力于為 AI 和高性能計算開發高帶寬、高效的光互連產品。他曾就職于英特爾和慧與。Ashkan 在哥倫比亞大學擁有電氣和計算機工程雙學士學位，并在南加州大學獲得博士學位，從事光子晶體設備、高速納米線光探測器、高效白光 LED 和太陽能電池的研究。

查看 Ashkan Seyedi 所有文章