從大語言模型（LLM）到代理式 AI 推理和物理 AI ，隨著 AI 工作負(fù)載的復(fù)雜性和規(guī)模不斷增加，人們對更快、擴(kuò)展性更高的計(jì)算基礎(chǔ)設(shè)施的需求空前強(qiáng)烈。滿足這些需求就要從基礎(chǔ)開始重新思考系統(tǒng)架構(gòu)。

NVIDIA 正在通過NVIDIA ConnectX-8 SuperNIC升級平臺(tái)架構(gòu)。NVIDIA ConnectX-8 SuperNIC 是業(yè)內(nèi)首款在單個(gè)設(shè)備中集成PCIe6.0 交換機(jī)和超高速網(wǎng)絡(luò)的 SuperNIC。ConnectX-8 專為現(xiàn)代 AI 基礎(chǔ)架構(gòu)設(shè)計(jì)，可提供更高的吞吐量，同時(shí)簡化系統(tǒng)設(shè)計(jì)，并提高能效和成本效益。

為 PCIe6.0 連接的時(shí)代做好準(zhǔn)備

在基于 PCIe 連接的平臺(tái)中，尤其是配備 8 個(gè)或更多 GPU 的平臺(tái)，PCIe 交換機(jī)對于最大化 GPU 間通信帶寬和實(shí)現(xiàn)可擴(kuò)展的 GPU 拓?fù)渲陵P(guān)重要。現(xiàn)有設(shè)計(jì)依賴于獨(dú)立的 PCIe 交換機(jī)，這通常會(huì)增加設(shè)計(jì)復(fù)雜性，并可能會(huì)限制性能和效率。

ConnectX-8 通過內(nèi)置的 PCIe6.0 交換機(jī)提供 48 通道的 PCIe6.0 連接解決了這一問題。將 GPU 到 GPU 和 GPU 到 NIC 通信整合到單一高性能設(shè)備中，消除了對獨(dú)立 PCIe 交換機(jī)的需求，減少了元器件數(shù)量并簡化了主板設(shè)計(jì)，為 AI 基礎(chǔ)設(shè)施打造了更具成本效益、可擴(kuò)展的架構(gòu)。

此外，憑借原生 PCIe6.0 支持，ConnectX-8 可滿足新一代 GPU、CPU 和 IO 加速器日益增長的 IO 需求。它使系統(tǒng)架構(gòu)師能夠設(shè)計(jì)出向前兼容的平臺(tái)，能夠充分享用領(lǐng)先的高吞吐 PCIe6.0 設(shè)備的帶寬。

通過 NVIDIA RTX PRO 服務(wù)器加速企業(yè)工作負(fù)載

ConnectX-8 SuperNIC 現(xiàn)已全面投產(chǎn)。 在 COMPUTEX 2025 上，ConnectX-8 被發(fā)布用于全球各系統(tǒng)合作伙伴的 NVIDIA RTX PRO 服務(wù)器中。

圖 1 比較了兩種服務(wù)器架構(gòu)：采用獨(dú)立 PCIe 交換機(jī)的傳統(tǒng)設(shè)計(jì)，以及采用 NVIDIA ConnectX-8 SuperNIC 集成 PCIe6.0 交換機(jī)的 NVIDIA RTX PRO 服務(wù)器的 優(yōu)化配置。

圖 1：傳統(tǒng)（左）和與采用 ConnectX-8 SuperNIC 優(yōu)化（右）服務(wù)器設(shè)計(jì)的比較

在傳統(tǒng)設(shè)計(jì)中，服務(wù)器布局包括 2 個(gè) CPU、8 個(gè) GPU 和 5 個(gè) NIC（包括 4 個(gè) NVIDIA ConnectX-7 NIC 和 1 個(gè) NVIDIA BlueField-3 DPU）。這種配置還需要兩到四個(gè)獨(dú)立的 PCIe 交換機(jī)來實(shí)現(xiàn) GPU 到 GPU 和 GPU 到 NIC 的連接，從而增加復(fù)雜性和組件數(shù)量。

在優(yōu)化過的設(shè)計(jì)中，用 ConnectX-8 SuperNIC 替換掉了專用 PCIe 交換機(jī)，將 PCIe6.0 交換和 800 Gb/s 網(wǎng)絡(luò)集成在了單一網(wǎng)卡設(shè)備中。

它使每個(gè) GPU 的網(wǎng)絡(luò)帶寬翻倍，有助于消除 IO 瓶頸，并加快 GPU、NIC 和存儲(chǔ)之間的數(shù)據(jù)移動(dòng)速度。因此，此 NVIDIA RTX PRO 服務(wù)器平臺(tái)可提供高達(dá) 2 倍的 NCCL all-to-all 性能，加速在多 GPU 和多節(jié)點(diǎn)工作負(fù)載中至關(guān)重要的集合通信，并提高 AI 工廠的可擴(kuò)展性。

在圖 1 的基礎(chǔ)上，圖 2 讓我們更深入地了解經(jīng)過優(yōu)化設(shè)計(jì)的服務(wù)器架構(gòu)如何改善三種主要 GPU 通信路徑之間的連接：

GPU 到 GPU 通信跨越兩個(gè) CPU 插座：在傳統(tǒng)設(shè)計(jì)中，此路徑可能會(huì)遇到主機(jī) CPU 和內(nèi)部插座瓶頸問題，根據(jù) CPU 之間鏈路的利用率不同，可能被限制在 25 GB/s 或更低的速度。相比之下，基于 ConnectX-8 的優(yōu)化設(shè)計(jì)可為集群內(nèi)的所有 GPU 間通信提供高達(dá) 每個(gè)GPU 50 GB/s 的 IO 帶寬，因?yàn)?NCCL 直接通過網(wǎng)絡(luò)轉(zhuǎn)發(fā)所有流量。

GPU 到 NIC 通信：在 2：1 的 GPU 到 NIC 配置下，經(jīng)過優(yōu)化的架構(gòu)為每個(gè) GPU 提供 50 GB/s 的帶寬，無論 GPU 或主機(jī)系統(tǒng)是 PCIe5.0 或 PCIe6.0。

GPU 到 GPU 通信通過同一 PCIe 交換機(jī)：相較 PCIe5.0，配備 PCIe6.0 的系統(tǒng)可將帶寬提高一倍，從而顯著加速同一 PCIe 交換機(jī)上的點(diǎn)對點(diǎn) GPU 傳輸。

圖 2：傳統(tǒng)（左）和與采用 ConnectX-8 SuperNIC 的優(yōu)化（右）服務(wù)器設(shè)計(jì)的比較，強(qiáng)調(diào)了三種關(guān)鍵的 GPU 通信路徑

通過將 PCIe 交換直接集成到 SuperNIC 中，ConnectX-8 還簡化了主板設(shè)計(jì)、改善了氣流并增強(qiáng)了可維護(hù)性。這將打造一個(gè)更緊湊、更節(jié)能、更經(jīng)濟(jì)高效的平臺(tái)。在 NVIDIA 參考設(shè)計(jì)的支持下，這項(xiàng)創(chuàng)新可幫助系統(tǒng)廠商更快地?cái)U(kuò)展其系統(tǒng)，并提高性能及降低 TCO。

基于 PCIe 總線的 AI 基礎(chǔ)架構(gòu)的未來

NVIDIA ConnectX-8 正在重新定義基于 PCIe 總線的系統(tǒng)的可能性。通過將 PCIe6.0 交換機(jī)和高性能 SuperNIC 集成到單一集成設(shè)備中，ConnectX-8 可簡化服務(wù)器設(shè)計(jì)，減少組件數(shù)量，并解鎖現(xiàn)代 AI 工作負(fù)載所需的高帶寬通信路徑。從而打造更簡單、更節(jié)能的平臺(tái)，同時(shí)降低總體擁有成本（TCO）并實(shí)現(xiàn)出色的性能可擴(kuò)展性。

此外，ConnectX-8 SuperNIC 還可在基于多 GPU 的平臺(tái)中實(shí)現(xiàn)增強(qiáng)的機(jī)密計(jì)算能力。

在 COMPUTEX 2025 上，領(lǐng)先的數(shù)據(jù)中心合作伙伴展示了由內(nèi)置 NVIDIA ConnectX-8 SuperNIC 的 NVIDIA RTX PRO 服務(wù)器所加速的先進(jìn) AI 平臺(tái)架構(gòu)。