什么是? [ NVIDIA LinkX ]

NVIDIA LinkX是指英偉達提供的一系列網絡連接解決方案，主要用于高性能計算（HPC）和數據中心環境。LinkX涵蓋了多種產品，包括連接交換機、網卡等設備的線纜和光模塊，支持從100Gb/s EDR（Enhanced Data Rate增強速率）到200Gb/s HDR（High-Dynamic Range高動態光照渲染）再到最新的400Gb/s NDR（Next Data Rate最新的速率）速率。適用于100G/ 200G/ 400G 和 800G 基礎設施的 InfiniBand 和以太網互連。這個網絡架構中的光模塊、有源光纜和DAC堆疊線纜具有非常出色的低延時、低功耗和可靠性，適用于AI和加速計算。接下來我們重點看看400Gbps 100G-PAM4 OSFP 和 QSFP112 的線纜和光模塊在這個網絡解決方案中的連接是怎么樣的？

連接方案概述

在高性能計算平臺Quantum-2 InfiniBand、ConnectX-7網卡、高性能數據處理單元BlueField-3 DPU和為高性能計算和數據中心應用提供強大的支持的DGX? H100 GPU 系統的 800Gb/s 和 400Gb/s 高速線纜和光模塊連接方案中。其線纜連接方面包括最長3米的直連式線纜(DAC)、3米到5米的線性有源銅纜（ACC）、最長50米的多模光纖以及最長100米、500米和2公里的單模光纖。光模塊方面：交換機端口可使用雙端口八通道小型可插拔(OSFP）光模塊；ConnectX-7有2種類型的封裝，OSFP和QSFP112；BlueField-3數據處理單元的封裝為QSFP112。

交換機、網卡、DPU適配的光模塊封裝是哪些？

在100G EDR系統和200G HDR系統中，交換機和網卡上適配的是QSFP28光模塊和QSFP56光模塊；在100G PAM4系統中，交換機、網卡、DPU等各自適用的光模塊封裝形式是不一樣的。

InfiniBand NDR Quantum-2 QM9700交換機

這臺交換機有32個端口，一個端口上可插入雙端口頂部帶散熱片的2*400G光模塊，稱為雙端口頂部散熱OSFP端口。由于雙端口OSFP光模塊中有兩個400G引擎，因此其總電口側的數據速率為800Gb/s，也可以稱為2x400G光模塊。

ConnectX-7網卡：

CX7網卡上面的端口搭配的是平頂式400G單端口OSFP光模塊或者是QSFP112、QSFP56、QSFP28封裝形式的光模塊。雙端口頂部帶散熱片的光模塊是不能用在CX7網卡和DPU上的，端口封裝不匹配。

BlueField-3DPU:

DPU則僅可以插入QSFP112線纜和光模塊，并且DPU可以兼容QSFP56和QSFP28光模塊，但OSFP封裝是不匹配的。

LinkX 100G-PAM4產品線概述

LinkX產品線包括直接連接銅線(DAC)、有源銅纜(ACC)，以及多模和單模光模塊和分支跳線。

DAC

l 在100G-PAM4系統中，DAC堆疊線最長可以達到3米。它們具有接近零延遲和功耗小于1W的特征。

l 針對2米的DAC堆疊線，我們采用30AWG線號；針對小于3米的DAC堆疊線，我們采用26AWG線號。

l 通常可以做成800G直連線纜，800G分2400G線纜，800G分4200G線纜，分支端的封裝可選OSFP或者是QSFP112。

ACC

l ACC線纜是DAC高速線纜的一種，是一種在線纜的接收端（Rx端）加入一定能力的線性Redriver來提供信號的均衡和整形的技術，他利用芯片來補償無源銅纜DAC的高頻損失，更像是通過放大擬信號的有源電纜。

l ACC線纜遠傳輸距離可達5米

l 800G端為功耗小于1.5W，分支端為0.6W和0.35W，延遲極低。

l 針對2米的DAC堆疊線，我們采用30AWG線號；針對小于3米的DAC堆疊線，我們采用26AWG線號。

l 通常可以做成800G直連線纜，800G分2400G線纜，800G分4200G線纜，分支端的封裝可選OSFP或者是QSFP112。

850nm的多模光模塊通過50直徑的光纖進行信號的轉換和傳輸

l 在多模光纖中進行傳輸，隨著距離的增大，信號失真增大，多模光模塊的最大傳輸距離是50米。

l 多模光模塊的制造成本會底很多，因為50微米直徑的大光纖芯易于將光纖與激光器和檢測器對準，從而降低制造成本。

l 與單模光學器件相比，快速且易于對準和制造可最大限度地降低成本。

l 800G雙端口OSFP光模塊的功耗小于17W

l 400G QSFP112 或 OSFP 光模塊功耗小于9W。

l 800G雙端口直連或者是用一分二的分支跳線將800G光模塊和2個400G光模塊連接。

l 兩個光模塊端口均使用1分2光纖分支線纜，創建4個2x100G-PAM4（200G）鏈路。

l 不提供200Gb/s 多模光模塊，與 2 通道光纖分路端一起使用時可實現 200G 并降低功耗。

1310波長光模塊在9微米的纖芯上提供長達2km的信號傳輸。

l 纖芯直徑小，難以對準和制造，因此單模光模塊比多模光模塊更昂貴。

l 800G雙端口OSFP光模塊的功耗小于17W

l 400G QSFP112 或 OSFP 光模塊功耗小于9W。

l 不提供200Gb/s 多模收發器，與 2 通道光纖分路端一起使用時可實現 200G 并降低功耗。

l 單模光纖的主要優勢在于其使用以下方式提供的長距離傳輸：

1）可定制50米1分2的分支光纖，通過分支光纖和單模光模塊連接交換機和網卡。

2）可定制100M、500M、2KM距離的光纖用于交換機和交換機之間的連接。

英偉達LinkX IB網絡解決方案的光模塊、堆疊線和有源光纜特點：

傳輸距離： 數據中心用的光模塊連接方案最遠可達2km,但實際應用中，一般不超過50米。組件之間保持較短距離的連接，也是最大限度的減少延遲。

速率： 交換機端口的速率可達800G，網卡和數據處理單元的速率一般為400G

低延遲： 在這個網絡系統中使用的光模塊、有源光纜產品需要經過嚴格的測試，保證100G PAM4產品在傳輸大量數據時低延時要求，盡量減少數據的重傳。

光模塊直連： 可插拔光模塊之前的連接可以使用分支線纜，將2個、3個或者5個光模塊互聯。

相同的電子和光學元件：不同的光模塊封裝

雙端口OSFP 800Gb/s 頂部帶散熱片的高速線纜和光模塊僅用于交換機。

雙端口OSFP 800Gb/s 平頂式高速線纜和光模塊可用于DGX-H100和NVLink4 交換系統。單模和多模都可以適用。

800G雙端口OSFP光模塊，平頂版和帶散熱片的具有相同的內部結構，一般應用于使用液冷系統中的設備和用于GPU鏈路的大型DGX H100機箱。

4通道400G光模塊使用OSFP或QSFP112封裝，兩者的電子和光學元件相同。

封裝兼容性

l DAC高速線纜和(AOC有源光纜，可向后兼容一端 2x200G 雙端口 OSFP 和分支端2x 200G 或 2x 100G QSFP56/28，用于連接到HDR/200GbE和 100GbE/HDR100網卡和交換機。這些DAC和AOC是唯一可以將 NDR/400GbE 連接到 HDR/200GbE 系統的線纜。光模塊是不兼容的。

l 另外，ConnectX-7網卡和 BlueField-3 DPU 中的 QSFP112 端口向后兼容，并支持帶有4x50G-PAM4的QSFP56 200G 和帶有4x 25G-NRZ 的 QSFP28 100G。端口接受不同類型的光模塊，并且網卡可以降級到較慢的線路速率。

l 100G-PAM4 多模和單模光模塊無法降速到 50G-PAM4 和 25G-NRZ 的較低線路速率。

審核編輯 黃宇