InfiniBand（直譯為“無限帶寬”技術，縮寫為IB）是一個用于高性能計算的計算機網(wǎng)絡通信標準，是世界領先的超級計算機的互連首選?；贜VIDIA InfiniBand的端到端網(wǎng)絡可實現(xiàn)極低的延遲，以及高數(shù)據(jù)吞吐量和傳輸速率。

InfiniBand網(wǎng)絡主要用于高性能計算（HPC）場景，通過高速的InfiniBand技術，將業(yè)務負載由單機運行轉(zhuǎn)化為基于多機協(xié)作的高性能計算集群。采用了InfiniBand網(wǎng)絡技術，使得高性能集群的性能得以進一步地釋放和優(yōu)化。

作為未來算力的基本單元，高性能的數(shù)據(jù)中心也越來越多地采用InfiniBand網(wǎng)絡方案，尤其是在超算中心中應用最為廣泛。

本文中出現(xiàn)的與NVIDIA產(chǎn)品相關的圖片或視頻（完整或部分）的版權均歸NVIDIA Corporation所有。

01

NVIDIA Quantum-2 InfiniBand平臺：400Gb/s NDR InfiniBand網(wǎng)絡互連

NVIDIA所提供的InfiniBand系列產(chǎn)品主要包括網(wǎng)卡、DPU、交換機以及LinkX線纜和光模塊，速率從100Gb/s EDR到200Gb/s HDR再到最新的400Gb/s NDR。NVIDIA最新發(fā)布的Quantum-2 InfiniBand平臺繼續(xù)創(chuàng)造高性能網(wǎng)絡的更高紀錄，包括NVIDIA Quantum-2交換機、ConnectX-7網(wǎng)卡、BlueField-3 DPU、LinkX線纜和光模塊，一同構成了面向新一代高性能計算、人工智能、機器學習、大數(shù)據(jù)、云計算、Web 3.0和存儲平臺的完整400Gb/s NDR InfiniBand網(wǎng)絡互連基礎設施。

NDR InfiniBand憑借其最高的數(shù)據(jù)吞吐量、極低的延遲和智能的網(wǎng)絡計算加速引擎，可為要求最苛刻的計算和數(shù)據(jù)應用提供世界領先的性能和可擴展性。

NVIDIA Quantum-2 InfiniBand平臺不但能夠?qū)崿F(xiàn)GPU Direct RDMA對AI業(yè)務至關重要的技術。其中BlueField-3 DPU增加了DPA 引擎（Data-Path Accelerator）來對特定流量進行編程和加速。ConnectX-7 VPI系列IB網(wǎng)卡對各種通信模型基于網(wǎng)絡的計算進行了專門優(yōu)化，提高了All reduce 和 All－to－All等通信時的通信效率。憑借單端口每秒400Gbps的高吞吐量，NVIDIA Quantum-2 InfiniBand將端口速率提高一倍，網(wǎng)絡物理端口數(shù)量增加1.5倍。Quantum-2平臺的系統(tǒng)容量提升至上代產(chǎn)品的5倍，支持的數(shù)據(jù)中心的規(guī)模提升了6.5倍，而數(shù)據(jù)中心網(wǎng)絡的能耗則降低了36%。

NVIDIA Quantum-2的盒式交換機，芯片采用7nm工藝，包含570億個晶體管，配有64個400Gbps端口，通過Split線纜以提供多達128個200Gbps端口。交換機的雙向總吞吐量為51.2Tb/s，具有超過每秒665億數(shù)據(jù)包的標志性包轉(zhuǎn)發(fā)能力。同時，Quantum-2平臺提供不同端口數(shù)的模塊化交換機系統(tǒng)，可以支持多達2048個，系統(tǒng)容量超出上一代5倍?；贜VIDIA Quantum-2交換機ASIC的盒式交換機和模塊化交換機系統(tǒng)提供了全面的InfiniBand交換互連接解決方案，支持各種InfiniBand網(wǎng)絡拓撲，包括Fat Tree、DragonFly+、多維 Torus等。

NVIDIA Quantum-2平臺在主機端提供兩個網(wǎng)絡選項，ConnectX-7網(wǎng)卡和BlueField-3 DPU。ConnectX-7基于7nm工藝，包含80億個晶體管，其數(shù)據(jù)傳輸速率是上一代的兩倍，通過RDMA、GPU Direct Storage、GPU Direct RDMA和網(wǎng)絡計算加速應用，充分發(fā)揮網(wǎng)絡的能力。BlueField-3采用7nm工藝，包含220億個晶體管，提供16個64位ARM CPU，基于數(shù)據(jù)IO的業(yè)務部署，提供加速、卸載和隔離的能力，優(yōu)化了數(shù)據(jù)中心基礎設施的架構。

為了打造完整的端到端400Gb/s InfiniBand 基礎架構，NVIDIA Quantum-2還提供了LinkX解決方案，為用戶提供一系列不同類型的400Gb/s DAC線纜（高速銅纜）、AOC線纜（有源光纜）以及光模塊產(chǎn)品，以構建復雜的基礎設施，可以為選擇的拓撲結構提供最大的靈活性，針對不同的連接場景，提供全套的線纜模塊方案。

NVIDIA LinkX擁有完善的產(chǎn)品體系，可提供不同的方案組合（光模塊、DAC/AOC直連以及分支高速線纜），速率包括EDR（100G）、HDR（200G）和NDR（400G），外形尺寸涵蓋QSFP28、QSFP56以及OSFP。

LinkX產(chǎn)品在NVIDIA“端到端”網(wǎng)絡系統(tǒng)中發(fā)揮了最佳的效果和獨特的功能，除了滿足InfiniBand貿(mào)易協(xié)會 (IBTA) 標準外，LinkX產(chǎn)品在出廠之前完成了100% 真實業(yè)務測試，確保線纜模塊的品質(zhì)，從底層支持InfiniBand網(wǎng)絡實現(xiàn)高性能。NVIDIA LinkX產(chǎn)品的低誤碼率、低延時、低功耗和高可靠性等特點可以與NVIDIA交換機和網(wǎng)卡產(chǎn)品完美適配，在具有嚴格要求的超級計算機和超大規(guī)模系統(tǒng)中提供了最優(yōu)的傳輸效率。

02

構建InfiniBand網(wǎng)絡出現(xiàn)的常見問題

目前市面上有部分客戶在構建InfiniBand網(wǎng)絡時使用了第三方的光模塊、高速線纜等連接件產(chǎn)品，然而卻在實際應用中出現(xiàn)了大量的問題，主要表現(xiàn)為：

1、網(wǎng)絡鏈路不穩(wěn)定：出現(xiàn)鏈路震蕩現(xiàn)象

2、傳輸延時高：在推理、訓練等業(yè)務負載下，大大延長訓練周期

3、功耗高：產(chǎn)品發(fā)熱異常，嚴重時甚至可能損壞設備

4、產(chǎn)品質(zhì)量良莠不齊：經(jīng)常出現(xiàn)大批量無法使用的情況

納多德NADDOD——作為NVIDIA網(wǎng)絡產(chǎn)品Elite Partner (精英級別合作伙伴)，致力于為客戶提供高品質(zhì)高性能光網(wǎng)絡解決方案，在為客戶搭建高性能網(wǎng)絡方案的過程中，收到不少因使用第三方InfiniBand連接件而出現(xiàn)售后問題的反饋，導致用戶網(wǎng)絡延遲甚至中斷，額外增加了客戶處理售后問題所花費的時間成本。

結合大量真實案例中出現(xiàn)的情況，納多德NADDOD建議在InfiniBand網(wǎng)絡中使用的連接件（DAC/AOC線纜、光模塊），一定要選用NVIDIA LinkX原廠線纜，以最大程度地保證連接件與設備之間的適配性，以及保障網(wǎng)絡的穩(wěn)定傳輸與高可靠性。

審核編輯 黃昊宇