01.?CUDA架構，助力AI加速計算生態

GPU適用于處理大數據集，CUDA核是本質原因。最開始，GPU(圖形處理單元)作為一種專用計算機處理器，可以滿足實施高分辨率3D圖形計算密集型任務的需求。到2012年，由于GPU已經發展成為高度并行的多核系統，讓它具備了處理大量數據的能力。簡而言之，CPU做的專注線性計算，GPU做的是并行計算(數據之間沒有直接關系)，而本質的原因是CUDA核的不同，CUDA核越多，計算性能越強，而GPU的CUDA核數是CPU的上百倍，如AMD EPYC 7003系列7763核心數為64個，而英偉達A100 40GB核心數為6912個。

CUDA的本質是“軟件定義硬件”，實現“軟件調用硬件”。CUDA是一種并行計算平臺和應用程序編程接口(API)，允許軟件使用特定類型的圖形處理單元(GPU)進行通用目的的處理，稱為通用圖形處理單元計算(GPGPU)。CUDA提供了直接訪問GPU虛擬指令集和并行計算元素的軟件層，用于執行計算內核。CUDA支持的GPU還可以使用編程框架，通過將代碼編譯為CUDA來使用HIP。CUDA將從前多種不同的代碼整合成了一氣呵成的代碼，這樣極大的加快了開發模型的訓練速度。可以簡單理解，CUDA是英偉達實現軟硬件適配的一種“類編譯器”，將軟件的代碼轉換成硬件匯編代碼，CUDA是英偉達實現軟硬件生態的護城河。

CUDA助力加速計算及深度學習：GPU通過圖形應用程序的算法存在算法密集、高度并行、控制簡單、分多個階段執行等特征，英偉達引入的CUDA使GPU超越了圖形領域。同時，CUDA的框架和庫可以充分發揮GPU的并行計算能力，提供高效的矩陣運算、卷積運算等計算任務的實現，大大簡化深度學習的編程工作，提高開發效率和代碼質量。在經GPU加速的應用中，工作負載的串行部分在CPU上運行，而應用的計算密集型部分則以并行方式在數千個GPU 核心上運行，能夠大幅提升計算效率。目前NVIDIA H100 GPU的CUDA數已達到14592個，遠超AMD EPYC Genoa-X CPU的96個核心。

CUDA生態合作者規模翻倍增長。根據英偉達2023財年年報，目前有400萬名開發者正在與CUDA合作，而且規模還在不斷擴大。英偉達通過12年的時間達到200萬名開發者，在過去的兩年半里該數字翻了一番。目前CUDA的下載量已經超過了4000萬次。

02.?Nvlink、NVSwitch助力芯片快速互聯互通

速度更快、可擴展性更強的互連已成為當前的迫切需求: AI和高性能計算領域的計算需求不斷增長，對于能夠在每個GPU之間實現無縫高速通信的多節點、多GPU系統的需求也在與日俱增。要打造功能強大且能夠滿足業務速度需求的端到端計算平臺，可擴展的快速互連必不可少。簡而言之，隨著模型復雜程度增加，單張GPU無法完成訓練任務，需要聯合多張GPU，乃至多臺服務器搭建集群協同工作，并需要GPU之間以及服務器之間進行數據傳輸交互。我們認為數據傳輸同樣也是大模型算力集群能力的重要體現。

英偉達推出NVLink技術代替傳統的PCIe技術：第四代NVIDIA NVLink 技術可為多GPU系統配置提供高于以往1.5倍的帶寬，以及增強的可擴展性。單個 NVIDIA H100 Tensor Core GPU 支持多達18個NVLink 連接，總帶寬為900GB/s，是PCIe 5.0帶寬的7倍。NVIDIADGX H100等服務器可利用這項技術來提高可擴展性，進而實現超快速的深度學習訓練。

NVSwitch與Nvlink協同互聯，助力英偉達高速通信能力構建: NVSwitch是一種高速交換機技術，可以將多個 GPU 和 CPU 直接連接起來，形成一個高性能計算系統。每個NVSwitch都有 64 個 NVLink 端口，并配有 NVIDIA SHARP 引擎，可用于網絡內歸約和組播加速。

?

03.?InfiniBand配合組網技術實現高效互聯互通

IB交換機：是采用InfiniBand網絡通信標準的交換機（以太網交換機是采用以太網協議），IB網絡具備高吞吐帶寬和低網絡時延等優點。Mellanox是全球IB交換機領先廠商，2020年被英偉達68億美金收購。當前AI大模型的建設，尤其模型的訓練部分，英偉達的網絡配置方案已經占據了絕對領先地位。目前業界基于英偉達A100和H100 GPU構建的網絡以配套IB交換機為主：

DGX A100 SuperPOD基本部署結構信息為，140臺服務器(每臺服務器8張GPU）+交換機（每臺交換機40個端口，單端口200G），網絡拓撲結構為IB fat-tree（胖樹），交換機速率為200Gb/s；交換機建議Mellanox HDR 200GB/s InfinBand交換機；

DGX H100 SuperPOD基本部署結構信息為：32臺服務器(每臺服務器8張GPU）+12臺交換機，網絡拓撲結構為IB fat-tree（胖樹），交換機單端口400G速率，可合并形成800G端口；交換機建議NVIDIA Quantum QM9700 switc；

以太網是一種廣泛使用的網絡協議，但其傳輸速率和延遲無法滿足大型模型訓練的需求。相比之下，端到端IB（InfiniBand）網絡是一種高性能計算網絡，能夠提供高達 400 Gbps 的傳輸速率和微秒級別的延遲，遠高于以太網的性能。這使得IB網絡成為大型模型訓練的首選網絡技術。

Infiniband網絡（IB網絡）：是指通過一套中心 Infiniband 交換機在存儲、網絡以及服務器等設備之間建立一個單一的連接鏈路，通過中心 Infiniband 交換機來控制流量，能夠降低硬件設備間數據流量擁塞，有效解決傳統 I/O結構的通信傳輸瓶頸，還能與遠程存儲設備和網絡設備相連接。

端到端IB網絡還支持數據冗余和糾錯機制，能夠保證數據傳輸的可靠性。在處理大模型中較多的數據時，數據傳輸錯誤或數據丟失可能會導致訓練過程中斷甚至失敗，因此保證傳輸的可靠性尤為重要，而IB網路有效實現了保證。

審核編輯：黃飛

?