電子發(fā)燒友網(wǎng)綜合報(bào)道 在最近的Hot Chip2025大會(huì)上，華為進(jìn)行了一場線上分享，提出了一種全新的AI數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)UB-Mesh。

隨著大語言模型（LLM）規(guī)模持續(xù)擴(kuò)張，其訓(xùn)練對(duì)計(jì)算算力與網(wǎng)絡(luò)帶寬的需求呈指數(shù)級(jí)增長。傳統(tǒng)數(shù)據(jù)中心多采用 Clos 架構(gòu)，雖能提供對(duì)稱節(jié)點(diǎn)帶寬，卻因依賴大量高基數(shù)交換機(jī)與光模塊，存在成本高昂、可用性低等問題，難以滿足 LLM 訓(xùn)練的大規(guī)模、高帶寬、低成本、高可用四大核心需求（R1-R4）。

那么UB-Mesh是通過分層本地化 nD-FullMesh 拓?fù)渑c多維度優(yōu)化，實(shí)現(xiàn)性能、成本與可用性的平衡。

UB-Mesh 的設(shè)計(jì)遵循三大核心原則：一是流量驅(qū)動(dòng)拓?fù)洌≒1），利用 LLM 訓(xùn)練中張量并行（TP）、序列并行（SP）占 97% 流量且集中于近距離節(jié)點(diǎn)的特性，構(gòu)建分層網(wǎng)絡(luò)；二是拓?fù)涓兄?jì)算通信（P2），將并行策略、路由等與拓?fù)渖疃葏f(xié)同，避免帶寬浪費(fèi)；三是自愈容錯(cuò)（P3），通過硬件備份與快速故障恢復(fù)，保障訓(xùn)練連續(xù)性。

UB-Mesh的整體架構(gòu)設(shè)計(jì)，展示了從2D-FullMesh（機(jī)柜內(nèi)）到4D-FullMesh（Pod內(nèi)）再到SuperPod的擴(kuò)展方式。

在核心架構(gòu)設(shè)計(jì)上，UB-Mesh 以nD-FullMesh 拓?fù)錇榛A(chǔ)，通過 “維度遞推” 實(shí)現(xiàn)規(guī)模化擴(kuò)展：從板級(jí) 1D 全連接（相鄰 NPU 直接互連），到機(jī)架級(jí) 2D 全連接（1D mesh 間互連），最終形成 Pod 級(jí) 4D-FullMesh（UB-Mesh-Pod），可支持 8K NPU 的高帶寬域。UB-Mesh-Pod是一個(gè)由1024個(gè)NPU組成的4D-FullMesh集群。該集群內(nèi)部，每個(gè)機(jī)柜包含64個(gè)NPU，構(gòu)成一個(gè)2D-FullMesh；16個(gè)這樣的機(jī)柜再構(gòu)成一個(gè)2D-FullMesh，從而形成一個(gè)4D-FullMesh的Pod。

該拓?fù)湟远叹嚯x電連接為主（占比 86.7%），大幅減少對(duì)高成本光模塊與交換機(jī)的依賴，同時(shí)通過靈活帶寬分配，為近距離通信（TP/SP）提供高帶寬，遠(yuǎn)距離通信（數(shù)據(jù)并行 DP）分配低帶寬，精準(zhǔn)匹配 LLM 流量特征。

硬件層面，UB-Mesh 通過統(tǒng)一總線（UB） 實(shí)現(xiàn)組件互連，替代傳統(tǒng)混合互連（PCIe/NVLink/IB），支持 Load/Store 等同步操作與 Read/Write 等異步操作，不僅簡化驅(qū)動(dòng)設(shè)計(jì)，還實(shí)現(xiàn) IO 資源靈活分配與硬件資源池化（如 CPU、NPU、DDR 共享）。核心硬件包括支持 72 路 UB 通道的 NPU、32 路 UB 通道的 CPU，以及低基數(shù)交換機(jī)（LRS，用于機(jī)架內(nèi)聚合）、高基數(shù)交換機(jī)（HRS，用于 Pod 間互連）。此外，架構(gòu)采用 “64+1 備份設(shè)計(jì)”，每機(jī)架額外配置 1 個(gè)備用 NPU，節(jié)點(diǎn)故障時(shí)可通過 LRS 快速切換，僅增加少量延遲而不中斷訓(xùn)練。

為解決架構(gòu)落地挑戰(zhàn)，UB-Mesh 提出多維度優(yōu)化機(jī)制。路由方面，創(chuàng)新全路徑路由（APR） ，結(jié)合源路由（8 字節(jié)緊湊頭實(shí)現(xiàn)路徑指示）、結(jié)構(gòu)化尋址（按 Pod / 機(jī)架劃分地址段，減少路由表開銷）與拓?fù)涓兄獰o死鎖流控（TFC 算法，僅用 2 個(gè)虛擬通道實(shí)現(xiàn)無死鎖），充分利用多路徑帶寬，避免擁塞。故障恢復(fù)方面，采用 “直接通知” 機(jī)制，節(jié)點(diǎn)故障時(shí)直接向通信目標(biāo)節(jié)點(diǎn)發(fā)送信息，相比傳統(tǒng)逐跳通知，大幅縮短收斂時(shí)間。通信優(yōu)化方面，針對(duì) All-Reduce 設(shè)計(jì)多環(huán)算法，通過 idle 鏈路復(fù)用與流量分區(qū)提升帶寬利用率；針對(duì) All-to-All 采用多路徑傳輸與分層廣播 / 歸約，適配 MoE 模型的專家并行需求。

實(shí)驗(yàn)驗(yàn)證顯示，UB-Mesh 相比傳統(tǒng) Clos 架構(gòu)優(yōu)勢(shì)顯著：成本效率提升 2.04 倍，減少 98% 高基數(shù)交換機(jī)與 93% 光模塊使用，網(wǎng)絡(luò)基礎(chǔ)設(shè)施成本占比從 67% 降至 20%；可用性達(dá) 98.8%，較 Clos（91.6%）提升 7.2%，其 Mean Time Between Failure（MTBF）達(dá) 98.5 小時(shí)，是 Clos 的 7.14 倍；在 LLAMA-70B、GPT3-175B、MoE-10T 等模型訓(xùn)練中，性能僅下降 7% 以內(nèi)，且集群規(guī)模擴(kuò)展至 64 倍時(shí)，線性度仍保持 95% 以上，可支持超大規(guī)模 LLM 訓(xùn)練。

UB-Mesh架構(gòu)通過其創(chuàng)新的nD-FullMesh拓?fù)洹⒔y(tǒng)一總線技術(shù)以及一系列系統(tǒng)級(jí)優(yōu)化，成功地解決了大規(guī)模LLM訓(xùn)練所面臨的“通信墻”問題。它不僅在理論上證明了分層局部化網(wǎng)絡(luò)設(shè)計(jì)的優(yōu)越性，更在實(shí)踐中展示了其在成本、性能和可靠性方面的巨大優(yōu)勢(shì)。UB-Mesh為構(gòu)建下一代超大規(guī)模、高性價(jià)比的AI計(jì)算集群提供了一個(gè)強(qiáng)有力的范例，預(yù)示著AI基礎(chǔ)設(shè)施設(shè)計(jì)的一次重要范式轉(zhuǎn)移。