近期，由博通、思科、Arista、微軟、Meta等國際頂級半導體、設備和云廠商牽頭成立的超以太網聯盟（UEC）在OCP Global Summit上對外公布其最新進展——UEC規范1.0的預覽版本。讓我們一睹為快吧！

UEC 旨在提出一種“升級版”的以太網通信協議棧用以應對AI智算、HPC等領域對RDMA網絡的性能挑戰——當前大規模計算節點互聯場景下主要有InfiniBand和基于以太網協議的RoCE兩大技術路線。有關IB和RoCE協議棧的詳盡對比可參閱：

[高性能網絡傳輸：RoCE與IB協議棧對比解析]
相比較為封閉的IB架構，以太網在互操作性和帶寬成本上的優勢已在市場層面得到了廣泛認可，尤其是大規模的AI算力中心場景。當前全球TOP500的超級計算機中RoCE和IB的占比相當，以端口帶寬總量計算，IB占比為39.2%，RoCE已達48.5%。

盡管IB和RoCE在高性能傳輸的擁塞控制、QoS皆有應對設計，但也暴露出一些缺陷。例如亂序需要重傳、不夠完美的負載分擔、Go-back-N問題，DCQCN 部署調優復雜等等。

面向GPU Scale-out網絡的UEC 1.0 規范從軟件API、運輸層到鏈路層以及網絡安全和擁塞控制皆有涉及，較傳統RDMA網絡有了大量改進，我們將挑出重點介紹。

什么是超級以太網系統

一個超級以太網系統的組成如下。一個集群（Cluster）由節點（Node）和網絡（Fabric）組成，節點通過網卡（Fabric Interface）連接到網卡，一個網卡中可以有多個邏輯的網絡端點（Fabric End Point，FEP）。網絡由若干平面（Plane）組成，每個平面是多個FEP的集合，通常通過交換機互聯。

超以太網協議棧概覽

? 物理層與傳統以太網完全兼容，可選支持FEC（前向糾錯）統計功能

? 鏈路層可選支持鏈路層重傳（LLR），并支持包頭壓縮，為此擴展了LLDP的協商能力

? 網絡層依然是IP協議，沒有變化

? 傳輸層是全新的，作為UEC協議棧的核心數據包傳輸子層（Packet Delivery）和消息語義子層（Message Semantics）。包傳輸子層實現新一代擁塞控制、靈活的包順序等功能，消息語義子層支持xCCL和MPI等消息。可選支持安全傳輸。另外，在網集合通信（In Network Collective，INC）也在這一層實現

? ** 軟件API層** 。提供UEC擴展的Libfabrics 2.0

物理層

UEC 1.0規范下的物理層與傳統以太網（符合IEEE802.3標準）完全兼容，支持每通道100Gbps和200Gbps速率，在此基礎上實現800Gbps和更高的端口速率。

另外可選支持物理層性能指標統計功能（PHY metrics）。這些指標基于 FEC 碼字進行計算，不受流量模式和鏈路利用率的影響。估計算法基于FEC錯誤計數器的數據，從而得出不可糾正錯誤率（UCR ）和數據包錯誤平均間隔（MTBPE）。這些指標衡量了物理層的傳輸性能和可靠性，用于上層的遙測和擁塞控制等。為了支持新的 UEC 鏈路層功能，UEC規范中也對協調子層（RS）進行了相應的修改。

鏈路層

UEC鏈路層最大的變化是引入了LLR（Link Level Retry）協議。它可以讓以太網不依賴PFC，實現無損傳輸。

LLR 機制是基于幀的。每個幀都分配了一個序列號，接收端成功接收這一幀后，檢查幀的序列號是否符合預期，如果正確，發送確認消息（ACK），如果發現幀亂序或者丟失，則發送否定確認消息 （NACK）。發送端具有超時機制，用于保證在 NACK 丟失時重傳。

傳輸層：UET，新一代協議棧的核心

前文提過，傳統的RDMA網絡傳輸層（包括IB和RoCE）在多路徑傳輸、負載分擔、擁塞控制以及參數調優等方面存在著不足之處。隨著AI/HPC集群規模增長，網絡的確定性和可預測性越來越困難，需要全新的方法來解決。

UEC傳輸層（UEC Transport Layer，簡稱UET）運行在IP和UDP協議之上, 支持實現以下幾大技術目標：

? 支持高達 100 萬個 GPU/TPU 的算力集群

? 往返時間低于 10μs

? 單接口帶寬800Gbps及以上

? 網絡利用率超過85%

選擇性重傳

（Selective Retransmit）

傳統傳輸協議，如TCP需要嚴格的傳輸順序，并采用了Go-Back-N機制。而一個RDMA消息通常包含多個數據包，只要有一個數據包錯誤，則從這個數據包起的所有數據包都要重傳。這讓偶爾的傳輸錯誤被放大，加劇了網絡擁塞。UEC采用選擇性重傳機制，僅傳輸錯誤的數據包。

亂序交付

（Out-of-Order Delivery）

UET不僅支持有序傳輸，也支持無序傳輸。這是因為現代網絡中通常有多路徑存在，同一個流的數據包經過不同路徑傳輸，就可能造成亂序。如果還要求嚴格的順序傳輸，就無法利用多路徑來實現負載分擔。此外，選擇性重傳也需要無序傳輸的支持。為了實現無序傳輸，需要接收方有更大的數據包緩沖區，從而將亂序的數據包組成一個完整的RDMA消息。

UET支持四種傳輸方式：

? ROD (Reliable Ordered Delivery)

– 需要擁塞控制、有序、可靠、無重傳（依舊采用Go-Back-N）

? RUD (Reliable Unordered Delivery)

– 需要擁塞控制、無序、可靠、無重傳

? RUDI (RUD for Idempotent Operations)

– 可選擁塞控制、無序、可靠、重傳

? UUD (Unreliable Unordered Delivery)

– 可選擁塞控制、無序、不可靠、重傳

包噴灑

（Packet Spraying）

包噴灑是一種基于包的多路徑傳輸。由于傳統傳輸協議不支持無序傳輸，同一個數據流必須按照同一個路徑傳輸，否則就會造成亂序，引發重傳。而在AI/HPC應用中，存在大量的“大象流”，它們數據量大、持續時間長，如果能使用多路徑傳輸一個流，將顯著提高整個網絡的利用率。

由于支持了RUD，UET就可以將同一個流的不同包分散到多個路徑上同時傳輸，實現包噴灑功能。這讓交換機可以充分發揮ECMP甚至WCMP（Weighted Cost Multi- Pathing）路由能力，將去往同一目的地的數據包通過多條路徑發送，大幅度提高網絡利用率。

擁塞控制

（Congestion Control）

UET 擁塞控制包含以下重要特性，由端側硬件和交換機配合完成，有效減小了尾部延遲。

? **Incast管理。**它用于解決集合通信（Collective）中下行鏈路上的扇入問題。AI和HPC應用經常采用集合通信在多個節點之間同步信息，當多個發送者同時向一個接收者發送流量，就會產生Incast擁塞。

? **速率調整加速。**現有的擁塞控制算法，在發生網絡擁塞后調整速率的過程較長，而 UET 可以快速上升到線速。方法是測量端到端延遲來調節發送速率，以及根據接收方的能力通知發送方調整速率。

? **基于遙測。**源自網絡的擁塞信息可以通告擁塞的位置和原因，縮短擁塞信令路徑并向終端節點提供更多信息，從而實現響應速度更快的擁塞控制。

? 基于包噴灑的自適應路由 。當擁塞發生時，通過包噴灑技術將流量重新路由到其它路徑上，繞過擁塞點。

端到端的安全

UEC在傳輸層內置安全。它是基于作業（Job）的，可以對整個作業的流量進行端到端的AES加密，充分利用 IPSec 和PSP（Packet Security Protocol）的能力，減小安全加密的開銷，提供可擴展安全域，并且可以由硬件卸載。

在網計算

（In Network Collectives）

在網計算最早應用在HPC集群，業界主要有兩個思路，一是基于網卡的，二是基于交換機。

UEC V1.0 的目標是后者，即將集合操作卸載到各級交換機上完成，避免過多的收發次數，降低節點交互頻率和處理時延開銷，減少約一半數據傳輸量，從而加速All-Reduce操作。

在部署實現上，目前AI智算領域唯一大規模商用的案例僅有英偉達的SHARP（在ASIC層面實現的硬件加速），以太網設備廠家仍處在探索階段，例如將算力內置于交換機或外接，甚至P4可編程都是可能的思路方向。

軟件層：Extended Libfabrics 2.0

在軟件層，UEC提供簡化的API。它簡化了RDMA操作，并為AI和HPC應用提供專用的API，如xCCL, MPI, PGAS和OpenShmem等。

硬件升級：支持UEC的交換機和網卡

UEC在規范中定義了支持超級以太網交換機的架構，可以看到大體是繼承了SONiC的架構。這部分的主要關注在于控制平面上支持INC和SDN控制器；數據平面升級了SAI（Switch Abstraction Interface）API調用硬件提供的INC等能力。

UEC同樣定義了網絡端點（Fabric End Point）的軟硬件架構。在硬件層，網卡升級支持UEC功能。在操作系統內核態，實現網卡驅動。在用戶態，基于libfabric擴展實現INC管理等功能，支持上層的xCCL/MPI/SHMEM等應用。

總的來說，UEC v1.0規范重構了數據中心以太網以完全替代傳統的RDMA網絡，用更高的性能、更低的成本實現穩定可靠、具有百萬節點的AI/HPC集群。

星融元RoCE交換機與UEC

作為UEC成員單位，星融元提供的超低時延RoCE交換機（CX-N系列）全系采用高性能的標準白盒網絡硬件，搭載為生產環境深度調優的企業級SONiC發行版——多項 Easy RoCE 特性，全面兼容現有規范并提供靈活、廣大的升級空間，未來將平滑演進與新一代以太網標準保持同步。

[搶先圍觀！星融元51.2T 800G RoCE交換機測試]

審核編輯 黃宇