超算網絡中的主流拓撲架構

? ? ? 高性能計算場景的流量關注靜態時延的同時需要支持超大規模組網。然而傳統的?CLOS?架構作為主流網絡架構，主要關注通用性，犧牲了時延和性價比。業界針對該問題開展了多樣的架構研究和新拓撲的設計，Fat-Tree、Dragonfly、Torus是幾種常見的網絡拓撲，Fat-Tree架構實現無阻塞轉發，Dragonfly架構網絡直徑小，Torus?具有較高的擴展性和性價比。

Fat-Tree胖樹架構

傳統的樹形網絡拓撲中，帶寬是逐層收斂的，樹根處的網絡帶寬要遠小于各個葉子處所有帶寬的總和。而Fat-Tree則更像是真實的樹，越到樹根，枝干越粗，即：從葉子到樹根，網絡帶寬不收斂，這是Fat-Tree能夠支撐無阻塞網絡的基礎。Fat-Tree是使用最廣泛的拓撲之一，它是各種應用程序的一個很好的選擇，因為它提供低延遲并支持各種吞吐量選項——從非阻塞連接到超額訂閱，這種拓撲類型最大限度地提高了各種流量模式的數據吞吐量。

Fat-Tree架構采用1:1無收斂設計，Fat-Tree架構中交換機上聯端口與下聯端口帶寬、數量保持一致，同時交換機要采用無阻塞轉發的數據中心級交換機。Fat-Tree架構可以通過擴展網絡層次提升接入的GPU節點數量。

Fat-Tree架構的本質是無帶寬收斂，因此，云數據中心的Spine-leaf組網在無收斂的情況下，也可以認為是遵從了Fat-Tree架構理念。

如果交換機的端口數量為n，則：兩層Fat-Tree架構能夠接入n2/2張GPU卡，以40端口的InfiniBand交換機為例，能夠接入的GPU數量最多可達800個。三層Fat-Tree架構能夠接入n（n/2）*(n/2)張GPU卡，以40端口的InfiniBand交換機為例，能夠接入的GPU數量最多可達16000個。

但是，Fat-Tree架構也存在明顯的缺陷：

網絡中交換機與服務器的比值較大，需要大量的交換機和鏈路，因此，在大規模情況下成本相對較高。構建Fat-Tree需要的交換機數量為5M/n（其中，M是服務器的數量，n是交換機的端口數量），當交換機的端口數量n較小時，連接Fat-Tree需要的交換機數量龐大，從而增加了布線和配置的復雜性；

拓撲結構的特點決定了網絡不能很好的支持One-to-All及All-to-All網絡通信模式，不利于部署?MapReduce、Dryad等高性能分布式應用；

擴展規模在理論上受限于核心層交換機的端口數目。

Fat-Tree架構的本質是CLOS架構網絡，主要關注通用性和無收斂，犧牲了時延和性價比。在構建大規模集群網絡時需要增加網絡層數，需要更多的互聯光纖和交換機，帶來成本的增加，同時隨著集群規模增大，網絡跳數增加，導致通信時延增加，也可能會無法滿足業務低時延需求。

Dragonfly架構

Dragonfly是當前應用最廣泛的直連拓撲網絡架構，它由John Kim等人在2008年的論文Technology-Driven, Highly-Scalable Dragonfly Topology中提出，它的特點是網絡直徑小、成本較低，已經在高性能計算網絡中被廣泛應用，也適用于多元化算力的數據中心網絡。

Dragonfly網絡如下圖所示：

Dragonfly的拓撲結構分為三層：Switch層、Group層、System層。

Switch層：包括一個交換機及其相連的P個計算節點；

Group層：包含a個Switch層，這a個Switch層的a個交換機是全連接(All-to-all)的，換言之，每個交換機都有a-1條鏈路連接分別連接到其他的a-1臺交換機；

System層：包含g個Group層，這g個Group層也是全連接的。

對于單個Switch交換機，它有p個端口連接到了計算節點，a-1個端口連接到Group內其他交換機，h個端口連接到其他Group的交換機。因此，我們可以計算得到網絡中的如下屬性：

每個交換機的端口數為k=p+(a-1)+h

Group的數量為g=ah+1

網絡中一共有N=ap(ah+1)?個計算節點

如果我們把一個Group內的交換機都合成一個，將它們視為一個交換機，那么這個交換機的端口數為k‘=a(p+h)。

不難發現，在確定了?p、a、h、g四個參數之后，我們就可以確定一個Dragonfly的拓撲，因此，一個Dragonfly的拓撲可以用dfly(p,a,h,g)?來表示，一種推薦的較為平衡的配置是方法是：a=2p=2h。

Dragonfly的路由算法主要有以下幾種：

最小路由算法（Minimal Routing）：由于拓撲的性質，Minimal Routing中最多只會有1條Global Link和2條Local Link，也就是說最多3跳即可到達。在任由兩個Group之間只有一條直連連接時（即g=ah+1時），最短路徑只有一條。

非最短路徑的路由算法（Non-Minimal Routing）：有的地方叫Valiant algorithm，簡寫為VAL，還有的地方叫Valiant Load-balanced routing，簡寫為VLB。隨機選擇一個Group，先發到這個Group然后再發到目的地。由于拓撲的性質，VAL最多會經過2條Global Link和3條Local Link，最多5跳即可到達。

自適應路由（Adaptive Routing）：當一個數據包到達交換機時，交換機根據網絡負載信息在最短路徑路由和非最短路徑路由路徑之間進行動態選路，優先采用最短路徑轉發，當最短路徑擁塞時，通過非最短路徑轉發。因為要獲取到全局網絡狀態信息比較困難，除了UGAL（全局自適應負載均衡路由），還提出了一系列變種自適應路由算法，如UGAL-L，UGAL-G等。

上述幾種路由，由于自適應路由能夠根據網絡鏈路狀態動態調整流量轉發路徑，因此會有更好的性能表現。

Dragonfly為各種應用程序（或通信模式）提供了良好的性能，與其他拓撲相比，它通過直連模式，縮短網絡路徑，減少中間節點數量。64端口交換機支持組網規模27萬節點，端到端交換機轉發跳數減至3跳。

Dragonfly拓撲在性能和性價比方面有顯著的優勢。然而，這種優勢的實現需要依賴于有效的擁塞控制和自適應路由策略。Dragonfly網絡在擴展性方面存在問題，每次需要增加網絡容量時，都必須對Dragonfly網絡進行重新布線，這增加了網絡的復雜性和管理難度。

Torus架構

隨著模型參數的增加和訓練數據的增加，單臺機器算力無法滿足，存儲無法滿足，所以要分布式機器學習，集合通信則是分布式機器學習的底層支撐，集合通信的難點在于需要在一定的網絡互聯結構的約束下進行高效的通信，需要在效率與成本、帶寬與時延、客戶要求與質量、創新與產品化等之間進行合理取舍。

Torus網絡架構是一種完全對稱的拓撲結構，具有很多優良特性，如網絡直徑小、結構簡單、路徑多以及可擴展性好等特點，非常適合集合通信使用。索尼公司提出2D-Torus算法，其主要思想就是組內satter-reduce->組間all-reduce->組內all-gather。?IBM提出了3D-Torus算法。

我們用k-ary n-cube來表示。k是排列的邊的長度，n是排列的維度。