在數據中心領域，如果 InfiniBand 剛剛成為無處不在的 I/O 交換結構標準，那么客戶的情況可能會更好。

但是這并沒有在所有人身上發生，有幾個值得注意的例外，InfiniBand 被用作一種系統主干（我們記得是 IBM、Sun Microsystems 和 Unisys），但 InfiniBand 幸存下來要歸功于一些初創公司（SilverStream/QLogic/Intel/Cornelis Networks和 Mellanox/Nvidia），并且僅作為分布式計算系統中以太網的高性能、低延遲替代方案。

?

由于遠程直接內存訪問 (RDMA：Remote Direct Memory Access)，InfiniBand 在高性能計算方面發揮了多種作用，它允許通過 InfiniBand 網絡將數據從一臺服務器的內存直接移動到另一臺服務器，而無需通過網絡驅動程序堆棧每個服務器的操作系統。RDMA 是 InfiniBand 低延遲的原因，顯然它在與消息傳遞接口 (MPI：Message Passing Interface) 協議結合使用時非常強大，可在分布式系統中跨 CPU 內核和 GPU 流式處理多處理器分配工作負載。

有兩種嘗試將 InfiniBand 的優勢融合到以太網中。第一個是 iWARP，它將本質上是 InfiniBand RDMA 協議塊的克隆放在以太網網絡適配器上，為以太網 TCP/IP 處理提供硬件加速，從而消除了使用以太網的大部分操作系統開銷。卸載 TCP/IP 堆棧既困難又昂貴（在計算和經濟上），因此 iWARP 從未得到太多關注。（現在，十年后，由于摩爾定律甚至放緩，我們可以擁有fat DPU。）

但是讓以太網更像 InfiniBand 的想法并沒有消失。十多年前，RDMA over Converged Ethernet 或 RoCE 出現，將類似 InfiniBand 的傳輸層添加到 UDP 協議中，UDP 協議也是以太網堆棧的一部分。RoCE 于 2015 年首次起飛，當時許多新事物也都在發生。從那時起，人們一直在抱怨 RoCE——尤其是超大規模和云構建者，還有一些 HPC jet set——這推動了 RoCE 創新向前發展。

但是一組 HPC 和網絡 ASIC 設計名人剛剛發布了一篇非常有趣的論文——Datacenter Ethernet And RDMA: Issues At Hyperscale 。在文章中談及了HPC 模擬和建模、AI 訓練和推理以及大規模運行的存儲工作負載在 RoCE 和他們需要修復。但更重要的是，作者認為現在是真正融合 HPC 和超大規模數據中心結構的時候了。

“數據中心在過去十年中經歷了巨大的增長，連接機器的數量超過了當今最大的超級計算機的規模，”作者寫道，這是我們一段時間以來看到的最大的輕描淡寫之一，鑒于如果谷歌、AWS 或微軟中的任何一個愿意，它們都可以獨自擁有整個超級計算 500 強排名。也許只有幾個地區。“雖然仍存在一些差異，但此類超大規模數據中心和超級計算機的網絡要求非常相似。然而，傳統上超級計算機使用專用互連進行連接，而數據中心則建立在以太網上。由于相似的要求和規模經濟，隨著每一代新技術的出現，兩者的聯系越來越緊密。

如果我們都足夠努力地夢想，并通過某種標準機構一起實現，也許我們可以獲得我們都想要的 InfiniBand。（好吧，不是思科。）CXL 不是必需的，因為它已經內置了幾十年。當您看著墻上所有漂亮的燈光并感覺與地球融為一體時，咀嚼一會兒。

THE UPPER ECHELON

對于大多數企業來說，大多數時候，服務器上的 10 Gb/秒甚至 25 Gb/秒端口都可以，而 PC 的 10 Gb/秒端口就足夠了。令人瘋狂的是，10 Gb/秒和更慢的以太網交換設備在世界上的銷量仍然如此之高，這就是原因。

但對于市場的一部分——推動創新的部分以及交換機 ASIC 制造商和交換機制造商收入流中越來越大的一部分——100 Gb/秒以太網是最低限度，如果他們可以擁有 PCI-Express 6.0 插槽和今天的 800 Gb/秒以太網端口，他們會拿走它們并抱怨一下，但每個端口要支付成千上萬美元才能獲得它們。該論文的作者認為，他們的應用程序——HPC、人工智能和存儲——正在推動 100 倍的帶寬和 10 倍的消息速率，并且“幾十年前對負載平衡、擁塞控制和錯誤處理的簡單假設不適用于今天的網絡。”

如果有的話，這篇論文說明了這樣的想法，即網絡確實是計算機，并且試圖使像以太網這樣的有損、丟包技術表現得像有序、無損的 InfiniBand 結構一樣，涉及做出會產生意想不到的后果的不自然行為。本文多次使用感嘆號，考慮到網絡設計者通常將憤怒作為應對這些意外后果的唯一手段，它們是完全有道理的。

優先流控制或 PFC （Priority Flow Control）是使以太網無損的解決方案，并且似乎是問題的重要組成部分。HPC、AI 和存儲應用程序不喜歡丟棄的數據包，而以太網被明確設計為不關心，它始終可以重新傳輸丟棄的數據包。這在您共享文件或在辦公室打印某些東西的局域網上很好，但這種態度會使這些跨數據中心的工作負載下降并變得繁榮。使用 PFC 的想法是通過在交換機上放置大而昂貴的緩沖區并祈禱它們不會填滿來幫助以太網不丟棄數據包。

這是一個很好的，直接從論文上摘錄下來的內容。

“傳統上，數據中心交換機具有大（深）緩沖區以適應流量突發，而不會掉線以適應緩慢的端到端速率調整。另一方面，由于其可靠的鏈路級流量控制機制，HPC 中使用的交換機通常在非常淺的緩沖區和嚴格的背壓下無損運行。此外，HPC 網絡拓撲的直徑通常低于數據 [中心部署。因此，HPC 部署支持低延遲操作，因為小數據包不太可能在較長流后面的緩沖區中等待。具有 RoCE 的數據中心網絡通常將兩者低效地結合在一起：它們使用無損傳輸，但存在相對較大的緩沖交換機的所有問題。因此，許多現代擁塞控制機制旨在保持緩沖區占用率普遍較低，讓這種非常昂貴的資源閑置！”

這是一種會讓分布式系統架構師發瘋的事情。

另一件需要 looksee 的事情是前向糾錯，或 FEC，以及未來的Etherband，這是對此的另一個可能名稱。（Infininet也適用。）

如您所見，為了支持更高的帶寬，我們將在端口上提高信號速率，并且 FEC 的延遲必須降低。但正如您所見，FEC 解碼占用了越來越多的總 FEC 延遲，并且可能需要更復雜的 FEC 機制來增加更多延遲。（我們注意到，正如該論文所說，PCI-Express 6.0 和 7.0 提出了一種新穎的編碼和糾錯方式，我們認為它可能會被以太網和 InfiniBand 所采用。）

論文中的下圖很有趣，因為它顯示了帶寬延遲乘積——字面意思是數據鏈路容量（以比特每秒為單位）乘以往返延遲時間（以秒為單位）。保持高往返時間的網絡業務是有問題的，這表明 Microsoft Azure HPC 對 InfiniBand 的喜愛程度，但可能不是最高帶寬。

事實證明，這張圖表來自另一篇論文，Hoefler 是該論文的撰稿人，該論文于去年發表，名為“ Noise In The Clouds: Influence Of Network Performance Variability On Application Scalability.”

鑒于論文中詳細概述的眾多問題，本文背后的研究人員得出以下結論：

“這種下一代以太網可能會支持 RDMA 連接的有損和無損傳輸模式，以實現智能交換機緩沖區管理。這將使凈空緩沖區的配置成為可選的，并避免其他問題，例如無損網絡的受害者流和擁塞樹。下一代以太網也不太可能采用 go back-n 重傳語義，而是選擇更細粒度的機制，例如選擇性確認。此外，它可能會使擁塞管理成為規范的一部分。將特別注意與其他流的共置，尤其是在有損流量類別中。這些協議將以靈活的方式設計，以支持智能網絡堆棧，安全性最終將成為一等公民。”

我們正試圖召集其中的一些研究人員，看看這實際上是如何發生的，以及何時發生。

同時，盡可能使用 InfiniBand 或 Slingshot，必要時使用以太網。

編輯：黃飛

?