正如我們喜歡指出的那樣，當談到高性能、低延遲的 InfiniBand 式網絡時，Nvidia 并不是唯一的選擇，自 20 世紀 90 年代末 InfiniBand 互連出現以來就一直不是唯一的選擇。三年前從英特爾收購了 Omni-Path 互連業務的Cornelis Networks 就是另一種選擇。雖然它跳過了 200 Gb/秒一代，但仍在銷售改進的 100 Gb/秒 Omni-Path Express 變體，并為未來的 400 Gb/秒一代奠定了基礎。

Cornelis Networks 的高管們從 SilverStorm 和 PathScale 的 InfiniBand 開始，最終成為 QLogic 的 TruScale InfiniBand 的基礎，而 QLogic 又成為來自 Mellanox Technologies 的 InfiniBand 的替代供應商。早在 2012 年 1 月，英特爾就以 1.25 億美元的價格從 QLogic 手中收購了 TruScale InfiniBand 業務——這似乎是很久以前的事了？三個月后又斥資 1.4 億美元從Cray 收購了“Gemini”XT 和“Aries”XC 互連業務，將它們整合起來創建 Omni-Path 互連。

從技術上講，這是 InfiniBand 主題的三種不同變體，而 Cornelis Networks 正在做的事情在許多方面代表了第四種變體。

InfiniBand 的最初目標是取代 PCI-Express、光纖通道，或許還有以太網，并創建融合結構。TruScale 變體采用了一種稱為 Performance Scale Messaging (PSM) 的技術，QLogic 當然認為該技術比 InfiniBand verbs approach更好，并且其創建者認為可以提供更好的擴展性。但 PSM 已有二十多年歷史，Cornelis Networks 正在基于 libfabric 驅動程序構建新的軟件堆棧，該驅動程序是 Linux 操作系統的一部分，并取代了 QLogic TruScale 和 Intel Omni-Path 中的 PSM 提供程序與Open Fabrics Interfaces 工作組的 OPX 提供商進行堆棧。

這個新堆棧經過開發，可以在 Cornelis Networks 從 Intel 購買的 100 Gb/秒 Omni-Path 硬件上運行（該公司稱之為 Omni-Path Express，縮寫為 OPX），并且將是未來 400 Gb 上唯一可用的堆棧/sec Omni-Path Express CN5000 系列目前正在開發中。

libfabric 庫是 OFI 標準的第一個實現，它是一個位于網絡接口卡和 OFI 提供程序驅動程序之上的層，位于 MPI、SHMEM、PGAS 和通常在 HPC 分布式計算系統上運行的其他內存共享協議之間和人工智能。它看起來像這樣：

以下是 Omni-Path Express 主機軟件堆棧現在的樣子，其中第二代 PSM2 提供程序和本機 OFI 提供程序并行運行：

您會注意到，原始 OpenFabrics Alliance Verbs 仍然可以在 Linux 內核模式下使用，以支持舊版協議和框架的 InfiniBand verbs 提供程序，但 PSM2 和 OFI 提供程序都在 Linux 用戶空間中運行，其MPI的各種實現也是如此——它們有很多。

在下一代 CN5000 平臺中，紫色的 PSM2 內容將消失，我們推測 Verbs 提供程序以及運行在 Linux 內核中的 OFA Verbs 代碼之上的內容也會消失。Cornelis Networks 軟件工程副總裁 Doug Fuller 本周在Hot Interconnects 30 會議上發表演講，他表示，OPX 和 Nvidia InfiniBand 之間的主要區別之一是 Cornelis Networks 使用的所有堆棧都將是開放的源并添加到內核的上游。

“我們的 Omni-Path OFI 驅動程序是 Linux 內核的一部分，”Fuller 在演講中解釋道。“我的意思是，我們在內核開發方面也首先處于上游。因此，我們所有的補丁都在上游合并，并且我們有來自 Linus 的火焰來證明這一點。然后我們合并。我們鼓勵它向下游合并并集成到各種 Linux 發行版中。因此，在大多數情況下，如果您啟動現代 Linux 發行版，您的驅動程序已經存在，無需安裝其他軟件。我們致力于上游優先開發，我們希望確保回饋我們使用的社區，并為用戶提供良好的用戶體驗。”

三年來我們一直希望看到的，以及 Fuller 向 Hot Interconnects 觀眾提供的，是備受期待的 Cornelis Network 硬件路線圖。話不多說，這里是：

HPC 中心、云構建商和超大規模企業都喜歡可預測的路線圖，這些路線圖使每一代的比特轉移成本越來越低，并且還增加了網絡規模，即可以通過合理的響應連接到網絡的端點數量時間。這些是 Cornelis Networks 最終公開投入的賭注，眾所周知，公司不會購買點產品，而是購買路線圖，因為我們都生活在未來。

通過 Omni-Path 100 系列，Cornelis Networks 正在轉售由英特爾創建的硬件，該硬件于 2015 年底開始在基于其“Knights”系列多核處理器的早期采用者 HPC 系統中推出。（我們認為 Cornelis 忘記將品牌的“Express”部分放入路線圖中。) 該產品系列包括 100 Gb/秒適配器、48 端口邊緣交換機、288 端口導向器交換機和 1,152 端口導向器交換機。Omni-Path 100 互連支持 3 米及更短的直連電纜 (DAC) 和 100 米或更短的有源光纜 (AOC)。交換機的基數在fat tree上以全二分帶寬支持多達 13,800 個節點，或以半二分帶寬支持 27,600 個節點，在網絡逐漸變細的情況下最多支持 36,800 個節點。

考慮到其聯合創始人多年來推出的產品的悠久歷史，憑借 Omni-Path CN5000 CN5000 系列（Cornelis Networks 稱之為第五代高性能互連），交換機和適配器中的 ASIC 正在發生變化高達 400 Gb/秒，這將是性能的巨大飛躍。將會有一個 48 端口邊緣交換機（看起來像一個普通的披薩盒機器，而不是英特爾在 Omni-Path 100 上做的那種時髦的形狀），并且將在導向器交換機上進行差異化，并與單個 576 端口機器一起使用。至于電纜，將支持 DAC 和 AOC，以及將銅電纜拉伸到 5 米或更短長度的有源銅電纜 (ACC)，這比 DAC 長 2 米，從而提供更具創意的接線配置。

CN5000 系列將支持全二分帶寬樹和部分二分帶寬樹，例如 Omni-Path 100，還將支持 Dragonfly 和 Megafly（有時稱為 Dragonfly+）拓撲，并且單個集群中最多可擴展至 330,000 個節點。（我們不知道這樣的網絡中有多少層和跳數，但我們的目標是找出答案。）Cornelius Networks 正在添加基于遙測的動態自適應路由和擁塞控制，這聽起來可能基于一些想法是從 Cornelis Networks 通過英特爾獲得的 Cray“Aries”技術中挑選出來的。（同樣，我們會找到結果。）延遲（我們假設是從節點到節點）承諾低至 1 微秒以下，消息速率預計為每秒 12 億條。CN5000 導向器交換機將提供風冷和液冷選項。

以下是 CN5000 邊緣交換機的一些規格和機械結構：

這些是 CN5000 導向器交換機的規格：

最后，主機結構適配器如下所示：

到 2026 年，Cornelis 路線圖將超越 Omni-Path CN6000，后者具有支持 800 Gb/秒的交換機和適配器 ASIC。交換機電纜選項的適配器在二等分帶寬、拓撲選項以及 330,000 個節點的規模方面保持不變。這里有趣的變化是使用 RISC-V 內核的 DPU，插入 CXL 端口，并且可能會執行一些集體操作卸載以及安全和存儲加速功能。某些結構功能將被卸載，并且可能在交換機和適配器中都有特定于結構的加速器。

隨著第七代產品將于 2028 年推出，Cornelis Networks 將把端口速度提高到 1.6 Tb/秒，并將 HyperX 拓撲添加到網絡幾何結構列表中，并對 DPU 核心以及結構和應用程序卸載進行增強。

我們已經有一段時間沒有看到 Nvidia 或 Mellanox 的 InfiniBand 路線圖了，而且肯定不會走那么遠。但節奏和減速帶可能會在某個時刻或多或少同步。

審核編輯：劉清