高性能、低延遲的InfiniBand式網(wǎng)絡(luò)并不是唯一的選擇

正如我們喜歡指出的那樣，當(dāng)談到高性能、低延遲的 InfiniBand 式網(wǎng)絡(luò)時，Nvidia 并不是唯一的選擇，自 20 世紀(jì) 90 年代末 InfiniBand 互連出現(xiàn)以來就一直不是唯一的選擇。三年前從英特爾收購了 Omni-Path 互連業(yè)務(wù)的Cornelis Networks 就是另一種選擇。雖然它跳過了 200 Gb/秒一代，但仍在銷售改進(jìn)的 100 Gb/秒 Omni-Path Express 變體，并為未來的 400 Gb/秒一代奠定了基礎(chǔ)。

Cornelis Networks 的高管們從 SilverStorm 和 PathScale 的 InfiniBand 開始，最終成為 QLogic 的 TruScale InfiniBand 的基礎(chǔ)，而 QLogic 又成為來自 Mellanox Technologies 的 InfiniBand 的替代供應(yīng)商。早在 2012 年 1 月，英特爾就以 1.25 億美元的價格從 QLogic 手中收購了 TruScale InfiniBand 業(yè)務(wù)——這似乎是很久以前的事了？三個月后又斥資 1.4 億美元從Cray 收購了“Gemini”XT 和“Aries”XC 互連業(yè)務(wù)，將它們整合起來創(chuàng)建 Omni-Path 互連。

從技術(shù)上講，這是 InfiniBand 主題的三種不同變體，而 Cornelis Networks 正在做的事情在許多方面代表了第四種變體。

InfiniBand 的最初目標(biāo)是取代 PCI-Express、光纖通道，或許還有以太網(wǎng)，并創(chuàng)建融合結(jié)構(gòu)。TruScale 變體采用了一種稱為 Performance Scale Messaging (PSM) 的技術(shù)，QLogic 當(dāng)然認(rèn)為該技術(shù)比 InfiniBand verbs approach更好，并且其創(chuàng)建者認(rèn)為可以提供更好的擴(kuò)展性。但 PSM 已有二十多年歷史，Cornelis Networks 正在基于 libfabric 驅(qū)動程序構(gòu)建新的軟件堆棧，該驅(qū)動程序是 Linux 操作系統(tǒng)的一部分，并取代了 QLogic TruScale 和 Intel Omni-Path 中的 PSM 提供程序與Open Fabrics Interfaces 工作組的 OPX 提供商進(jìn)行堆棧。

這個新堆棧經(jīng)過開發(fā)，可以在 Cornelis Networks 從 Intel 購買的 100 Gb/秒 Omni-Path 硬件上運行（該公司稱之為 Omni-Path Express，縮寫為 OPX），并且將是未來 400 Gb 上唯一可用的堆棧/sec Omni-Path Express CN5000 系列目前正在開發(fā)中。

libfabric 庫是 OFI 標(biāo)準(zhǔn)的第一個實現(xiàn)，它是一個位于網(wǎng)絡(luò)接口卡和 OFI 提供程序驅(qū)動程序之上的層，位于 MPI、SHMEM、PGAS 和通常在 HPC 分布式計算系統(tǒng)上運行的其他內(nèi)存共享協(xié)議之間和人工智能。它看起來像這樣：

以下是 Omni-Path Express 主機軟件堆?，F(xiàn)在的樣子，其中第二代 PSM2 提供程序和本機 OFI 提供程序并行運行：

您會注意到，原始 OpenFabrics Alliance Verbs 仍然可以在 Linux 內(nèi)核模式下使用，以支持舊版協(xié)議和框架的 InfiniBand verbs 提供程序，但 PSM2 和 OFI 提供程序都在 Linux 用戶空間中運行，其MPI的各種實現(xiàn)也是如此——它們有很多。

在下一代 CN5000 平臺中，紫色的 PSM2 內(nèi)容將消失，我們推測 Verbs 提供程序以及運行在 Linux 內(nèi)核中的 OFA Verbs 代碼之上的內(nèi)容也會消失。Cornelis Networks 軟件工程副總裁 Doug Fuller 本周在Hot Interconnects 30 會議上發(fā)表演講，他表示，OPX 和 Nvidia InfiniBand 之間的主要區(qū)別之一是 Cornelis Networks 使用的所有堆棧都將是開放的源并添加到內(nèi)核的上游。

“我們的 Omni-Path OFI 驅(qū)動程序是 Linux 內(nèi)核的一部分，”Fuller 在演講中解釋道?！拔业囊馑际牵覀冊趦?nèi)核開發(fā)方面也首先處于上游。因此，我們所有的補丁都在上游合并，并且我們有來自 Linus 的火焰來證明這一點。然后我們合并。我們鼓勵它向下游合并并集成到各種 Linux 發(fā)行版中。因此，在大多數(shù)情況下，如果您啟動現(xiàn)代 Linux 發(fā)行版，您的驅(qū)動程序已經(jīng)存在，無需安裝其他軟件。我們致力于上游優(yōu)先開發(fā)，我們希望確?；仞佄覀兪褂玫纳鐓^(qū)，并為用戶提供良好的用戶體驗。”

三年來我們一直希望看到的，以及 Fuller 向 Hot Interconnects 觀眾提供的，是備受期待的 Cornelis Network 硬件路線圖。話不多說，這里是：

HPC 中心、云構(gòu)建商和超大規(guī)模企業(yè)都喜歡可預(yù)測的路線圖，這些路線圖使每一代的比特轉(zhuǎn)移成本越來越低，并且還增加了網(wǎng)絡(luò)規(guī)模，即可以通過合理的響應(yīng)連接到網(wǎng)絡(luò)的端點數(shù)量時間。這些是 Cornelis Networks 最終公開投入的賭注，眾所周知，公司不會購買點產(chǎn)品，而是購買路線圖，因為我們都生活在未來。

通過 Omni-Path 100 系列，Cornelis Networks 正在轉(zhuǎn)售由英特爾創(chuàng)建的硬件，該硬件于 2015 年底開始在基于其“Knights”系列多核處理器的早期采用者 HPC 系統(tǒng)中推出。（我們認(rèn)為 Cornelis 忘記將品牌的“Express”部分放入路線圖中。) 該產(chǎn)品系列包括 100 Gb/秒適配器、48 端口邊緣交換機、288 端口導(dǎo)向器交換機和 1,152 端口導(dǎo)向器交換機。Omni-Path 100 互連支持 3 米及更短的直連電纜 (DAC) 和 100 米或更短的有源光纜 (AOC)。交換機的基數(shù)在fat tree上以全二分帶寬支持多達(dá) 13,800 個節(jié)點，或以半二分帶寬支持 27,600 個節(jié)點，在網(wǎng)絡(luò)逐漸變細(xì)的情況下最多支持 36,800 個節(jié)點。

考慮到其聯(lián)合創(chuàng)始人多年來推出的產(chǎn)品的悠久歷史，憑借 Omni-Path CN5000 CN5000 系列（Cornelis Networks 稱之為第五代高性能互連），交換機和適配器中的 ASIC 正在發(fā)生變化高達(dá) 400 Gb/秒，這將是性能的巨大飛躍。將會有一個 48 端口邊緣交換機（看起來像一個普通的披薩盒機器，而不是英特爾在 Omni-Path 100 上做的那種時髦的形狀），并且將在導(dǎo)向器交換機上進(jìn)行差異化，并與單個 576 端口機器一起使用。至于電纜，將支持 DAC 和 AOC，以及將銅電纜拉伸到 5 米或更短長度的有源銅電纜 (ACC)，這比 DAC 長 2 米，從而提供更具創(chuàng)意的接線配置。

CN5000 系列將支持全二分帶寬樹和部分二分帶寬樹，例如 Omni-Path 100，還將支持 Dragonfly 和 Megafly（有時稱為 Dragonfly+）拓?fù)洌⑶覇蝹€集群中最多可擴(kuò)展至 330,000 個節(jié)點。（我們不知道這樣的網(wǎng)絡(luò)中有多少層和跳數(shù)，但我們的目標(biāo)是找出答案。）Cornelius Networks 正在添加基于遙測的動態(tài)自適應(yīng)路由和擁塞控制，這聽起來可能基于一些想法是從 Cornelis Networks 通過英特爾獲得的 Cray“Aries”技術(shù)中挑選出來的。（同樣，我們會找到結(jié)果。）延遲（我們假設(shè)是從節(jié)點到節(jié)點）承諾低至 1 微秒以下，消息速率預(yù)計為每秒 12 億條。CN5000 導(dǎo)向器交換機將提供風(fēng)冷和液冷選項。

以下是 CN5000 邊緣交換機的一些規(guī)格和機械結(jié)構(gòu)：

這些是 CN5000 導(dǎo)向器交換機的規(guī)格：

最后，主機結(jié)構(gòu)適配器如下所示：

到 2026 年，Cornelis 路線圖將超越 Omni-Path CN6000，后者具有支持 800 Gb/秒的交換機和適配器 ASIC。交換機電纜選項的適配器在二等分帶寬、拓?fù)溥x項以及 330,000 個節(jié)點的規(guī)模方面保持不變。這里有趣的變化是使用 RISC-V 內(nèi)核的 DPU，插入 CXL 端口，并且可能會執(zhí)行一些集體操作卸載以及安全和存儲加速功能。某些結(jié)構(gòu)功能將被卸載，并且可能在交換機和適配器中都有特定于結(jié)構(gòu)的加速器。

隨著第七代產(chǎn)品將于 2028 年推出，Cornelis Networks 將把端口速度提高到 1.6 Tb/秒，并將 HyperX 拓?fù)涮砑拥骄W(wǎng)絡(luò)幾何結(jié)構(gòu)列表中，并對 DPU 核心以及結(jié)構(gòu)和應(yīng)用程序卸載進(jìn)行增強。

我們已經(jīng)有一段時間沒有看到 Nvidia 或 Mellanox 的 InfiniBand 路線圖了，而且肯定不會走那么遠(yuǎn)。但節(jié)奏和減速帶可能會在某個時刻或多或少同步。

審核編輯：劉清