加速網(wǎng)絡(luò)性能：融合以太網(wǎng) RDMA (RoCE) 的影響

作者：Tawfeeq Ahmad

2024-12-27

計算密集型應用程序的快速發(fā)展提高了對更快、更高效和可擴展的網(wǎng)絡(luò)解決方案的需求。為滿足這一需求而出現(xiàn)的最具創(chuàng)新性的技術(shù)之一是基于融合以太網(wǎng)的遠程直接內(nèi)存訪問 (RDMA) (RoCE)。這項突破性技術(shù)促進了系統(tǒng)之間的直接數(shù)據(jù)傳輸，無需 CPU 干預，從而顯著減少延遲并提高整體系統(tǒng)性能。[愛波]一家著名的 FPGA 設(shè)計公司處于這一進步的最前沿，通過將 AMD 的 ERNIC IP（以太網(wǎng) RDMA 網(wǎng)絡(luò)接口控制器知識產(chǎn)權(quán)）集成到其嵌入式計算模塊產(chǎn)品組合中，實現(xiàn)了強大的 100G 以太網(wǎng)解決方案。這種集成旨在增強高性能應用程序中的 RDMA 功能。

了解融合以太網(wǎng)上的 RDMA (RoCE)

RDMA 是一項關(guān)鍵技術(shù)，可有效繞過 CPU，在主機或服務器之間實現(xiàn)直接內(nèi)存?zhèn)鬏敗４斯δ苁?CPU 能夠?qū)Ｗ⒂趹贸绦驁?zhí)行和數(shù)據(jù)處理，從而顯著提高網(wǎng)絡(luò)性能，其特點是減少延遲、降低 CPU 負載和增加帶寬，所有這些都以經(jīng)濟高效的方式進行。 RoCE 是一種特定的網(wǎng)絡(luò)協(xié)議，旨在促進以太網(wǎng)上的 RDMA 操作。通過利用現(xiàn)有的以太網(wǎng)基礎(chǔ)設(shè)施，RoCE 為希望在不徹底改變當前網(wǎng)絡(luò)設(shè)置的情況下提高性能的組織提供了一個有吸引力的選擇。

RoCE 的類型

根據(jù)使用的網(wǎng)絡(luò)適配器，RoCE 分為兩個不同的版本：RoCE v1 和 RoCE v2。

1. RoCE v1 ：該協(xié)議允許位于同一以太網(wǎng)廣播域 (VLAN) 內(nèi)的兩臺主機之間進行通信。它利用 Ethertype 0x8915 并將標準以太網(wǎng)幀限制為 1500 字節(jié)，同時允許以太網(wǎng)巨型幀擴展到 9000 字節(jié)。
2. RoCE v2 ：為了解決 RoCE v1 的限制，RoCE v2 通過合并 IP 和 UDP 標頭引入了數(shù)據(jù)包封裝增強功能。此修改使 RoCE v2 能夠跨第 2 層（數(shù)據(jù)鏈路層）和第 3 層（網(wǎng)絡(luò)層）網(wǎng)絡(luò)無縫運行，從而支持跨多個子網(wǎng)的第 3 層路由和可擴展性。 RoCE v2 通常稱為可路由 RoCE (RRoCE)，還增加了對 IP 組播的支持，進一步拓寬了其適用性。

ERNIC IP：增強RDMA能力

ERNIC（支持嵌入式 RDMA 的 NIC）IP 是可定制的以太網(wǎng) RDMA 網(wǎng)絡(luò)接口控制器 IP 核，旨在與 AMD FPGA、MPSoC 和軟 MAC IP 實現(xiàn)無縫集成。該解決方案的特點是高吞吐量、低延遲以及基于標準以太網(wǎng)的完全硬件卸載、可靠的數(shù)據(jù)傳輸機制。 iWave 通過成功實施 100G 以太網(wǎng)解決方案體現(xiàn)了其對技術(shù)進步的承諾。這一成就是通過利用 iWave 的[Zynq UltraScale+ MPSoC 支持的開發(fā)套件]實現(xiàn)的，該開發(fā)套件集成了 AMD 的 ERNIC IP。

Zynq UltraScale+ MPSoC 開發(fā)套件專為采用高速 QSFP-28 連接器進行原型設(shè)計和評估 100G 以太網(wǎng)解決方案而定制。

演示設(shè)置

典型的演示設(shè)置（圖 2）包括：

• iWave 的 Zynq UltraScale+ MPSoC ZU19EG 供電開發(fā)套件
• [研華] [Mellanox ConnectX-5 100G 網(wǎng)卡]
• 同步 1588 PTP 啟用 1G 網(wǎng)卡
• MTP 電纜、[QSFP-28 模塊]和[CAT6 RJ45 以太網(wǎng)電纜]
• Ubuntu 22.04 服務器電腦

圖 2：Zynq UltraScale+ MPSoC 開發(fā)套件的典型設(shè)置。 （圖片來源：iWave）

系統(tǒng)架構(gòu)概述

該系統(tǒng)架構(gòu)旨在優(yōu)化數(shù)據(jù)傳輸，在處理系統(tǒng) (PS) 和可編程邏輯 (PL) 組件之間明確定義角色。該實現(xiàn)還具有精確時間協(xié)議 (PTP) 同步功能，這對于實時應用至關(guān)重要。憑借出色的性能指標，例如能夠以每秒超過 100 幀的速度處理 8K 視頻，潛在的應用涵蓋數(shù)據(jù)中心、多媒體和高性能計算等各個領(lǐng)域，凸顯了該技術(shù)在現(xiàn)代計算環(huán)境中的多功能性和重要性。

圖 3 所示的系統(tǒng)高級架構(gòu)突出了 Zynq UltraScale+ MPSoC 中 PS 和 PL 組件的不同作用。 PS 具有基于 ARM Cortex-A53 的硬 SoC，這對于系統(tǒng)配置、控制和診斷至關(guān)重要。該架構(gòu)的關(guān)鍵組件包括：

• 100G 以太網(wǎng) MAC 驅(qū)動程序 ：確保 100 Gb/s 的穩(wěn)健性能和低延遲數(shù)據(jù)傳輸
• ERNIC 控制器驅(qū)動程序 ：負責管理傳入 DDR 的數(shù)據(jù)，并通過高效的門鈴交換促進用戶應用程序和 ERNIC IP 之間的通信
• RDMA 核心和用戶空間庫 ：確?？鐑?nèi)核和用戶空間的 RDMA 操作的兼容性和最佳性能

圖 3：Zynq UltraScale+ MPSoC 中處理系統(tǒng)和可編程邏輯組件的不同角色的亮點。 （圖片來源：iWave）

AMD ERNIC IP 有效地將 RoCE v2 堆棧卸載到 FPGA 上，并由 ERNIC 控制器管理各個模塊之間的握手以促進數(shù)據(jù)傳輸。它生成工作隊列條目并向 ERNIC IP 發(fā)送通知（門鈴）。同時，Zynq UltraScale+ MPSoC 的 100G 以太網(wǎng)子系統(tǒng)管理 MAC 和物理層，而數(shù)據(jù)模式生成器則負責生成原始數(shù)據(jù)和視頻數(shù)據(jù)模式。

精確時間協(xié)議（PTP）

PTP（IEEE 1588 標準）時間戳在以太網(wǎng)上跨系統(tǒng)同步時間方面發(fā)揮著至關(guān)重要的作用。這種同步對于增強實時應用程序的性能、實現(xiàn)納秒級的同步和低延遲數(shù)據(jù)交換至關(guān)重要。

設(shè)置的主要亮點

該設(shè)置的顯著特點包括：

• 利用 AMD ERNIC IP 通過 RoCE v2 實施 100G 以太網(wǎng)
• 可靠連接傳輸類型
• 用于數(shù)據(jù)包處理的 RDMA SEND、RDMA READ 和 RDMA WRITE 功能
• 支持 RDMA Send with Immediate 和 RDMA Write with Immediate 消息類型
• 使用 XRPING 和 PERFTEST 應用程序進行 RDMA 性能測試
• 用于 RAW 和視頻數(shù)據(jù)模式的自定義數(shù)據(jù)模式生成器
• 將 PTP 時間戳與數(shù)據(jù)一起插入

從 Zynq UltraScale+ MPSoC 開發(fā)套件到服務器 PC 的視頻數(shù)據(jù)傳輸?shù)脑敿毻掏铝拷y(tǒng)計數(shù)據(jù)顯示出令人印象深刻的性能，能夠以超過 100 fps 的速度處理 8K 視頻，以超過 400 fps 的速度處理 4K 視頻。

潛在應用

RDMA over 融合以太網(wǎng)和 ERNIC IP 的集成為各個行業(yè)開辟了新途徑，顯著增強了一系列應用的連接性、性能和效率，包括：

• 數(shù)據(jù)中心和云計算 ：促進高效的服務器通信并加速云架構(gòu)中的數(shù)據(jù)處理
• 視頻/圖像捕獲和傳輸 ：有利于多媒體應用、廣播和虛擬現(xiàn)實 (VR) 環(huán)境
• 存儲解決方案 ：實現(xiàn)存儲設(shè)備和服務器之間更快的數(shù)據(jù)傳輸，從而提高存儲系統(tǒng)性能
• 高性能計算 (HPC) ：提高 HPC 集群內(nèi)的數(shù)據(jù)傳輸速度并減少延遲，以加快計算任務和模擬速度
• IoT Edge 設(shè)備 ：實現(xiàn)傳感器和設(shè)備的實時數(shù)據(jù)收集和傳輸

隨著對更快、更高效的數(shù)據(jù)傳輸解決方案的需求不斷增長，融合以太網(wǎng)上的 RDMA 和 ERNIC IP 有望在未來的高性能計算中發(fā)揮關(guān)鍵作用。

結(jié)論

iWave 廣泛的 FPGA 和 SoC FPGA 平臺產(chǎn)品組合與其深厚的技術(shù)專業(yè)知識相結(jié)合，使客戶能夠開發(fā)利用人工智能 (AI)、機器學習和邊緣計算領(lǐng)域最新進展的尖端產(chǎn)品。通過與 iWave 合作，公司可以加快產(chǎn)品開發(fā)、降低風險，并在日益復雜的技術(shù)環(huán)境中保持競爭優(yōu)勢。

審核編輯 黃宇