RDMA技術簡介 RDMA的控制通路和數(shù)據(jù)通路方案

作者：劉偉

擁有14年網絡設備開發(fā)領域的從業(yè)經驗，當前就職于浪潮電子信息產業(yè)股份有限公司體系結構研究部，負責高性能網卡的架構設計和驅動程序開發(fā)工作。

RDMA 技術基于傳統(tǒng)以太網的網絡概念，但與以太網網絡中的同類技術存在差異。關鍵區(qū) 別在于，RDMA 提供了一種消息服務，應用程序可以使用該服務直接訪問遠程計算機上的虛擬內存。消息服務可用于進程間通信（IPC）、與遠程服務器的通信以及使用上層協(xié)議與存儲設備進行通信，這些上層協(xié)議包括對 RDMA 的 iSCSI 擴展（ISER）、SMB、Samba、Lustre、ZFS 等。RDMA 通過繞過軟件協(xié)議棧和避免不必要的數(shù)據(jù)復制來實現(xiàn)低時延、降低 CPU 占用率、減少內存帶寬瓶頸和提供高帶寬。RDMA 提供的好處主要來自 RDMA 消息服務呈現(xiàn)給應用程序的方式，以及用于傳輸和傳遞這些消息的底層技術。RDMA 提供基于通道的 I/O，該通道使得應用程序可以使用 RDMA 設備直接讀取和寫入遠程虛擬內存。

在傳統(tǒng)的以太網應用場景中，運行在用戶態(tài)的應用程序通過調用套接字（socket）API 從操作系統(tǒng)請求網絡資源，然后使用這些 API 執(zhí)行數(shù)據(jù)收發(fā)。RDMA 應用也依賴操作系統(tǒng)，但只是使用操作系統(tǒng)建立通道，而后允許用戶態(tài)的程序直接操作硬件交互信息，無須內核態(tài)程序的進一步協(xié)助。這些信息交互方式可以是 RDMA Read、RDMA Write、Send 和 Receive。

另外，RDMA 協(xié)議 InfiniBand 和 RoCE 還支持多播傳輸。目前 RDMA 已經是一個比較成熟的架構，主要應用在高性能計算（HPC）領域和大型數(shù)據(jù)中心中，典型的應用場景包括分布式神經網絡計算（比如 TensorFlow+MPI+RDMA）和大數(shù)據(jù)存儲（比如 HDFS+RDMA+NVMe）等。

RDMA 的控制通路和數(shù)據(jù)通路

第 5 章在介紹內核協(xié)議棧方案時，使用圖 5-1 展示了 Linux 內核協(xié)議棧方案涉及的主要軟件和硬件模塊以及它們之間的關系；圖 5-2 描述了此方案的數(shù)據(jù)流；最后通過分析，給出了此方案的幾個缺點，比如不必要的數(shù)據(jù)復制、頻繁地在內核態(tài)與用戶態(tài)之間切換等。下面介紹 RDMA 方案的控制通路和數(shù)據(jù)通路（如圖 13-1 所示）以及數(shù)據(jù)流（如圖 13-2 所示），如果和圖 5-1、圖 5-2 進行比較，就能明顯地看出 RDMA 方案的優(yōu)點。

圖 13-1 中有一左一右兩臺機器，可互相發(fā)送和接收數(shù)據(jù)。圖中首先將 RDMA 整體方案橫向劃分為三層；上面兩層是軟件，根據(jù)執(zhí)行權限的不同又分為用戶態(tài)和內核態(tài)；最下面一層是硬件。然后，圖中將 RDMA 的橫向分層模型再從豎向劃分為控制通路和數(shù)據(jù)通路。控制通路需要進入內核態(tài)準備通信所需的各種資源，比如創(chuàng)建和配置后面章節(jié)會介紹的各 RDMA 基本元素（如 CQ、QP 等），主要操作由軟件完成，硬件接受配置。數(shù)據(jù)通路專門負責數(shù)據(jù)收發(fā)，由軟件和硬件合作完成 RDMA Write（寫）、RDMA Read（讀）、Send（發(fā)送）和 Receive（接收）等操作。

至于把控制通路和數(shù)據(jù)通路分開的原因，可以這樣理解：一般和控制有關的操作所需的權限較高，所以需要進入內核態(tài)處理，導致消耗的時間較長，不過實際進行的操作次數(shù)有限，

RDMA 技術簡介

屬于低頻且耗時的操作類型；而數(shù)據(jù)收發(fā)相關的操作所需的權限較低，直接在用戶態(tài)處理即可，只有這樣才能起到旁路（bypass）內核和快速收發(fā)數(shù)據(jù)的效果，并且在程序運行的大部分時間里，執(zhí)行的都是這種高頻操作。

圖 13-1 RDMA 方案的控制通路和數(shù)據(jù)通路

Send 和 Receive 操作為例，一次 RDMA 通信的過程簡單描述如下。

（1）發(fā)送端和接收端的軟件都通過控制通路進入內核態(tài)，創(chuàng)建通信所需的各種資源，包 括 MR、QP、CQ 等。

（2）在數(shù)據(jù)通路上，接收端的應用程序通知硬件準備接收數(shù)據(jù)，并將存放數(shù)據(jù)的緩存地 址告知硬件。

（3）在數(shù)據(jù)通路上，發(fā)送端的應用程序通知硬件發(fā)送數(shù)據(jù)，并將待發(fā)送數(shù)據(jù)所在的緩存 地址和數(shù)據(jù)長度告知硬件。

（4）發(fā)送端硬件使用 DMA 操作從位于主機內存的緩存中將數(shù)據(jù)復制到自己的硬件內部 緩存，然后按照協(xié)議封裝數(shù)據(jù)包并發(fā)送給對端。

（5）接收端硬件收到數(shù)據(jù)包，按照協(xié)議對其進行解析，并通過 DMA 操作將有效的應用 數(shù)據(jù)寫入主機內存。

（6）在數(shù)據(jù)通路上，接收端的應用程序獲知收到的數(shù)據(jù)已被放入本地緩存。

圖 13-2 展示了使用 RDMA 方案時，用戶數(shù)據(jù)在兩個運行在不同機器上的應用程序之間 傳遞的過程。圖中的機器 1 為發(fā)送端，機器 2 為接收端。包括在網線/光纖上的數(shù)據(jù)傳輸，整 個數(shù)據(jù)傳遞過程共進行了 3 次數(shù)據(jù)復制，按照編號依次如下。

① 發(fā)送端網卡通過 DMA 操作，從主機內存的用戶空間將數(shù)據(jù)復制到自己的硬件內部緩 存中，并進行封裝，即添加各層協(xié)議報頭和校驗信息。

② 發(fā)送端網卡通過網線/光纖將封裝好的數(shù)據(jù)發(fā)送給接收端的網卡。

③ 接收端網卡接收到數(shù)據(jù)后，先進行數(shù)據(jù)解析，即把各層協(xié)議報頭和校驗信息剝離，然 后將硬件緩存中的數(shù)據(jù)通過 DMA 操作復制到主機內存的用戶空間。

如果跟圖 5-1 和圖 5-2 做一下比較，明顯可以看出 RDMA 方案的三個優(yōu)點。 ? 本地內存零復制，即省去了數(shù)據(jù)在主機內存的用戶空間和內核空間之間復制的步驟， 降低了整個數(shù)據(jù)收發(fā)過程的時延。 ? 內核旁路（bypass），即數(shù)據(jù)通路繞過內核，避免了系統(tǒng)調用和上下文切換的時間 開銷。 ? 把數(shù)據(jù)包的封裝和解析工作交由網卡來實現(xiàn)，降低了 CPU 負載。

編輯：黃飛

?