RDMA和TCP/IP有什么區(qū)別

在分布式存儲(chǔ)網(wǎng)絡(luò)中，我們使用的協(xié)議有RoCE、Infiniband（IB）和TCP/IP。其中RoCE和IB屬于RDMA (RemoteDirect Memory Access)技術(shù)，他和傳統(tǒng)的TCP/IP有什么區(qū)別呢，接下來我們將做詳細(xì)對(duì)比。

RDMA和TCP/IP

面對(duì)高性能計(jì)算、大數(shù)據(jù)分析等IO高并發(fā)、低時(shí)延應(yīng)用，現(xiàn)有TCP/IP軟硬件架構(gòu)不能滿足應(yīng)用的需求，這主要體現(xiàn)在傳統(tǒng)的TCP/IP網(wǎng)絡(luò)通信是通過內(nèi)核發(fā)送消息，這種通信方式存在很高的數(shù)據(jù)移動(dòng)和數(shù)據(jù)復(fù)制的開銷。RDMA(RemoteDirect Memory Access)技術(shù)全稱遠(yuǎn)程直接內(nèi)存訪問，就是為了解決網(wǎng)絡(luò)傳輸中服務(wù)器端數(shù)據(jù)處理的延遲而產(chǎn)生的。RDMA技術(shù)能直接通過網(wǎng)絡(luò)接口訪問內(nèi)存數(shù)據(jù)，無需操作系統(tǒng)內(nèi)核的介入。這允許高吞吐、低延遲的網(wǎng)絡(luò)通信，尤其適合在大規(guī)模并行計(jì)算機(jī)集群中使用。

圖1-1RDMA和傳統(tǒng)TCP/IP比較

RDMA的種類

目前有三種RDMA網(wǎng)絡(luò)，分別是Infiniband、RoCE(RDMA over Converged Ethernet)、iWARP。

其中，Infiniband是一種專為RDMA設(shè)計(jì)的網(wǎng)絡(luò)，從硬件級(jí)別保證可靠傳輸 ，技術(shù)先進(jìn)，但是成本高昂。而RoCE 和 iWARP都是基于以太網(wǎng)的RDMA技術(shù)，這使高速、超低延時(shí)、極低CPU使用率的RDMA技術(shù)得以部署在目前使用最廣泛的以太網(wǎng)上。

如所示，RoCE協(xié)議有RoCEv1和RoCEv2兩個(gè)版本，RoCEv1是基于以太網(wǎng)鏈路層實(shí)現(xiàn)的RDMA協(xié)議(交換機(jī)需要支持PFC等流控技術(shù)，在物理層保證可靠傳輸)，而RoCEv2是以太網(wǎng)TCP/IP協(xié)議中UDP層實(shí)現(xiàn)，引入IP解決了擴(kuò)展性問題。

圖1-2RDMA網(wǎng)絡(luò)種類

表1-1RoCE和InfiniBand比較

三種RDMA網(wǎng)絡(luò)的特點(diǎn)總結(jié)如下：

InfiniBand：設(shè)計(jì)之初就考慮了 RDMA，從硬件級(jí)別保證可靠傳輸，提供更高的帶寬和更低的時(shí)延。但是成本高，需要支持IB網(wǎng)卡和交換機(jī)。

RoCE：基于 Ethernet 做 RDMA，消耗的資源比 iWARP 少，支持的特性比 iWARP 多?？梢允褂闷胀ǖ囊蕴W(wǎng)交換機(jī)，但是需要支持RoCE的網(wǎng)卡。

iWARP：基于TCP的RDMA網(wǎng)絡(luò)，利用TCP達(dá)到可靠傳輸。相比RoCE，在大型組網(wǎng)的情況下，iWARP的大量TCP連接會(huì)占用大量的內(nèi)存資源，對(duì)系統(tǒng)規(guī)格要求更高?？梢允褂闷胀ǖ囊蕴W(wǎng)交換機(jī)，但是需要支持iWARP的網(wǎng)卡。

分布式存儲(chǔ)中常用的網(wǎng)絡(luò)協(xié)議

IB：常用于DPC場(chǎng)景中的存儲(chǔ)前端網(wǎng)絡(luò)。

RoCE：常用于存儲(chǔ)后端網(wǎng)絡(luò)。

TCP/IP：常用于業(yè)務(wù)網(wǎng)絡(luò)。

關(guān)于RoCE網(wǎng)絡(luò)技術(shù)，請(qǐng)參考“關(guān)于RoCE技術(shù)3種實(shí)現(xiàn)及應(yīng)用”，“高性能計(jì)算：RoCE技術(shù)分析及應(yīng)用”，“高性能計(jì)算：RoCE v2 vs. InfiniBand網(wǎng)絡(luò)該怎么選？”，“面向數(shù)據(jù)中心無損網(wǎng)絡(luò)技術(shù)（IP、RDMA、IB、RoCE、AI Fabric）”，“NVMe over RoCEv2網(wǎng)絡(luò)技術(shù)要求和測(cè)試規(guī)范”。

審核編輯：湯梓紅