介紹一種具備RDMA功能的FPGA網(wǎng)卡實現(xiàn)方案—RNIC

傳統(tǒng)TCP/IP技術(shù)處理數(shù)據(jù)包需通過操作系統(tǒng)和其他軟件層，導(dǎo)致數(shù)據(jù)在系統(tǒng)內(nèi)存、處理器緩存和網(wǎng)絡(luò)控制器緩存間頻繁復(fù)制，增加了服務(wù)器CPU和內(nèi)存的負擔(dān)，特別是在網(wǎng)絡(luò)帶寬、處理器速度與內(nèi)存帶寬不匹配時，網(wǎng)絡(luò)延遲會進一步加劇。RDMA技術(shù)通過將數(shù)據(jù)處理從CPU旁路并卸載到硬件上來實現(xiàn)低時延和高帶寬特性。

基于這一研究背景，介紹一種具備RDMA功能的FPGA網(wǎng)卡實現(xiàn)方案—RNIC 。本方案以Corundum開源高性能原型平臺為基礎(chǔ), 實現(xiàn)了100Gbps的RoCE v2網(wǎng)絡(luò)協(xié)議棧卸載加速；在保留Corundum原生PCIe DMA引擎等組件的基礎(chǔ)上，通過精準的拆分設(shè)計、邏輯耦合和路徑復(fù)用，將RoCE v2網(wǎng)絡(luò)協(xié)議棧嵌入以太網(wǎng)網(wǎng)卡設(shè)計。方案支持單邊RDMA READ和RDMA WRITE操作、雙邊SEND/RECV操作以及立即數(shù)操作，提供Back-to-N的重傳機制保障數(shù)據(jù)傳輸完整性的同時提供了可達256的Outstanding能力, 并支持基于DCQCN算法的擁塞控制機制為本方案在數(shù)據(jù)中心等場景的大規(guī)模部署提供保障。實測RNIC能夠?qū)崿F(xiàn)低至4us左右的硬件端到端延遲以及高達96Gbps的吞吐量。

我們實現(xiàn)的100G RDMA網(wǎng)卡具體指標和性能如下：

測試場景及拓撲連接圖如下。

TCP測試結(jié)果如下。

TCP性能表現(xiàn)：實測在Linux系統(tǒng)環(huán)境下，端到端連接拓撲，當(dāng)MTU=9214B，不進行多核優(yōu)化時，本方案的iperf TCP帶寬可達59.7G bps；CPU占用率為12%左右 ; TCP/IP協(xié)議普遍延遲在100–200微秒之間。

TCP測試分析：性能開銷集中在內(nèi)核協(xié)議棧的系統(tǒng)調(diào)用、內(nèi)存拷貝、協(xié)議處理與中斷處理等方面。這些開銷占用了大量的CPU 資源，增加了數(shù)據(jù)延遲。

RDMA測試結(jié)果如下。

RDMA性能表現(xiàn)：在Linux系統(tǒng)環(huán)境下，相同測試拓撲，使用配套驅(qū)動程序和應(yīng)用程序發(fā)送RDMA命令進行測試。本方案的RDMA網(wǎng)卡實測單邊RDMA語義讀寫帶寬可達96.28G bps；CPU占用率不超過0.3%；硬件端到端讀寫延遲低至4us左右。

RDMA測試分析：當(dāng)消息大小大于8KB時，系統(tǒng)吞吐量可以逼近滿帶寬，當(dāng)消息較小時，吞吐量會顯著降低。原因一方面是數(shù)據(jù)幀幀頭開銷占比上升導(dǎo)致有效帶寬下降，另一方面在于硬件設(shè)計無法支撐更高的消息速率。時延會隨消息大小出現(xiàn)近似線性的增長，最大的延遲花費在PCIe鏈路和網(wǎng)絡(luò)鏈路上，硬件的處理開銷占比很小。

對比以太網(wǎng)和RDMA的測試結(jié)果可知，在相同的硬件條件下，使用RDMA技術(shù)的網(wǎng)卡可以擁有更高的網(wǎng)絡(luò)帶寬和更低的傳輸時延，對于云服務(wù)、數(shù)據(jù)中心等具有高吞吐量的網(wǎng)絡(luò)業(yè)務(wù)需求場景，RDMA技術(shù)更能滿足實際需要，能充分解放處理器資源，提高帶寬，降低成本。

下面視頻詳細介紹實際測試情況：

我們未來有很多工作要做，如添加我們之前做的P4可編程的工作（【Verilog開源】一種用于智能網(wǎng)卡或可編程交換機的，支持P4語言的高性能開源解析器的設(shè)計），突破Corundum架構(gòu)限制支持百萬QP對和提升小包性能，進一步優(yōu)化流量控制、擁塞管理和負載均衡等問題，進一步的提高數(shù)據(jù)中心網(wǎng)絡(luò)的數(shù)據(jù)傳輸速率和穩(wěn)定性。

?








審核編輯：劉清