NVIDIA ConnectX智能網(wǎng)卡驅(qū)動RDMA通訊技術(shù)在分布式存儲的應(yīng)用

NVIDIA ConnectX 智能網(wǎng)卡及開源 UCX 框架幫助網(wǎng)易高性能 RDMA 網(wǎng)絡(luò)通訊功能實現(xiàn)更優(yōu)表現(xiàn)，助力網(wǎng)易通過 Curve 開源項目為 Apache BRPC 自主實現(xiàn)高性能的 RDMA 網(wǎng)絡(luò)通訊。

網(wǎng)易亟需打造一款高吞吐和低延遲的分布式存儲系統(tǒng)

如何為用戶提供性能優(yōu)異、易于部署的分布式存儲系統(tǒng)，特別是如何在遠(yuǎn)程訪問存儲時提高吞吐和降低延遲是網(wǎng)易面臨的主要挑戰(zhàn)。雖然在自研的 Curve 開源項目下已經(jīng)支持了 Apache BRPC ，并具備了一定的遠(yuǎn)程方位存儲的網(wǎng)絡(luò)通訊能力，但是并未實現(xiàn)對 RDMA 網(wǎng)絡(luò)通訊的支持，并借助 RDMA 網(wǎng)絡(luò)通訊能力來實現(xiàn)高吞吐和低延遲，從而提升整體開源云原生分布式存儲系統(tǒng)的性能。

NVIDIA ConnectX 智能網(wǎng)卡

為網(wǎng)易 Curve 開源項目提供解決方案

網(wǎng)易的 Curve 開源項目下支持 Apache BRPC ，并自研實現(xiàn)了 RDMA 網(wǎng)絡(luò)通訊功能，而其采用的 NVIDIA ConnectX 智能網(wǎng)卡及開源 UCX 框架的底層軟硬件基礎(chǔ)設(shè)施，幫助其更好地為用戶提供兼顧高性能、易運維、低成本的彈性分布式存儲解決方案。 Curve 是云原生計算基金會（CNCF）沙箱（Sandbox）項目，它是網(wǎng)易主導(dǎo)自研和開源的高性能、易運維、云原生的分布式存儲系統(tǒng)，由塊存儲 CurveBS 和文件系統(tǒng) CurveFS 兩部分組成，可應(yīng)用于主流的云原生基礎(chǔ)設(shè)施平臺：

對接 OpenStack 平臺為云主機提供高性能塊存儲服務(wù)；

對接 Kubernetes 為其提供 RWO 、RWX 等類型的持久化存儲卷；

對接 PolarFS 作為云原生數(shù)據(jù)庫的高性能存儲底座，完美支持云原生數(shù)據(jù)庫的存算分離架構(gòu)。

Curve 亦可作為云存儲中間件，使用與 S3 兼容的對象存儲作為數(shù)據(jù)存儲引擎，為公有云用戶提供高性價比的共享文件存儲系統(tǒng)。 網(wǎng)易致力于通過 Curve 開源項目自主研發(fā)云原生的分布式存儲系統(tǒng)，為不同應(yīng)用場景下的存儲需求，提供大容量、高性能、易運維、低成本的開源彈性存儲解決方案。而其最新為 BRPC 自研的 RDMA 網(wǎng)絡(luò)通訊功能，將會極大的簡化 RDMA 網(wǎng)絡(luò)通訊的實現(xiàn)和提升遠(yuǎn)程存儲訪問的性能，為 Curve 開源項目提供高性能、低延遲的本地和遠(yuǎn)程存儲訪問體驗，同時提供良好的上層 API 兼容性和透明性，使 Curve 成為更為完善的云原生分布式存儲系統(tǒng)，從而驅(qū)動其在開源的分布式存儲領(lǐng)域得到廣泛的應(yīng)用。

NVIDIA ConnectX 智能網(wǎng)卡

助力 RDMA 網(wǎng)絡(luò)通訊功能發(fā)揮優(yōu)異性能

該 RDMA 網(wǎng)絡(luò)通訊功能完美的運行在采用 NVIDIA ConnectX 智能網(wǎng)卡及開源 UCX 框架（NVIDIA 是開源項目 UCX 的核心成員和主要貢獻(xiàn)者）的底層軟硬件基礎(chǔ)設(shè)施上，將會發(fā)揮出更優(yōu)異的性能表現(xiàn)，滿足用戶對分布式存儲系統(tǒng)高性能、低延遲的需求，并大幅降低主機 CPU 開銷，為用戶提供兼顧高性能、易運維、低成本的彈性分布式存儲解決方案。 具體來說，網(wǎng)易在 NVIDIA Connect X 智能網(wǎng)卡的驅(qū)動下實現(xiàn) UCX 框架中的 UCP（Unified Communication for Protocols）：

極大簡化了 RDMA 網(wǎng)絡(luò)通訊在分布式存儲應(yīng)用場景下的實現(xiàn)，且支持的 RDMA 接口具有良好的 API 兼容性

基于高性能的 NVIDIA ConnectX 智能網(wǎng)卡，將實現(xiàn)更為出色的 RDMA 網(wǎng)絡(luò)通訊性能，IO 時延得到極大改善

即時將 RDMA 網(wǎng)絡(luò)通訊能力體現(xiàn)在 Curve 后續(xù)的開源軟件版本中，驅(qū)動云原生分布式存儲系統(tǒng)的廣泛應(yīng)用

如今，Curve 開源項目的 RDMA 網(wǎng)絡(luò)通訊功能已經(jīng)實現(xiàn)，將會在后續(xù)的 Curve 版本中發(fā)布。想要深入了解網(wǎng)易是如何為 BRPC 實現(xiàn) RDMA 網(wǎng)絡(luò)通訊功能，請點擊“閱讀全文”。

審核編輯：湯梓紅