rdma

以太網(wǎng)RDMA RoCE的技術(shù)局限

上期我們講到了RDMA的WHY，WHAT & HOW(AI網(wǎng)絡(luò)背景下RDMA的Why，What & How)，這一期我們來(lái)談一談RDMA的不足。

2024-10-22 標(biāo)簽：以太網(wǎng)網(wǎng)絡(luò)AI 500 0

IB Verbs和NVIDIA DOCA GPUNetIO性能測(cè)試

NVIDIA DOCA GPUNetIO 是 NVIDIA DOCA SDK 中的一個(gè)庫(kù)，專(zhuān)門(mén)為實(shí)時(shí)在線 GPU 數(shù)據(jù)包處理而設(shè)計(jì)。它結(jié)合了 GPUDi...

2024-08-23 標(biāo)簽：以太網(wǎng)NVIDIAgpu 658 0

基于RDMA技術(shù)的Mayastor解決方案

1.? 方案背景和挑戰(zhàn) 1.1. Mayastor簡(jiǎn)介 OpenEBS是一個(gè)廣受歡迎的開(kāi)源云原生存儲(chǔ)解決方案，托管于CNCF（云原生計(jì)算基金會(huì)）之下，旨...

2024-08-20 標(biāo)簽：云計(jì)算DPURDMA 1293 0

深度解讀RoCE v2的核心技術(shù)原理

RoCE v2是一種專(zhuān)為實(shí)現(xiàn)以太網(wǎng)環(huán)境下低延遲、高吞吐量數(shù)據(jù)傳輸而設(shè)計(jì)的RDMA協(xié)議。相較于涉及多重處理層次的傳統(tǒng)數(shù)據(jù)傳輸方式，RoCE v2實(shí)現(xiàn)了系統(tǒng)...

2024-04-29 標(biāo)簽：cpu數(shù)據(jù)傳輸網(wǎng)絡(luò)交換機(jī) 4946 0

RDMA在高速網(wǎng)絡(luò)中的應(yīng)用及其實(shí)現(xiàn)策略

在大型模型應(yīng)用領(lǐng)域，要獲得最佳性能，關(guān)鍵在于精密配置，特別是當(dāng)GPU與InfiniBand網(wǎng)卡協(xié)同工作時(shí)。這里參考了合作伙伴NVIDIA推出的DGX系統(tǒng)...

2024-04-22 標(biāo)簽：cpugpu適配器 672 0

什么是內(nèi)存語(yǔ)義？CXL是如何劃分語(yǔ)義的

從IB提供的具體操作來(lái)看，Send/Receive，RDMA_Read，RDMA_Write和ATOMIC操作實(shí)際上都是針對(duì)內(nèi)存的操作，所不同的是，Se...

2024-04-08 標(biāo)簽：內(nèi)存人工智能傳輸層 6093 0

RDMA技術(shù)在Apache Spark中的應(yīng)用

背景介紹 在當(dāng)今數(shù)據(jù)驅(qū)動(dòng)的時(shí)代，Apache?Spark已經(jīng)成為了處理大規(guī)模數(shù)據(jù)集的首選框架。作為一個(gè)開(kāi)源的分布式計(jì)算系統(tǒng)，Spark因其高效的大數(shù)據(jù)處...

2024-03-25 標(biāo)簽：數(shù)據(jù)集RDMASPARK 1562 0

利用CXL技術(shù)重構(gòu)基于RDMA的內(nèi)存解耦合

本文提出了一種基于RDMA和CXL的新型低延遲、高可擴(kuò)展性的內(nèi)存解耦合系統(tǒng)Rcmp。其顯著特點(diǎn)是通過(guò)CXL提高了基于RDMA系統(tǒng)的性能，并利用RDMA克...

2024-02-29 標(biāo)簽：數(shù)據(jù)中心PCIe通信機(jī)制 3387 0

高性能存儲(chǔ)實(shí)現(xiàn)新突破的英特爾至強(qiáng)處理器

基于第四代英特爾 至強(qiáng) 可擴(kuò)展處理器的 Curve 高性能分布式存儲(chǔ)方案在吞吐、時(shí)延、TCO 等方面具備出色優(yōu)勢(shì)，能夠?yàn)榻鹑凇⒒ヂ?lián)網(wǎng)、交通、能源等各行業(yè)...

2024-02-26 標(biāo)簽：處理器英特爾RDMA 518 0

TCP發(fā)展受阻的原因是什么呢？RDMA和Linux TCP技術(shù)解析

在考慮今天如何開(kāi)始時(shí)，我回顧了一下這兩天關(guān)于硬件和軟件之間分歧的主題演講。主要探討了擁塞控制如何在這個(gè)不斷發(fā)展的領(lǐng)域中增長(zhǎng)和演變。

2024-02-20 標(biāo)簽：加速器LinuxTCP 1133 0

RDMA RNIC虛擬化方案

遠(yuǎn)程直接內(nèi)存訪問(wèn)（Remote Direct Memory Access，RDMA）技術(shù)允許應(yīng)用程序繞過(guò)操作系統(tǒng)內(nèi)核，以零拷貝的方式和遠(yuǎn)程計(jì)算機(jī)進(jìn)行網(wǎng)絡(luò)...

2024-01-23 標(biāo)簽：cpu計(jì)算機(jī)內(nèi)存 2102 0

一文詳解DCQCN擁塞控制算法

DCQCN 是一種基于速率的端到端擁塞協(xié)議，它建立在 QCN 和 DCTCP 之上。DCQCN 的大部分功能是現(xiàn)在網(wǎng)卡上（而不是交換機(jī)上，或者操作系統(tǒng)上）。

2024-01-23 標(biāo)簽：cpu數(shù)據(jù)中心TCP 6817 0

阿里云是如何使用RDMA技術(shù)

在大規(guī)模incast場(chǎng)景下DCQCN并不能很好的工作，具體體現(xiàn)在： DCQCN是一種被動(dòng)控制，在CC起作用之前可能已經(jīng)出現(xiàn)了性能下降（比如ECN報(bào)文...

2024-01-11 標(biāo)簽：以太網(wǎng)IP協(xié)議數(shù)據(jù)中心 1650 0

深入了解RDMA技術(shù)

Explorer，專(zhuān)注于高性能網(wǎng)絡(luò)、虛擬化網(wǎng)絡(luò)及網(wǎng)卡的測(cè)試方案研究。熟悉dpdk，rdma，sdn等技術(shù)的應(yīng)用與解決方案。

2023-12-26 標(biāo)簽：數(shù)據(jù)傳輸網(wǎng)卡AI 1934 0

RDMA和TCP/IP有什么區(qū)別

在分布式存儲(chǔ)網(wǎng)絡(luò)中，我們使用的協(xié)議有RoCE、Infiniband（IB）和TCP/IP。其中RoCE和IB屬于RDMA (RemoteDirect M...

2023-11-30 標(biāo)簽：網(wǎng)絡(luò)協(xié)議TCPRDMA 1949 0

基于V682-SONiC交換機(jī)的實(shí)現(xiàn)網(wǎng)絡(luò)丟包檢測(cè)的可視化

網(wǎng)絡(luò)丟包是網(wǎng)絡(luò)通信中較為常見(jiàn)的故障，越早獲取到丟包信息和丟包原因才可能越早進(jìn)行排障。SONiC的drop counter功能可以將交換芯片對(duì)丟包信息的監(jiān)...

2023-11-09 標(biāo)簽：交換機(jī)數(shù)據(jù)中心網(wǎng)絡(luò)通信 1404 0

交換機(jī)技術(shù)趨勢(shì)分析：以太網(wǎng)交換機(jī)vsIB交換機(jī)

根據(jù)IDC數(shù)據(jù)，2021年中國(guó)交換機(jī)市場(chǎng)前五大品牌廠商分別為華為、新華三、銳捷網(wǎng)絡(luò)、思科和邁普技術(shù)，其市場(chǎng)份額分別為40.0%、36.2%、12.2%、...

2023-11-08 標(biāo)簽：以太網(wǎng)交換機(jī)路由器 7018 0

RDMA(遠(yuǎn)程直接內(nèi)存訪問(wèn))傳輸協(xié)議概述和應(yīng)用案例

人工智能 (AI) 的興起極大地提高了對(duì)強(qiáng)大、高效和可擴(kuò)展的網(wǎng)絡(luò)傳輸協(xié)議的需求。本文深入探討了 RDMA（遠(yuǎn)程直接內(nèi)存訪問(wèn)）傳輸協(xié)議，并重點(diǎn)討論 ROC...

2023-10-25 標(biāo)簽：AITCP人工智能 2890 0

基于Corundum架構(gòu)的100G RDMA網(wǎng)卡設(shè)計(jì)

傳統(tǒng)TCP/IP技術(shù)處理數(shù)據(jù)包需通過(guò)操作系統(tǒng)和其他軟件層，導(dǎo)致數(shù)據(jù)在系統(tǒng)內(nèi)存、處理器緩存和網(wǎng)絡(luò)控制器緩存間頻繁復(fù)制，增加了服務(wù)器CPU和內(nèi)存的負(fù)擔(dān)，特別...

2023-10-24 標(biāo)簽：內(nèi)存網(wǎng)卡Verilog 1397 0