0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

內(nèi)存擴展CXL加速發(fā)展,繁榮AI存儲

花茶晶晶 ? 來源:電子發(fā)燒友網(wǎng) ? 作者:黃晶晶 ? 2024-08-18 00:02 ? 次閱讀
電子發(fā)燒友網(wǎng)報道(文/黃晶晶)CXL即Compute Express Link,是一種全新的互連協(xié)議,為各種處理器包括CPUGPU、FPGA、加速器和存儲設(shè)備提供統(tǒng)一接口標(biāo)準(zhǔn),可以有效解決內(nèi)存墻和IO墻的瓶頸。它通過PCI Express的物理層,提供低延遲和高帶寬的連接,旨在支持下一代數(shù)據(jù)中心的高性能計算和內(nèi)存密集型工作負(fù)載。

CXL主要有CXL.io、CXL.cache和CXL.memory三個子協(xié)議,分別處理I/O、緩存一致性和內(nèi)存訪問。PCIe物理層為CXL高效的數(shù)據(jù)傳輸提供技術(shù)底座,CXL.cache和CXL.memory子協(xié)議協(xié)調(diào)處理單元的內(nèi)存一致性,內(nèi)存池化和熱插拔使得數(shù)據(jù)中心可以更靈活地分配和管理內(nèi)存資源。

2019年至今,CXL已經(jīng)發(fā)表了1.0/1.1、2.0、3.0/3.1五個不同的版本,主要針對內(nèi)存池化、內(nèi)存熱插拔、內(nèi)存共享和訪問、以及互連通信能力等進(jìn)行增強優(yōu)化。CXL可擴展內(nèi)存技術(shù)發(fā)展到3.1階段,CXL 3.1是對CXL 3.0版本的漸進(jìn)性的更新,新規(guī)范對橫向擴展 CXL 進(jìn)行了額外的結(jié)構(gòu)改進(jìn)、新的可信執(zhí)行環(huán)境 ehnahcments 以及對內(nèi)存擴展器的改進(jìn)。

面對AI大模型對數(shù)據(jù)處理速度和響應(yīng)時間的要求不斷增長,在處理器、存儲芯片、控制器、模組等廠商的推動下,CXL加速發(fā)展進(jìn)程。

利用CXL內(nèi)存擴展將DDR4 DIMMs“變廢為寶”

今年7月Marvell 宣布推出其突破性的Structura CXL產(chǎn)品系列。該系列是業(yè)界首款支持四個內(nèi)存通道、集成內(nèi)嵌壓縮并采用 5 納米制造工藝的產(chǎn)品。包括Structera A CXL 近內(nèi)存加速器,和 Structera X CXL 內(nèi)存擴展控制器。前者是一類新型設(shè)備,它們集成了服務(wù)器級處理器核心和多個內(nèi)存通道,以應(yīng)對高帶寬內(nèi)存應(yīng)用,例如深度學(xué)習(xí)推薦模型 (DLRM) 和機器學(xué)習(xí)。Structera X CXL 內(nèi)存擴展控制器可以為通用服務(wù)器添加數(shù)TB的超大容量內(nèi)存,應(yīng)對高容量內(nèi)存應(yīng)用的需要,例如內(nèi)存數(shù)據(jù)庫。

Structera A 加速器集成了 16 個 Arm Neoverse V2 核心,優(yōu)化了高內(nèi)存帶寬應(yīng)用的性能,例如 DLRM和ML/AI任務(wù)。DLRM 同時具有稀疏和密集內(nèi)存操作的特點。稀疏操作可能會遇到內(nèi)存墻困境,即內(nèi)存帶寬不足以滿足可用計算的需求。Structera A 2504 加速器是該系列的第一個產(chǎn)品,支持高達(dá) 200 GB/sec內(nèi)存帶寬和 4TB 的內(nèi)存容量。

隨著服務(wù)器的世代更替,預(yù)計在未來幾年內(nèi),數(shù)百萬個仍然具備使用功能的 DDR4 DIMMs 將成為電子廢棄物,因為大部分客戶開始使用具備 DDR5 內(nèi)存模塊的新服務(wù)器替換現(xiàn)有的服務(wù)器。而The Structera X 2404 使客戶可以從退役的通用服務(wù)器中回收他們的 DDR4 DIMMs。

Marvell 表示,使用這些DDR4 DIMMs 來擴展這些服務(wù)器的內(nèi)存容量可以降低每臺通用服務(wù)器數(shù)千美元的資本支出。對退役的 DDR4 DIMMs 進(jìn)行再利用還有助于實現(xiàn)數(shù)據(jù)中心的綠色可持續(xù)性目標(biāo)。

Structera X 2404通過先進(jìn)的CXL技術(shù)不僅重新利用DDR4內(nèi)存條,還可幫助服務(wù)器制造商、數(shù)據(jù)中心運營們減少對更先進(jìn)內(nèi)存的依賴,既能降低采購成本又可擴充內(nèi)存容量。DDR4內(nèi)存再利用,也能夠在一定程度上緩解當(dāng)前DDR5內(nèi)存供不應(yīng)求的形勢。

CXL內(nèi)存模組陸續(xù)量產(chǎn),有望下半年開始爆發(fā)

三星電子存儲部門新業(yè)務(wù)規(guī)劃團(tuán)隊董事總經(jīng)理 Choi Jang-seok近日表示,CXL市場預(yù)計將在今年下半年蓬勃發(fā)展,到2028年CXL市場將迅速增長,CXL將成為存儲器行業(yè)的主流。

早在2021年5月,三星電子開發(fā)出全球首款基于CXL的DRAM技術(shù);2022年推出業(yè)界首款基于CXL 1.1的512GB CXL DRAM;2023年5月開發(fā)出支持CXL 2.0的128GB CXL DRAM;今年第二季度推出支持CXL 2.0的256GB CMM-D產(chǎn)品,計劃今年年底之前批量生產(chǎn)。

今年3月,三星電子透露正研發(fā) CMM-H 混合存儲 CXL模組。該模組同時包含DRAM 內(nèi)存和 NAND 閃存。原型 CMM-H 將配備基于 FPGA 的 CXL 1.1 控制器,采用 E3.L 2T 規(guī)格,最大容量 4TB,最大帶寬 8GB/s。另外,三星第一代CMM-D搭載支持CXL2.0的SoC的,計劃在2025年發(fā)布搭載第二代控制器、容量為128GB的新產(chǎn)品。

對AI服務(wù)器至關(guān)重要的技術(shù)是CXL,它能有效提升系統(tǒng)帶寬和處理能力。SK海力士通過CXL Memory Module-DDR5 4(CMM-DDR5)充分展示了CXL產(chǎn)品的強大優(yōu)勢。與僅采用DDR5的系統(tǒng)相比,它能給系統(tǒng)帶寬和容量帶來極為顯著的提升。

去年8月,美光宣布推出CZ120內(nèi)存擴展模塊,基于CXL2.0Type3標(biāo)準(zhǔn),采用最新的PCIe5.0x8接口,并且外形符合E3.S2T規(guī)格。CZ120內(nèi)存擴展模塊內(nèi)部搭載了Microchip的SMC2000微控制器,并使用了1α工藝節(jié)點生產(chǎn)的DRAM芯片。提供128GB和256GB兩種容量選擇。CZ120內(nèi)存擴展模塊具備出色的帶寬性能,可以提供高達(dá)36GB/s的帶寬。在特定的工作負(fù)載中,如數(shù)據(jù)庫軟件,CZ120內(nèi)存擴展模塊的優(yōu)勢更加明顯。

另外,國內(nèi)廠商方面,今年江波龍展出一款基于Compute?Express?Link?(CXL)技術(shù)的創(chuàng)新內(nèi)存擴展設(shè)備——CXL?2.0?AIC內(nèi)存擴展卡。這款擴展卡采用非DRAM?on-board封裝設(shè)計,可兼容多種容量和規(guī)格的直插式內(nèi)存條。它不僅支持CXL1.1標(biāo)準(zhǔn),實現(xiàn)單個計算節(jié)點服務(wù)器線纜直連的直插式內(nèi)存條擴展,還兼容CXL2.0標(biāo)準(zhǔn),支持多個計算節(jié)點服務(wù)器集群與存儲池線纜直連的直插式內(nèi)存池化,從而滿足多樣化的應(yīng)用場景需求。

小結(jié):

Yole統(tǒng)計顯示,全球CXL市場預(yù)計從2022年的170萬美元增長2028年的150億美元。處理器方面英特爾發(fā)布全新的至強6700E系列處理器,提供了對CXL 2.0技術(shù)的支持。CXL 2.0卻新增了一系列面向安全、合規(guī)、高可靠方面的特性,更適合應(yīng)用在數(shù)據(jù)中心。三星支持CXL 2.0的256GB CMM-D產(chǎn)品也將于今年底前量產(chǎn)。同時,各大廠商都在研發(fā)支持CXL3.0的處理器、CXL DRAM等產(chǎn)品,從而將內(nèi)存擴展內(nèi)存技術(shù)的更多特性帶入數(shù)據(jù)中心,加速CXL的應(yīng)用,畢竟AI對于存儲的需求已時不我待。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 存儲
    +關(guān)注

    關(guān)注

    13

    文章

    4314

    瀏覽量

    85841
  • 內(nèi)存
    +關(guān)注

    關(guān)注

    8

    文章

    3025

    瀏覽量

    74042
  • 2cxl
    +關(guān)注

    關(guān)注

    0

    文章

    5

    瀏覽量

    6412
收藏 人收藏

    評論

    相關(guān)推薦

    拋棄8GB內(nèi)存,端側(cè)AI大模型加速內(nèi)存升級

    電子發(fā)燒友網(wǎng)報道(文/黃晶晶)端側(cè)AI大模型的到來在存儲市場產(chǎn)生了最直接的反應(yīng)。年初在我們對旗艦智能手機的存儲容量統(tǒng)計中,16GB內(nèi)存+512GB
    的頭像 發(fā)表于 11-03 00:02 ?4323次閱讀
    拋棄8GB<b class='flag-5'>內(nèi)存</b>,端側(cè)<b class='flag-5'>AI</b>大模型<b class='flag-5'>加速</b><b class='flag-5'>內(nèi)存</b>升級

    韓國無晶圓廠初創(chuàng)公司Panmnesia展示第一個支持CXLAI集群

    CXLAI集群,以加速用于ChatGPT等服務(wù)的下一代人工智能應(yīng)用RAG,擴大其全球客戶群。 AI競爭的加劇
    的頭像 發(fā)表于 11-28 11:04 ?376次閱讀

    拓展AI數(shù)據(jù)中心內(nèi)存,第二代AMD Versal Premium系列自適應(yīng)SoC,首發(fā)支持CXL 3.1、 PCIe Gen6

    電子發(fā)燒友網(wǎng)報道(文/黃晶晶)在數(shù)據(jù)中心市場,DDR5和CXL內(nèi)存正在成為廣泛采用的主流趨勢。預(yù)計2024年到2029年CXL內(nèi)存的采用將達(dá)到212%的年復(fù)合增長率。如今,現(xiàn)有出貨的半
    的頭像 發(fā)表于 11-14 16:39 ?2267次閱讀
    拓展<b class='flag-5'>AI</b>數(shù)據(jù)中心<b class='flag-5'>內(nèi)存</b>,第二代AMD Versal Premium系列自適應(yīng)SoC,首發(fā)支持<b class='flag-5'>CXL</b> 3.1、 PCIe Gen6

    鎧俠投資360億日元研發(fā)CXL省電存儲

    近日,日本NAND Flash大廠鎧俠宣布,將在未來三年內(nèi)投資360億日元,用于研發(fā)AICXL(Compute Express Link)省電存儲器。此次研發(fā)得到了日本政府的支持,政府將提供最高
    的頭像 發(fā)表于 11-12 11:28 ?366次閱讀

    新思科技CXL 3.1驗證解決方案

    器、內(nèi)存緩沖區(qū)、智能網(wǎng)絡(luò)接口卡、持久存儲器和固態(tài)驅(qū)動器等設(shè)備之間的開放式行業(yè)標(biāo)準(zhǔn)互連接口。CXL基于PCIe靈活的數(shù)據(jù)帶寬提供了緩存一致性和存儲語義,同時實現(xiàn)比PCIe低得多的延時。
    的頭像 發(fā)表于 08-02 14:43 ?594次閱讀
    新思科技<b class='flag-5'>CXL</b> 3.1驗證解決方案

    國數(shù)集聯(lián)發(fā)布業(yè)界首款CXL多級網(wǎng)絡(luò)交換機,IB時代的顛覆者

    、高性能并行計算、AI加速、邊緣計算,以及分布式存儲等多個場景。 國數(shù)集聯(lián)CXL多級網(wǎng)絡(luò)交換機(CMNS) 隨著AI大模型和高性
    的頭像 發(fā)表于 07-31 16:35 ?856次閱讀
    國數(shù)集聯(lián)發(fā)布業(yè)界首款<b class='flag-5'>CXL</b>多級網(wǎng)絡(luò)交換機,IB時代的顛覆者

    宜鼎全面擴充邊緣AI智能應(yīng)用與智能存儲

    解決方案,全面加速產(chǎn)業(yè)應(yīng)用邊緣AI落地 旗下首款工控級CXL內(nèi)存、16TB大容量系列SSD,強化智能邊緣端及數(shù)據(jù)中心建設(shè) 深圳2024年5月31日?/美通社/ -- 全球
    的頭像 發(fā)表于 05-31 15:04 ?293次閱讀
    宜鼎全面擴充邊緣<b class='flag-5'>AI</b>智能應(yīng)用與智能<b class='flag-5'>存儲</b>

    美光HBM3E解決方案,高帶寬內(nèi)存助力AI未來發(fā)展

    美光近期發(fā)布的內(nèi)存存儲產(chǎn)品組合創(chuàng)新備受矚目,這些成就加速AI發(fā)展。美光 8 層堆疊和 12 層堆疊 HBM3E 解決方案提供業(yè)界前
    的頭像 發(fā)表于 05-28 14:08 ?667次閱讀

    業(yè)界首創(chuàng)512GB CXL AIC內(nèi)存擴展卡,江波龍革新AI與高性能計算領(lǐng)域內(nèi)存技術(shù)

    、大吞吐量的浮點運算。在此背景下,江波龍日前在CFMS2024展出了一款基于Compute Express Link (CXL)技術(shù)的創(chuàng)新內(nèi)存擴展設(shè)備——CXL 2.0 AIC
    發(fā)表于 04-17 14:40 ?443次閱讀
    業(yè)界首創(chuàng)512GB <b class='flag-5'>CXL</b> AIC<b class='flag-5'>內(nèi)存</b><b class='flag-5'>擴展</b>卡,江波龍革新<b class='flag-5'>AI</b>與高性能計算領(lǐng)域<b class='flag-5'>內(nèi)存</b>技術(shù)

    FORESEE CXL 2.0內(nèi)存拓展模塊

    ,實現(xiàn)大規(guī)模量產(chǎn)和交付。隨著AI的快速發(fā)展,計算密集型工作負(fù)載對存儲的低延遲、高帶寬提出了前所未有的高要求。ComputeExpressLink(CXL)互連技術(shù)為
    的頭像 發(fā)表于 03-28 08:19 ?716次閱讀
    FORESEE <b class='flag-5'>CXL</b> 2.0<b class='flag-5'>內(nèi)存</b>拓展模塊

    三星研發(fā)CXL混合存儲模組,實現(xiàn)閃存與CPU數(shù)據(jù)直傳

    據(jù)三星展示的圖片顯示,此模組可以通過CXL接口在閃存部分及CPU之間進(jìn)行I/O塊傳輸,也可以運用DRAM緩存和CXL接口達(dá)到64字節(jié)的內(nèi)存I/O傳輸。
    的頭像 發(fā)表于 03-21 14:31 ?841次閱讀

    利用CXL技術(shù)重構(gòu)基于RDMA的內(nèi)存解耦合

    本文提出了一種基于RDMA和CXL的新型低延遲、高可擴展性的內(nèi)存解耦合系統(tǒng)Rcmp。其顯著特點是通過CXL提高了基于RDMA系統(tǒng)的性能,并利用RDMA克服了
    發(fā)表于 02-29 10:05 ?3134次閱讀
    利用<b class='flag-5'>CXL</b>技術(shù)重構(gòu)基于RDMA的<b class='flag-5'>內(nèi)存</b>解耦合

    佰維存儲研發(fā)突破,為AI高性能計算賦能

    近日,佰維存儲在接受調(diào)研時透露,公司近期成功研發(fā)并發(fā)布了支持CXL2.0規(guī)范的CXLDRAM內(nèi)存擴展模塊。這款產(chǎn)品具有支持內(nèi)存容量和帶寬
    的頭像 發(fā)表于 01-23 16:13 ?859次閱讀

    什么是CXL技術(shù)?CXL的三種模式、類型、應(yīng)用

    CXL的目標(biāo):解決CPU和設(shè)備、設(shè)備和設(shè)備之間的內(nèi)存鴻溝。服務(wù)器有巨大的內(nèi)存池和數(shù)量龐大的基于PCIe運算加速器,每個上面都有很大的內(nèi)存。
    的頭像 發(fā)表于 01-11 16:53 ?2187次閱讀
    什么是<b class='flag-5'>CXL</b>技術(shù)?<b class='flag-5'>CXL</b>的三種模式、類型、應(yīng)用

    三星與Red Hat成功驗證CXL內(nèi)存在真實用戶環(huán)境中的運行

    CXL因具備強大的接口功能,實現(xiàn)了CPU、GPU以及內(nèi)存之間的快速連接,被廣泛應(yīng)用于生成式人工智能、自動駕駛及內(nèi)存數(shù)據(jù)庫等項目。利用現(xiàn)有的設(shè)備體系,CXL可大幅度地提高速度、降低延遲并
    的頭像 發(fā)表于 01-04 11:46 ?364次閱讀