CXL將如何改變數(shù)據(jù)中心

今日，OpenCAPI 和 CXL 將發(fā)布聯(lián)合公告，表示這兩個集團將聯(lián)手，OpenCAPI 標(biāo)準(zhǔn)和財團的資產(chǎn)將轉(zhuǎn)移到 CXL 財團。通過這種集成，CXL 將成為主導(dǎo)的 CPU 到設(shè)備互連標(biāo)準(zhǔn)，因為幾乎所有主要制造商現(xiàn)在都支持該標(biāo)準(zhǔn)，而競爭標(biāo)準(zhǔn)已經(jīng)退出競爭并被 CXL 吸收。

比CXL 面世還早的OpenCAPI 是緩存一致 CPU 互連的早期標(biāo)準(zhǔn)之一。該標(biāo)準(zhǔn)由 AMD、Xilinx 和 IBM 等公司提供支持，是 IBM 現(xiàn)有的相干加速器處理器接口 （Coherent Accelerator Processor Interface ：CAPI） 技術(shù)的擴展，向業(yè)界其他公司開放，并將其控制在行業(yè)聯(lián)盟之下。在過去六年中，OpenCAPI 的使用量不大，最引人注目的是在 IBM 的 POWER9 處理器系列中實現(xiàn)。與類似的 CPU 到設(shè)備互連標(biāo)準(zhǔn)一樣，OpenCAPI 本質(zhì)上是現(xiàn)有高速 I/O 標(biāo)準(zhǔn)之上的應(yīng)用程序擴展，添加了緩存一致性和更快（更低延遲）訪問模式等內(nèi)容，以便 CPU 和加速器可以更多地協(xié)同工作盡管它們的物理分解很緊密。

但是，作為解決這個問題的幾個競爭標(biāo)準(zhǔn)之一，OpenCAPI 從未在業(yè)界引起轟動。作為一個誕生于IBM 的標(biāo)準(zhǔn)，在推進過程中，IBM 在服務(wù)器領(lǐng)域的份額一直在下降，但IBM 扔起是其最大的用戶。甚至像 AMD 這樣的新興聯(lián)盟成員也最終跳過了這項技術(shù)，例如利用他們自己的 Infinity Fabric 架構(gòu)來實現(xiàn) AMD 服務(wù)器 CPU/GPU 連接。這使得 OpenCAPI 沒有強大的擁護者——也沒有龐大的用戶群來推動事情的發(fā)展。

最終，為了制造商和客戶的利益，更廣泛的行業(yè)希望在單一互連標(biāo)準(zhǔn)背后進行整合，這將互連戰(zhàn)爭推向了高潮。隨著 Compute Express Link （CXL） 迅速成為明顯的贏家，OpenCAPI 聯(lián)盟退出并被 CXL 吸收。

根據(jù)擬議交易的條款——等待必要方的批準(zhǔn)——OpenCAPI 聯(lián)盟的資產(chǎn)和標(biāo)準(zhǔn)將轉(zhuǎn)移給 CXL 聯(lián)盟。這將包括來自 OpenCAPI 的所有相關(guān)技術(shù)，以及該組織鮮為人知的開放內(nèi)存接口 （OMI） 標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)允許通過 OpenCAPI 的物理總線將 DRAM 連接到系統(tǒng)。本質(zhì)上，CXL 聯(lián)盟將吸收 OpenCAPI；雖然出于顯而易見的原因他們不會繼續(xù)開發(fā)，但轉(zhuǎn)移意味著 OpenCAPI 的任何有用技術(shù)都可以集成到 CXL 的未來版本中，從而加強整個生態(tài)系統(tǒng)。

隨著 OpenCAPI 兼并到 CXL，這使得英特爾支持的標(biāo)準(zhǔn)成為主導(dǎo)的互連標(biāo)準(zhǔn)——以及行業(yè)未來的事實標(biāo)準(zhǔn)。競爭的Gen-Z 標(biāo)準(zhǔn)在今年早些時候同樣被 CXL 吸收，而 CCIX 標(biāo)準(zhǔn)已被拋在后面，其主要支持者近年來加入了 CXL 聯(lián)盟。因此，即使第一批支持 CXL 的 CPU 還沒有發(fā)貨，在這一點上，CXL 已經(jīng)清除了障礙，可以說，成為從加速器 I/O （CXL.io） 到內(nèi)存擴展的所有方面的唯一剩余服務(wù)器 CPU 互連標(biāo)準(zhǔn)通過 PCIe 總線。

在發(fā)布新聞稿中，雙方表示，計算行業(yè)正在經(jīng)歷重大變革。特定于應(yīng)用程序的硬件加速正變得司空見慣，新的內(nèi)存技術(shù)正在影響計算的經(jīng)濟性。為了滿足對開放架構(gòu)的需求，以允許全行業(yè)參與，OpenCAPI 聯(lián)盟 （OCC） 成立于 2016 年。定義的架構(gòu)允許任何微處理器連接到一致的用戶級加速器、高級存儲器，并且與處理器架構(gòu)。2021 年，OCC 宣布了開放內(nèi)存接口 （OMI）。OMI 是基于 OpenCAPI 的串行連接近存儲器接口，可為主存儲器提供低延遲和高帶寬連接。

2019 年，Compute Express Link （CXL） 聯(lián)盟成立，旨在為處理器、內(nèi)存擴展和加速器提供行業(yè)支持的高速緩存一致性互連。2020 年，CXL 和 Gen-Z 聯(lián)盟宣布了在各自技術(shù)之間實施互操作性的計劃，并在 2022 年初，Gen-Z 將其規(guī)范和資產(chǎn)轉(zhuǎn)讓給了 CXL 聯(lián)盟。

秉承這一精神，OpenCAPI 宣布，OCC和CXL正在達成協(xié)議，如果各方批準(zhǔn)并同意，將把 OpenCAPI 和 OMI 規(guī)范以及 OpenCAPI 聯(lián)盟資產(chǎn)轉(zhuǎn)讓給 CXL 聯(lián)盟。

“我們很高興看到業(yè)界圍繞一個推動開放式創(chuàng)新并利用 OpenCAPI 和開放式內(nèi)存接口提供一致互連和低延遲、接近內(nèi)存接口的價值的組織聚集在一起。我們預(yù)計這將為行業(yè)帶來最佳的業(yè)務(wù)成果，因為一個整體和財團的成員?！監(jiān)penCAPI 聯(lián)盟主席Bob Szabo指出。

“我們很高興有機會將行業(yè)重點放在一個組織下的規(guī)范上。這是我們共同成員共同努力推進標(biāo)準(zhǔn)高速相干互連/結(jié)構(gòu)以造福行業(yè)的正確時機。 OCC 資產(chǎn)的分配將允許 CXL 聯(lián)盟自由使用 OCC 已經(jīng)通過 OpenCAPI/OMI 開發(fā)的內(nèi)容。”CXL 聯(lián)盟主席 Siamak Tavallaei補充說。

前情提要：CXL 吸收 GEN-Z

在2021年11月，CXL 宣布，將吸收GEN-Z標(biāo)準(zhǔn)共同發(fā)展。

在 IT 行業(yè)中，相互競爭的團體為了共同利益和各地系統(tǒng)的改進而共同努力，這是一個司空見慣的事情，CXL 聯(lián)盟吸收了 Gen-Z 聯(lián)盟也是如此。

資料顯示，制造商 AMD、架構(gòu)設(shè)計公司ARM、兩家服務(wù)器供應(yīng)商戴爾和 HPE、內(nèi)存制造商美光和 FPGA 專家賽靈思自 2016 年以來一直在開發(fā) Gen-Z，以便通過協(xié)議處理器、PCI- Express 內(nèi)存和加速器進行通信。

然而，Gen-Z 聯(lián)盟缺少兩個重要的名字：英特爾和英偉達。雖然英偉達最終在 2020 年 8 月加入該聯(lián)盟。但英特爾推出了相互競爭的互連 Compute Express Link （CXL），改聯(lián)盟的支持者有阿里巴巴、思科、戴爾 EMC、Facebook、谷歌、HPE、華為和微軟。

當(dāng) AMD、ARM、IBM、Nvidia 和 Xilinx 于 2019 年夏末加入Gen-Z聯(lián)盟時，我們能明顯察覺到它們將面臨困難時期。兩個財團隨后相互合作——但自 2020 年 5 月以來沒有發(fā)布任何新聞稿，Gen-Z也沉默了?，F(xiàn)在，Gen-Z 想要完全停止自己的開發(fā)，將這個領(lǐng)域留給 CXL。

從CXL支持者提供的消息可以看到，GenZ的做法是希望將所有規(guī)格和資產(chǎn)轉(zhuǎn)移到CXL聯(lián)盟，但這仍需要各方的同意。值得一提的是，在CXL吸收Gen-Z的時候，行業(yè)內(nèi)仍有 CCIX 和 OpenCAPI與之競爭，但行業(yè)正在朝著 CXL 方向發(fā)展?，F(xiàn)在吸收了OpenCAPI之后，只剩下CCIX最后一個在堅持。

AMD 的 Infinity Fabric 專門用于將其自己的 Eypc 處理器與 Instinct 加速器耦合，就像 Nvidia 的 NV-Link 與 IBM 的 Power CPU 及其自己的 GPU 加速器（如 A100）一樣。

英特爾即將推出的用于服務(wù)器的處理器系列 Sapphire Rapids 是第一代能夠處理 CXL，它在第一次迭代中基于 PCI Express 5.0，但希望快速切換到 PCIe 6.0 以獲得更高的傳輸速率。AMD 緊隨其后的是 CPU 系列 Epyc 7004，別名 Genoa。三星已經(jīng)宣布 CXL 內(nèi)存擴展器為 PCIe DRAM。

從某種角度看，再現(xiàn)上世紀(jì)80年代末和90年代初的總線大戰(zhàn)會很有趣。供應(yīng)商之間為爭奪他們所控制的標(biāo)準(zhǔn)而進行的斗爭最終導(dǎo)致了PCI-X和PCI-Express總線的創(chuàng)建，這些總線以及分支InfiniBand interconnect在服務(wù)器領(lǐng)域占據(jù)了20年的主導(dǎo)地位，以及分支InfiniBand interconnect，它最初是作為一個通用的交換結(jié)構(gòu)來連接高帶寬和低延遲的所有東西。這可能要比其他情況下花費更長的時間——改寫歷史是很困難的。

CXL 將如何改變數(shù)據(jù)中心

據(jù)The Register報道，Compute Express Link （CXL） 有可能從根本上改變系統(tǒng)和數(shù)據(jù)中心的構(gòu)建和運營方式。經(jīng)過 190 多家公司的多年聯(lián)合開發(fā)，開放標(biāo)準(zhǔn)幾乎已準(zhǔn)備好迎接黃金時間。

對于那些不熟悉的人，CXL 定義了一個通用的、緩存一致的接口，用于連接 CPU、內(nèi)存、加速器和其他外圍設(shè)備。在接受The Register采訪的時候，CXL 董事長兼英特爾技術(shù)計劃總監(jiān) Jim Pappas表示，該標(biāo)準(zhǔn)對數(shù)據(jù)中心的影響是廣泛的。

因此，第一批 CXL 兼容系統(tǒng)預(yù)計將在今年晚些時候與英特爾的 Sapphire Rapids Xeon Scalables 和 AMD 的 Genoa 第四代 Epycs 一起推出，我們詢問了Pappas，問他預(yù)計 CXL 將如何在短期內(nèi)改變行業(yè)。

根據(jù) Pappas 的說法，CXL 的首批實現(xiàn)之一可能涉及系統(tǒng)內(nèi)存。他解釋說，到目前為止，只有兩種方法可以將更多內(nèi)存附加到加速器上。要么添加更多 DDR 內(nèi)存通道以支持更多模塊，要么必須將其直接集成到加速器或 CPU 封裝中。

“你不能將內(nèi)存放在 PCIe 總線上，”但使用 CXL，你可以，Pappas 說?！癈XL 是為加速器設(shè)計的，但它也被設(shè)計為具有內(nèi)存接口。我們從一開始就知道這可以用作內(nèi)存的不同端口。”

無需使用更多或更大的內(nèi)存模塊填充系統(tǒng)，而是可以通過使用 PCIe 和 CXL 通用接口的卡安裝額外的內(nèi)存。并且由于 CXL 2.0 規(guī)范中引入的簡單交換系統(tǒng)，包括內(nèi)存在內(nèi)的資源可以被多個系統(tǒng)同時池化和訪問。

重要的是要注意，在這種配置中，只有資源本身而不是內(nèi)存的內(nèi)容在主機之間共享，Pappas 強調(diào)?！懊總€內(nèi)存區(qū)域最多屬于一個相干域。我們不是要共享內(nèi)存；這變得更加復(fù)雜。”

另一個用例涉及分層內(nèi)存架構(gòu)，其中系統(tǒng)利用封裝上的高帶寬內(nèi)存、直接連接到 CPU 的相當(dāng)大的快速 DDR5 內(nèi)存池，以及通過 CXL 模塊連接的更大的慢速內(nèi)存池。

根據(jù) Pappas 的說法，內(nèi)存池和分層內(nèi)存對數(shù)據(jù)中心和云運營商有影響。“云客戶面臨的最大問題是他們的第一大支出是內(nèi)存。他們大約 50%的設(shè)備支出用于內(nèi)存，”他說。

通過池化這些內(nèi)存，Pappas 認(rèn)為運營商可以通過減少閑置的內(nèi)存量來實現(xiàn)巨大的成本節(jié)約。Pappas 說，由于池化或分層內(nèi)存的行為與連接到 CPU 的系統(tǒng)內(nèi)存沒有任何不同，因此無需修改應(yīng)用程序即可利用這些技術(shù)。如果應(yīng)用程序“要求更多內(nèi)存，那么現(xiàn)在基本上是無限供應(yīng)”。

這項技術(shù)也不是理論上的。內(nèi)存池和分層內(nèi)存是 CXL 初創(chuàng)公司 Tanzanite Silicon Solutions 在今年五月被 Marvell Technologies 收購之前正在研究的幾項技術(shù)之一。Marvell 認(rèn)為，該技術(shù)將證明對實現(xiàn)真正可組合的基礎(chǔ)設(shè)施至關(guān)重要，而到目前為止，這些基礎(chǔ)設(shè)施在很大程度上僅限于計算和存儲。

Pappas 還希望 CXL 通過在 CPU、AI 加速器和/或 GPU 之間建立比目前通過 PCIe 實現(xiàn)的更密切的關(guān)系，從而使 AI/ML 工作負(fù)載受益。

在基本層面上，CPU 與外圍設(shè)備（如 GPU）交互的方式是通過 PCIe 總線來回發(fā)送加載/存儲指令。CXL 消除了這個瓶頸，使指令能夠在加速器和主機之間進行流式傳輸。

“這與雙處理器系統(tǒng)中發(fā)生的情況非常相似，其中高速緩存在處理器之間保持一致。我們正在將其擴展到加速器，”Pappas說。

將這種緩存一致性擴展到 CPU 以外的加速器絕非易事或新想法。

他告訴我們，英特爾和其他公司過去曾嘗試過為加速器開發(fā)標(biāo)準(zhǔn)化互連，但都失敗了。部分問題是與這些互連相關(guān)的復(fù)雜性在組件之間共享，這使得將它們擴展到第三方非常困難?！爱?dāng)我們在英特爾嘗試這樣做時，它非常復(fù)雜，幾乎沒有人，基本上沒有人能夠真正讓它發(fā)揮作用，”Pappas透露。他認(rèn)為，對于 CXL，基本上所有的復(fù)雜性都包含在主機 CPU 中。

這種不對稱的復(fù)雜性并非沒有權(quán)衡，但 Pappas 認(rèn)為它們非常值得。這些以應(yīng)用程序親和性的形式出現(xiàn)，特別是哪個加速器獲得對緩存或內(nèi)存的優(yōu)先訪問權(quán)，哪個必須扮演次要角色。

Pappas 聲稱，這在一定程度上得到了緩解，因為客戶通常會知道加速器將訪問哪些內(nèi)存區(qū)域與主機訪問的內(nèi)存區(qū)域。用戶將能夠通過在 BIOS 中設(shè)置偏差來適應(yīng)。

CXL 標(biāo)準(zhǔn)還沒有完成。CXL 聯(lián)盟預(yù)計將在今年晚些時候發(fā)布 3.0 規(guī)范。

該更新包括從每秒 32 千兆傳輸?shù)?64 的提升，符合計劃向 PCIe 6.0 的遷移，以及對許多新的內(nèi)存使用模型的支持，Pappas 表示。該規(guī)范還介紹了一種以非對稱方式實施 CXL 互連技術(shù)的途徑。此功能將允許 GPU 或 NIC 等設(shè)備直接與其他 CXL 設(shè)備交互，從而完全消除 CPU 作為瓶頸。

“這將非常重要，因為您可以獲得多個需要持續(xù)運行的加速器，”他說。

最后，該規(guī)范暗示了引入多級交換的 CXL 結(jié)構(gòu)。

CXL 網(wǎng)絡(luò)結(jié)構(gòu)將是將技術(shù)擴展到機架級別之外的關(guān)鍵。并且有理由相信這可能會出現(xiàn)在 Gen-Z之后的 3.0 版本中——他們在去年底將其相干記憶結(jié)構(gòu)資產(chǎn)捐贈給 CXL 聯(lián)盟。

盡管 CXL 對于數(shù)據(jù)中心的未來可能令人興奮，但不要指望它會在一夜之間取得成功。該技術(shù)還處于起步階段，預(yù)計將在今年晚些時候推出第一代兼容系統(tǒng)。

Pappas 預(yù)計配備 CXL 的系統(tǒng)將分階段推出，分層內(nèi)存和內(nèi)存池可能是第一個主流用例。

“明年，第一輪系統(tǒng)將主要用于概念驗證，”他說?！罢f實話，沒有人會采用從未嘗試過的新技術(shù)?！?/p>

在概念驗證之后，Pappas 預(yù)計在該技術(shù)最終開始在生產(chǎn)環(huán)境中出現(xiàn)之前，至少還要進行一年的實驗性部署。

關(guān)于CXL的一些基礎(chǔ)知識

作為一種開放式互連新標(biāo)準(zhǔn)，CXL面向 CPU 和專用加速器的密集型工作負(fù)載，這些負(fù)載都需要在主機和設(shè)備之間實現(xiàn)高效穩(wěn)定的存儲器訪問。

PCI Express （PCIe） 已經(jīng)存在多年，最近完成的 PCIe 基礎(chǔ)規(guī)范 5.0 版本現(xiàn)在能夠以高達 32GT/s 的速度實現(xiàn) CPU 和外設(shè)的互連。然而，在具有大型共享內(nèi)存池和許多需要高帶寬設(shè)備的環(huán)境中，PCIe 受到了一些限制。PCIe 沒有指定支持一致性的機制，并且不能高效地管理隔離的內(nèi)存池，因為每個 PCIe 層級都要共享一個 64 位地址空間。此外，PCIe 鏈路的延遲可能過高，無法高效管理系統(tǒng)中多個設(shè)備的共享內(nèi)存。

CXL 標(biāo)準(zhǔn)通過提供利用 PCIe 5.0 物理層和電氣元件的接口來消除其中一些限制，同時提供極低延遲路徑，用于主機處理器和需要共享內(nèi)存資源的設(shè)備（如加速器和內(nèi)存擴展器）之間進行內(nèi)存訪問和一致緩存。支持的 CXL 標(biāo)準(zhǔn)模式主要圍繞采用 x16 通道配置并以 32GT/s 運行的 PCIe 5.0 PHY（表 1）。x8 和 x4 通道配置也支持 32GT/s，以支持分叉。任何比 x4 通道窄或比 32GT/s 慢的模式都被稱為降級模式，這類模式在目標(biāo)應(yīng)用中顯然不常見。雖然 CXL 可以為許多應(yīng)用帶來立竿見影的性能優(yōu)勢，但是某些設(shè)備不需要與主機進行密切交互，而是主要需要在處理大型數(shù)據(jù)對象或連續(xù)流時發(fā)出工作提交和完成事件的信號。對于此類設(shè)備，在加速接口使用 PCIe 就很合適，而 CXL 沒有明顯優(yōu)勢。

CXL 標(biāo)準(zhǔn)定義了 3 個協(xié)議，這些協(xié)議在通過標(biāo)準(zhǔn) PCIe 5.0 PHY 以 32 GT/s 傳輸之前一起動態(tài)復(fù)用：

CXL.io 協(xié)議本質(zhì)上是經(jīng)過一定改進的 PCIe 5.0 協(xié)議，用于初始化、鏈接、設(shè)備發(fā)現(xiàn)和列舉以及寄存器訪問。它為 I/O 設(shè)備提供了非一致的加載/存儲接口。

CXL.cache 協(xié)議定義了主機和設(shè)備之間的交互，允許連接的 CXL 設(shè)備使用請求和響應(yīng)方法以極低的延遲高效地緩存主機內(nèi)存。

CXL.mem 協(xié)議提供了主機處理器，可以使用加載和存儲命令訪問設(shè)備連接的內(nèi)存，此時主機 CPU 充當(dāng)主設(shè)備，CXL 設(shè)備充當(dāng)從屬設(shè)備，并且可以支持易失性和持久性存儲器架構(gòu)。

三個協(xié)議產(chǎn)生的數(shù)據(jù)都通過仲裁和多路復(fù)用 （ARB/MUX） 模塊一起動態(tài)復(fù)用，然后被移交到 PCIe 5.0 PHY，進而以 32GT/s 的速度進行傳輸。ARB/MUX 在 CXL 鏈路層（CXL.io 和 CXL.cache/mem）發(fā)出的請求之間進行仲裁，并根據(jù)仲裁結(jié)果復(fù)用數(shù)據(jù)，仲裁結(jié)果使用加權(quán)循環(huán)仲裁，權(quán)重由主機設(shè)置。ARB/MUX 還處理鏈路層發(fā)出的功耗狀態(tài)轉(zhuǎn)換請求，向物理層創(chuàng)建實現(xiàn)有序降耗操作的單個請求。

CXL 通過固定寬度的 528 位微片傳輸數(shù)據(jù)，該微片由四個 16 字節(jié)時隙組成，并添加了兩個字節(jié) CRC：（4 x 16 + 2 = 66 字節(jié)= 528 位）。插槽采用多種格式定義，可專用于 CXL.cache 協(xié)議或 CXL.mem 協(xié)議。片頭定義了插槽格式，并攜帶允許事務(wù)層將數(shù)據(jù)正確路由到預(yù)期協(xié)議的信息。

由于 CXL 使用 PCIe 5.0 PHY 和電氣元件，它可以有效地插入到任何可以通過 Flex Bus 使用 PCIe 5.0 的系統(tǒng)中。Flex Bus 是一個靈活的高速端口，可以靜態(tài)配置為支持 PCIe 或 CXL。圖 2 舉例顯示了 Flex Bus 鏈路。這種方法使 CXL 系統(tǒng)能夠利用 PCIe 重定時器；但是，目前 CXL 僅定義為直連 CPU 鏈路，因此無法利用 PCIe 交換機。隨著標(biāo)準(zhǔn)的逐步完善，交換功能可能會被添加到標(biāo)準(zhǔn)中；如果是這樣，則需要創(chuàng)建新的 CXL 交換機。

審核編輯 ：李倩