一文詳解CCIX規(guī)范

正文開(kāi)始前，閑扯幾句。在接下來(lái)分析CCIX規(guī)范的過(guò)程中，大家會(huì)發(fā)現(xiàn)CCIX里面有太多ARM的影子，尤其是協(xié)議層的一致性協(xié)議部分，你會(huì)看到有很多跟CHI相似的東西。另外，在CCIX規(guī)范的底層，基本全是復(fù)用和遵循PCIe規(guī)范。

說(shuō)到PCIe，就必須先提一提PCI。PCI是Peripheral Component Interconnect的縮寫(xiě)，它是一種由英特爾公司1991年推出的局部總線標(biāo)準(zhǔn)。最早提出的PCI總線工作在33MHz頻率之下，傳輸帶寬達(dá)到132MB/s，基本上滿(mǎn)足了當(dāng)時(shí)處理器的發(fā)展需要。后來(lái)，隨著對(duì)更高性能的要求，不斷把PCI 總線的頻率提升。PCI使用共享并行總線架構(gòu)，其中PCI主機(jī)和所有設(shè)備共享一組通用的地址，數(shù)據(jù)和控制線。這種并行架構(gòu)天然決定了PCI的時(shí)鐘頻率不可能一直提升。因?yàn)殡S著時(shí)鐘頻率的不斷提升，并行總線間的信號(hào)干擾（EMI）會(huì)越來(lái)越嚴(yán)重。所以PCI后期已經(jīng)不能適應(yīng)高速發(fā)展的數(shù)據(jù)傳輸需求。

PCI-Express（Peripheral Component Interconnect express，簡(jiǎn)稱(chēng)PCIe）應(yīng)運(yùn)而生。PCIe是一種高速串行計(jì)算機(jī)擴(kuò)展總線標(biāo)準(zhǔn)，它原來(lái)的名稱(chēng)為“3GIO”，是由英特爾在2001年提出的，旨在替代舊的PCI，PCI-X和AGP總線標(biāo)準(zhǔn)。PCIe屬于高速串行點(diǎn)對(duì)點(diǎn)雙通道高帶寬傳輸，所連接的設(shè)備分配獨(dú)享通道帶寬，不共享總線帶寬。它的主要優(yōu)勢(shì)就是數(shù)據(jù)傳輸速率高。目前，PCIe交由PCI-SIG組織負(fù)責(zé)維護(hù)和發(fā)布。市場(chǎng)已經(jīng)有支持PCIe 5.0標(biāo)準(zhǔn)的控制器和設(shè)備，相信不久之后，PCIe 6.0將會(huì)大規(guī)模商用。

由于PCIe標(biāo)準(zhǔn)極其復(fù)雜，本人能力有限，對(duì)PCIe標(biāo)準(zhǔn)還處于學(xué)習(xí)階段。所以后面跟PCIe相關(guān)的部分一帶而過(guò)，主要介紹一下CCIX獨(dú)有的部分，重點(diǎn)是規(guī)范中的第三章。

如果有小伙伴精通PCIe，還望不吝賜教。

接下來(lái)，我們按照CCIX規(guī)范的章節(jié)過(guò)一遍，主要是對(duì)規(guī)范內(nèi)容的理解和歸納。CCIX規(guī)范本身比較晦澀難懂，而且通篇看下來(lái)感覺(jué)有一些段落前后順序有些顛倒。比如我發(fā)現(xiàn)有一些概念是先用后解釋?zhuān)斐傻暮蠊褪浅蹩辞懊娴臅r(shí)候一頭霧水，看到后面的章節(jié)才明白前面大概在說(shuō)啥。如果大家也有類(lèi)似的感覺(jué)，不妨多看幾遍。本系列文章中盡量避免這些問(wèn)題，但是由于本人水平有限，難免會(huì)漏掉一些細(xì)節(jié)或者有理解不準(zhǔn)確的地方，請(qǐng)見(jiàn)諒，一切以spec為準(zhǔn)。

1. 文檔概述

CCIX規(guī)范定義了一些術(shù)語(yǔ)：

Port：端口與物理引腳關(guān)聯(lián)，并有兩個(gè)子層，CCIX Port和Transport Port。CCIX端口充當(dāng)來(lái)自CCIX設(shè)備的CCIX協(xié)議層消息的入口（Ingress）和出口（Egress）。傳輸端口是充當(dāng)傳輸層數(shù)據(jù)包進(jìn)出網(wǎng)關(guān)的控制器。

CCIX Link：CCIX鏈路是一對(duì)CCIX端口之間的邏輯連接。

PCIe Link：PCIe鏈路是PCIe端口的物理連接。

Transport Link：傳輸鏈路是指?jìng)鬏攲右?guī)范中用于覆蓋CCIX協(xié)議層的物理鏈路。

CCIX Components：CCIX組件是定義CCIX一致性協(xié)議所需的模塊。

Acceleration Function：加速功能（簡(jiǎn)稱(chēng)AF）是針對(duì)一致性協(xié)議的內(nèi)存訪問(wèn)請(qǐng)求的特定實(shí)現(xiàn)源，該協(xié)議由CCIX請(qǐng)求代理表示，用于通過(guò)CCIX一致性層進(jìn)行通信，后文中會(huì)經(jīng)常提到AF。

CCIX Device：CCIX設(shè)備是由一個(gè)或多個(gè)符合CCIX協(xié)議的CCIX組件組成的物理實(shí)體。

CCIX Agent：CCIX代理，在規(guī)范中分為四類(lèi)，Request Agent（RA），RA是讀寫(xiě)事物的源端；Home Agent（HA）負(fù)責(zé)管理給定地址范圍內(nèi)的一致性和內(nèi)存訪問(wèn)；Slave Agent（SA），處理HA的事務(wù)，擴(kuò)展系統(tǒng)內(nèi)存，包括連接到外圍設(shè)備的存儲(chǔ)；Error Agent（EA），接受和處理協(xié)議錯(cuò)誤消息。

CCIX Function Blocks：定義CCIX組件功能所需的構(gòu)建模塊。

CCIX Switch：一種CCIX設(shè)備，由兩個(gè)或多個(gè)CCIX ports組成，支持端口到端口的轉(zhuǎn)發(fā)。

Packet：獨(dú)立路由的數(shù)據(jù)傳輸單元。

SAM：System Address Map，系統(tǒng)地址映射。

G-SAM：Global System Address Map。

G-RSAM：Global Request Agent System Address Map。

G-HSAM：Global Home Agent System Address Map。

RSAM：請(qǐng)求代理視角的SAM。

HSAM：主代理視角的SAM。

PSAM：端口相關(guān)的SAM。

EDR：Extended Data Rate，除了PCI Express基本規(guī)范定義的標(biāo)準(zhǔn)PHY速度之外的PHY的數(shù)據(jù)速率。

ESM：Extended Speed Mode，ESM是一種允許PCIe鏈路速度在標(biāo)準(zhǔn)PCIe速度和EDR速度之間轉(zhuǎn)換的機(jī)制。

CCIX Consortium Identifier(CCID) ：CCIX DVSEC結(jié)構(gòu)和CCIX PCIe兼容頭協(xié)議消息中的16位公共標(biāo)識(shí)符。

CCIX Consortium Unique Value(CCUV) ：CCIX DVSEC結(jié)構(gòu)和CCIX PCIe兼容頭協(xié)議消息中的硬件默認(rèn)16位值。

2. CCIX概述

CCIX規(guī)范擴(kuò)展了處理器-處理器，處理器-內(nèi)存，處理器-加速器，加速器-加速器之間的數(shù)據(jù)共享。CCIX允許所有處理實(shí)體之間的一組公共虛擬地址（VA）引用所有數(shù)據(jù)結(jié)構(gòu)。為了實(shí)現(xiàn)這些功能，CCIX擴(kuò)展了共享虛擬內(nèi)存（Shared Virtual Memory，SVM）模型。

擴(kuò)展系統(tǒng)內(nèi)存：CCIX允許將系統(tǒng)內(nèi)存域擴(kuò)展到主機(jī)連接內(nèi)存之外。作為系統(tǒng)內(nèi)存的一部分，主機(jī)內(nèi)存管理器可以選擇以與主機(jī)內(nèi)存分配和管理相同的方式，去分配和管理外圍連接的內(nèi)存。因此，通過(guò)CCIX內(nèi)存擴(kuò)展，主機(jī)可以擴(kuò)展其內(nèi)存容量和/或支持新的內(nèi)存技術(shù)。主機(jī)的外圍連接內(nèi)存視圖與多節(jié)點(diǎn)主機(jī)系統(tǒng)中現(xiàn)有的內(nèi)存視圖一致，即非統(tǒng)一內(nèi)存訪問(wèn)（NUMA）內(nèi)存模型。

基于處理器或加速器的應(yīng)用程序訪問(wèn)模式的軟件透明數(shù)據(jù)移動(dòng)：CCIX在加速器中支持硬件一致性緩存，并為處理器和加速器訪問(wèn)維護(hù)共享數(shù)據(jù)的一致視圖，而無(wú)需軟件干預(yù)。在CCIX系統(tǒng)中，緩存允許根據(jù)處理器或加速器的訪問(wèn)模式隱式移動(dòng)共享數(shù)據(jù)，以便進(jìn)一步重復(fù)使用或修改，而無(wú)需在它們之間遷移或維護(hù)多個(gè)或修改后的副本。

應(yīng)用程序管理的數(shù)據(jù)從主機(jī)移動(dòng)到加速器連接的內(nèi)存：CCIX使應(yīng)用程序能夠協(xié)調(diào)從一個(gè)內(nèi)存節(jié)點(diǎn)到另一個(gè)內(nèi)存節(jié)點(diǎn)的數(shù)據(jù)移動(dòng)，而無(wú)需任何操作系統(tǒng)協(xié)助。這允許數(shù)據(jù)生產(chǎn)者將數(shù)據(jù)放在作為數(shù)據(jù)消費(fèi)者的計(jì)算實(shí)體（處理器或加速功能）旁邊。

以上所說(shuō)的這幾點(diǎn)構(gòu)成了主機(jī)內(nèi)存和處理器、外設(shè)連接內(nèi)存和加速器之間無(wú)縫數(shù)據(jù)共享的基礎(chǔ)。擴(kuò)展系統(tǒng)內(nèi)存沒(méi)什么好解釋的了；CCIX規(guī)范支持在多芯片的處理器內(nèi)核之間共享緩存數(shù)據(jù)，這種共享是通過(guò)一致性協(xié)議來(lái)完成的，對(duì)軟件來(lái)說(shuō)是完全透明的；至于應(yīng)用程序管理數(shù)據(jù)，我的理解是類(lèi)似于CHI中的cache stashing。

CCIX標(biāo)準(zhǔn)支持多種拓?fù)浣Y(jié)構(gòu)：tree，mesh，ring等等。比如下圖中的直接連接拓?fù)洌?/p>

全連接拓?fù)洌?/p>

上一篇中介紹過(guò)了CCIX規(guī)范的分層架構(gòu)模型，這里就不再重復(fù)了。放張圖幫助大家回憶。

每個(gè)CCIX端口都與一個(gè)傳輸端口（Transport Port）相關(guān)聯(lián)。傳輸端口僅限于PCIe端口。CCIX端口負(fù)責(zé)創(chuàng)建與PCIe兼容的供應(yīng)商定義消息（VDM）事務(wù)層數(shù)據(jù)包（TLP），或具有優(yōu)化報(bào)頭的CCIX數(shù)據(jù)包。CCIX協(xié)議消息在PCIe兼容或優(yōu)化TLP的有效負(fù)載中承載。每個(gè)CCIX端口可以與一個(gè)或多個(gè)CCIX端口通信。

CCIX可以通過(guò)選擇性地聚合多個(gè)CCIX端口，在兩個(gè)CCIX設(shè)備之間實(shí)現(xiàn)更高的帶寬連接。CCIX體系結(jié)構(gòu)定義了一種跨多個(gè)CCIX端口分配內(nèi)存訪問(wèn)請(qǐng)求和監(jiān)聽(tīng)的方法，當(dāng)PCIe用作傳輸時(shí)，每個(gè)CCIX端口映射到一個(gè)PCIe控制器，以有效地在CCIX代理之間實(shí)現(xiàn)更高的帶寬。端口聚合（Port Aggregation）通常用于單個(gè)端口的可用吞吐量不足以滿(mǎn)足兩個(gè)芯片之間的通信需求的情況。如下圖所示，右側(cè)芯片的RA的請(qǐng)求可以通過(guò)兩個(gè)CCIX端口（圖中的Port 0和Port 1）發(fā)給左側(cè)芯片的HA，達(dá)到增加兩個(gè)芯片數(shù)據(jù)共享的帶寬。

CCIX設(shè)備可以作為PCIe設(shè)備被主機(jī)發(fā)現(xiàn)和管理。組件及其功能通過(guò)PCIe配置空間中指定的特定供應(yīng)商的擴(kuò)展功能（DVSEC）部分被主機(jī)識(shí)別。CCIX DVSEC在PCIe配置頭的DVSEC供應(yīng)商ID字段中攜帶通用CCIX ID（CCID）。CCIX DVSEC定義了功能，還提供了控制和狀態(tài)字段。

CCIX一致性互連通過(guò)標(biāo)準(zhǔn)CCIX驅(qū)動(dòng)程序進(jìn)行管理。AFs通過(guò)供應(yīng)商提供的驅(qū)動(dòng)程序作為PCIe功能進(jìn)行管理。CCIX允許加速器連接的內(nèi)存成為整個(gè)系統(tǒng)內(nèi)存的一部分。然后，內(nèi)核內(nèi)存管理器將其作為可分配系統(tǒng)內(nèi)存進(jìn)行管理。

CCIX定義了服務(wù)器級(jí)可靠性、可用性和可維護(hù)性（Reliability Availability Serviceability，RAS）功能集。CCIX的RAS體系結(jié)構(gòu)通過(guò)PCI Express基本規(guī)范中定義的高級(jí)錯(cuò)誤報(bào)告（Advanced Error Reporting，AER）機(jī)制維護(hù)PCIe傳輸錯(cuò)誤的報(bào)告。與CCIX一致性互連相關(guān)的錯(cuò)誤通過(guò)一個(gè)單獨(dú)的并行機(jī)制報(bào)告給AER。這個(gè)記錄和報(bào)告協(xié)議錯(cuò)誤的新機(jī)制稱(chēng)為協(xié)議錯(cuò)誤報(bào)告（Protocol ErrorReporting，PER）機(jī)制。CCIX設(shè)備中的PER錯(cuò)誤記錄在協(xié)議DVSEC中。

CCIX利用PCIe的地址轉(zhuǎn)換服務(wù)（Address Translation Service，ATS）標(biāo)準(zhǔn)，允許CCIX設(shè)備將虛擬地址（VA）映射到其相關(guān)的物理地址（PA），并提供每頁(yè)的訪問(wèn)控制。CCIX規(guī)范要求，所有CCIX設(shè)備需要提供以下保證：

CCIX設(shè)備通過(guò)地址轉(zhuǎn)換服務(wù)確保來(lái)自AFs的所有請(qǐng)求受訪問(wèn)權(quán)限控制

CCIX設(shè)備確保在設(shè)備上的固件受信任

CCIX可以使用PCIe標(biāo)準(zhǔn)的消息信令中斷（MSI/MSI-X）將事件從加速器發(fā)送到主機(jī)處理器。在前面講ARM中斷控制器的時(shí)候介紹過(guò)一些MSI的知識(shí)，想了解更多的話，往前翻一翻，或者去看看PCIe的規(guī)范。

通過(guò)這兩次的學(xué)習(xí)，我們對(duì)CCIX的大體輪廓有了一個(gè)認(rèn)識(shí)。CCIX是在PCIe規(guī)范的基礎(chǔ)上發(fā)展出來(lái)的，在復(fù)用了大量PCIe規(guī)范的同時(shí)添加了CCIX協(xié)議層，CCIX鏈路層和CCIX事務(wù)層，并通過(guò)這三層定義了緩存一致性協(xié)議和所需的CCIX消息，以及消息傳遞機(jī)制。這三層往下就是復(fù)用PCIe的分層結(jié)構(gòu)了。另外，CCIX規(guī)范擴(kuò)展了PCIe的物理層數(shù)據(jù)傳輸速率。

正文開(kāi)始前，閑扯幾句。在接下來(lái)分析CCIX規(guī)范的過(guò)程中，大家會(huì)發(fā)現(xiàn)CCIX里面有太多ARM的影子，尤其是協(xié)議層的一致性協(xié)議部分，你會(huì)看到有很多跟CHI相似的東西。另外，在CCIX規(guī)范的底層，基本全是復(fù)用和遵循PCIe規(guī)范。