CCIX協(xié)議對(duì)于一些高性能應(yīng)用詳解

用于加速器的緩存一致互聯(lián)協(xié)議（CCIX）是指由一家新的行業(yè)標(biāo)準(zhǔn)機(jī)構(gòu) – CCIX聯(lián)盟 -- 開(kāi)發(fā)的一組規(guī)范。CCIX的驅(qū)動(dòng)因素是需要比當(dāng)前可用技術(shù)更快的互連，并且需要緩存一致性，以便在異構(gòu)多處理器系統(tǒng)中更快地訪問(wèn)內(nèi)存。因此，該聯(lián)盟的工作集中在使硬件加速器以緩存一致的方式使用與多個(gè)處理器共享的內(nèi)存。本文介紹了CCIX標(biāo)準(zhǔn)及其對(duì)于機(jī)器學(xué)習(xí)、網(wǎng)絡(luò)處理、存儲(chǔ)卸載和內(nèi)存數(shù)據(jù)庫(kù)等高性能應(yīng)用的主要優(yōu)勢(shì)。

什么是緩存一致性?

當(dāng)多個(gè)CPU共享共同的內(nèi)存空間時(shí)，它們可以通過(guò)交流該內(nèi)存中各部分已緩存的和/或可緩存的狀態(tài)來(lái)提高性能。通過(guò)這種方式，每個(gè)CPU都可以安全地處理公用數(shù)據(jù)集的某一部分，而不必使用（緩慢的）軟件旗語(yǔ)來(lái)控制內(nèi)存的存取的數(shù)據(jù)完整性。假設(shè)CPU A已經(jīng)緩存了一塊內(nèi)存，它就可以確保CPU B不會(huì)修改該同一內(nèi)存空間或使用該數(shù)據(jù)的過(guò)時(shí)版本。CCIX擴(kuò)展了這種通信機(jī)制，以便使CPU之外的代理也可以參與進(jìn)來(lái)，這使得硬件加速器也能夠獲得同樣的好處。CCIX的一致性協(xié)議也是獨(dú)立于供應(yīng)商的，所以，CPU、GPU和其他加速器都可以平等地參與進(jìn)來(lái)，而不會(huì)遇到麻煩的許可證限制。

為了更好地理解緩存一致性，我們先來(lái)看一個(gè)一段時(shí)間以來(lái)很通用的協(xié)議，即MESI。縮寫(xiě)詞MESI是指系統(tǒng)中的每個(gè)緩存行的四種可能的狀態(tài)：Modified（被修改的），Exclusive（獨(dú)占的），Shared（共享的）或者Invalid（無(wú)效的）?！氨恍薷牡摹币馕吨硞€(gè)緩存行僅存儲(chǔ)在當(dāng)前緩存中，并且與主內(nèi)存中的數(shù)據(jù)不同（用緩存的話語(yǔ)來(lái)說(shuō)就是“臟的”（dirty））。如果某個(gè)地址被在系統(tǒng)中的某個(gè)地方標(biāo)記為“被修改的”，則當(dāng)任何其他代理試圖讀取該地址時(shí)，將導(dǎo)致該緩存（其擁有該地址的被修改數(shù)據(jù)）把數(shù)據(jù)寫(xiě)回主內(nèi)存，然后才能進(jìn)行讀取操作。“獨(dú)占的”緩存行也僅存儲(chǔ)在當(dāng)前緩存中，但它與主內(nèi)存中的數(shù)據(jù)相一致（用緩存的話語(yǔ)來(lái)說(shuō)就是“干凈的”（clean））。如果擁有該緩存行的代理對(duì)它進(jìn)行修改，則狀態(tài)將切換為“獨(dú)占的”?！肮蚕淼摹本彺嫘信c“獨(dú)占的”緩存行一樣也是“干凈的”，但它也可能存在于系統(tǒng)中的其他緩存中（它在那里也將處于“共享的”狀態(tài)）。最后，“無(wú)效的”緩存行正是它的名稱一樣 –– 指某個(gè)未使用的或不再有效的緩存行。顯然，這種系統(tǒng)中的各種緩存必須彼此交流多條信息。他們必須支持窺探（snoop）或監(jiān)視來(lái)自其他代理的總線事務(wù)，以確定其緩存狀態(tài)何時(shí)需要更改，并且它們必須擁有某種方法與系統(tǒng)中的其他緩存交流狀態(tài)的變化。

CCIX協(xié)議規(guī)范定義了一組緩存狀態(tài)以及相關(guān)的消息和機(jī)制，以便完成這些相同的一般類型的行為。雖然完整的詳細(xì)信息僅提供給CCIX聯(lián)盟會(huì)員，但本文將對(duì)協(xié)議規(guī)范進(jìn)行高層次的概述。
為什么選擇CCIX實(shí)現(xiàn)緩存一致性？

CCIX規(guī)范的最大優(yōu)勢(shì)之一是它建立在PCI? Express規(guī)范的基礎(chǔ)之上。CCIX的一致性協(xié)議只需很少修改或者無(wú)需修改就可以通過(guò)PCI Express鏈路傳遞。如圖1所示，某個(gè)現(xiàn)有的PCI Express控制器實(shí)施可以通過(guò)邏輯進(jìn)行擴(kuò)展，以實(shí)現(xiàn)CCIX事務(wù)層。CCIX事務(wù)層負(fù)責(zé)攜帶一致性消息，而塊 – 即CCIX協(xié)議層和鏈路層 -- 負(fù)責(zé)實(shí)現(xiàn)一致性協(xié)議本身并對(duì)其執(zhí)行操作。這些塊需要與用于緩存的內(nèi)部片上系統(tǒng)（SoC）邏輯進(jìn)行緊密集成，并且可能是特定于該SoC上使用的具體架構(gòu)。在其今后設(shè)計(jì)中實(shí)現(xiàn)CCIX的SoC設(shè)計(jì)人員通常希望將CCIX協(xié)議及鏈路層與CCIX事務(wù)層分開(kāi)，以使前者能夠與內(nèi)部SoC邏輯緊密集成。

?

圖1：CCIX規(guī)范利用PCI Express協(xié)議實(shí)現(xiàn)CCIX事務(wù)層

超越16GT/s

如前所述，CCIX的最大的吸引力之一就是它與PCI Express的兼容性。實(shí)際上，CCIX的緩存一致性協(xié)議可以通過(guò)運(yùn)行8GT/s或更快速度的任何PCI Express鏈路來(lái)傳遞。PCI Express 4.0規(guī)定的最高數(shù)據(jù)速率為16GT/s，這在一條16通道鏈路上可以達(dá)到總雙向帶寬約64GB/s，但CCIX聯(lián)盟的一些成員需要更大的帶寬。他們認(rèn)為，通過(guò)將傳輸速率提高到25GT/s，一條CCIX鏈路可以在相同的條件下達(dá)到100GB/s。這導(dǎo)致出現(xiàn)了一項(xiàng)稱為“擴(kuò)展速度模式”（ESM）的CCIX特性。由于PCI Express由一個(gè)不同的標(biāo)準(zhǔn)化機(jī)構(gòu)所擁有，所以CCIX聯(lián)盟選擇了一個(gè)聰明的機(jī)制用于在具有ESM功能的組件與PCI Express組件之間實(shí)現(xiàn)兼容性。希望彼此進(jìn)行通信的兩個(gè)CCIX組件可以通過(guò)正常的PCI Express鏈路初始化過(guò)程（通常是一個(gè)硬件自主過(guò)程）進(jìn)行處理，以達(dá)到最高的相互支持的PCI Express速度。自此開(kāi)始，在主機(jī)系統(tǒng)上運(yùn)行的軟件可以詢問(wèn)CCIX特定的配置寄存器，并確定兩個(gè)組件是否都具備ESM能力。如果具備的話，則確定它們的最高支持速度。該軟件然后在兩個(gè)組件上編寫(xiě)其他CCIX特定的寄存器，以便把PCI Express鏈路速度映射為CCIX ESM鏈路速度。自此以后，鏈路協(xié)商將針對(duì)CCIX ESM速度，因此，通過(guò)強(qiáng)制進(jìn)行鏈路重新訓(xùn)練，這兩個(gè)組件現(xiàn)在可以以高達(dá)25GT/s的速度進(jìn)行通信。

小結(jié)

如果設(shè)計(jì)人員打算尋找一種緩存一致性互連途徑，以便從當(dāng)今主流的PCI Express接口獲得相對(duì)容易的遷移路徑，他們應(yīng)考慮把CCIX用于他們的下一個(gè)高性能SoC。Synopsys公司完整的CCIX IP解決方案建立在通過(guò)了硅驗(yàn)證的、面向PCI Express 4.0的DesignWare?IP基礎(chǔ)之上，后者在超過(guò)1500個(gè)設(shè)計(jì)中得到了驗(yàn)證，并且已經(jīng)交付了數(shù)十億套。該解決方案支持緩存一致性而且速度可以高達(dá)25 Gbps。作為CCIX聯(lián)盟和PCI-SIG的積極成員，Synopsys公司將繼續(xù)在CCIX、PCI Express和相關(guān)技術(shù)領(lǐng)域進(jìn)行創(chuàng)新，以確保這些生態(tài)系統(tǒng)能夠滿足數(shù)據(jù)密集型云計(jì)算應(yīng)用的高性能連接要求。