PCI Express總線(xiàn)技術(shù)白皮書(shū)

PCI Express總線(xiàn)技術(shù)白皮書(shū)

1.1 PCI Express總線(xiàn)的起源和現(xiàn)狀

?????? 2001年春季的IDF上Intel正式公布PCI Express，是取代PCI總線(xiàn)的第三代I\O技術(shù)，也稱(chēng)為3GIO。該總線(xiàn)的規(guī)范由Intel支持的AWG（Arapahoe Working Group）負(fù)責(zé)制定。2002 年4月17日，AWG正式宣布3GIO 1.0規(guī)范草稿制定完畢，并移交PCI-SIG進(jìn)行審核。開(kāi)始的時(shí)候大家都以為它會(huì)被命名為Serial PCI（受到串行ATA的影響），但最后卻被正式命名為PCI Express。2006年正式推出Spec2.0（2.0規(guī)范）。

?????? PCI Express總線(xiàn)技術(shù)的演進(jìn)過(guò)程，實(shí)際上是計(jì)算系統(tǒng)I\O接口速率演進(jìn)的過(guò)程。PCI總線(xiàn)是一種33MHz@32bit或者66MHz@64bit的并行總線(xiàn)，總線(xiàn)帶寬為133MB/s到最大533MB/s，連接在PCI總線(xiàn)上的所設(shè)備共享133MB/s～533MB/s帶寬。這種總線(xiàn)用來(lái)應(yīng)付聲卡、10/100M網(wǎng)卡以及USB 1.1等網(wǎng)絡(luò)接口基本不成問(wèn)題。隨著計(jì)算機(jī)和通信技術(shù)的進(jìn)一步發(fā)展，新一代的I\O接口大量涌現(xiàn)，比如千兆（GE）、萬(wàn)兆（10GE）的以太網(wǎng)技術(shù)、4G/8G的FC技術(shù)，使得PCI總線(xiàn)的帶寬已經(jīng)無(wú)力應(yīng)付計(jì)算系統(tǒng)內(nèi)部大量高帶寬并行讀寫(xiě)的要求，PCI總線(xiàn)也成為系統(tǒng)性能提升的瓶頸，于是就出現(xiàn)了PCI Express總線(xiàn)。PCI Express總線(xiàn)技術(shù)在當(dāng)今新一代的存儲(chǔ)系統(tǒng)已經(jīng)普遍的應(yīng)用。PCI Express總線(xiàn)能夠提供極高的帶寬，來(lái)滿(mǎn)足系統(tǒng)的需求。如下表所示：

???????????????????????????????????????????????????????????????????????????? 表1 PCI Express對(duì)比

?????? 目前，PCI-E 3.0規(guī)范也已經(jīng)確定，其編碼數(shù)據(jù)速率，比同等情況下的PCI-E 2.0規(guī)范提高了一倍，X32端口的雙向速率高達(dá)320Gbps。

?????? 1.2 PCI Express總線(xiàn)的技術(shù)優(yōu)勢(shì)

?????? PCI總線(xiàn)的最大優(yōu)點(diǎn)是總線(xiàn)結(jié)構(gòu)簡(jiǎn)單、成本低、設(shè)計(jì)簡(jiǎn)單，但是缺點(diǎn)也比較明顯：

?????? 1) 并行總線(xiàn)無(wú)法連接太多設(shè)備，總線(xiàn)擴(kuò)展性比較差，線(xiàn)間干擾將導(dǎo)致系統(tǒng)無(wú)法正常工作；
?????? 2) 當(dāng)連接多個(gè)設(shè)備時(shí)，總線(xiàn)有效帶寬將大幅降低，傳輸速率變慢；
?????? 3) 為了降低成本和盡可能減少相互間的干擾，需要減少總線(xiàn)帶寬，或者地址總線(xiàn)和數(shù)據(jù)總線(xiàn)采用復(fù)用方式設(shè)計(jì)，這樣降低了帶寬利用率。 PCI Express總線(xiàn)是為將來(lái)的計(jì)算機(jī)和通訊平臺(tái)定義的一種高性能，通用I\O互連總線(xiàn)。

?????? 與PCI總線(xiàn)相比，PCI Express總線(xiàn)主要有下面的技術(shù)優(yōu)勢(shì)：

?????? 1) 是串行總線(xiàn)，進(jìn)行點(diǎn)對(duì)點(diǎn)傳輸，每個(gè)傳輸通道獨(dú)享帶寬。
?????? 2) PCI Express總線(xiàn)支持雙向傳輸模式和數(shù)據(jù)分通道傳輸模式。其中數(shù)據(jù)分通道傳輸模式即PCI Express總線(xiàn)的x1、x2、x4、x8、x12、x16和x32多通道連接，x1單向傳輸帶寬即可達(dá)到250MB/s，雙向傳輸帶寬更能夠達(dá)到500MB/s，這個(gè)已經(jīng)不是普通PCI總線(xiàn)所能夠相比的了。具體配置可以參照表1。
?????? 3) PCI Express總線(xiàn)充分利用先進(jìn)的點(diǎn)到點(diǎn)互連、基于交換的技術(shù)、基于包的協(xié)議來(lái)實(shí)現(xiàn)新的總線(xiàn)性能和特征。電源管理、服務(wù)質(zhì)量（QoS）、熱插拔支持、數(shù)據(jù)完整性、錯(cuò)誤處理機(jī)制等也是PCI Express總線(xiàn)所支持的高級(jí)特征。

?????? 4) 與PCI總線(xiàn)良好的繼承性，可以保持軟件的繼承和可靠性。PCI Express總線(xiàn)關(guān)鍵的PCI特征，比如應(yīng)用模型、存儲(chǔ)結(jié)構(gòu)、軟件接口等與傳統(tǒng)PCI總線(xiàn)保持一致，但是并行的PCI總線(xiàn)被一種具有高度擴(kuò)展性的、完全串行的總線(xiàn)所替代。

?????? 5) PCI Express總線(xiàn)充分利用先進(jìn)的點(diǎn)到點(diǎn)互連，降低了系統(tǒng)硬件平臺(tái)設(shè)計(jì)的復(fù)雜

性和難度，從而大大降低了系統(tǒng)的開(kāi)發(fā)制造設(shè)計(jì)成本，極大地提高系統(tǒng)的性?xún)r(jià)比和健壯性。從下面表格可以看出，系統(tǒng)總線(xiàn)帶寬提高同時(shí)，減少了硬件PIN的數(shù)量，硬件的成本直接下降。

?????? 1.3 PCI Express總線(xiàn)在萬(wàn)兆存儲(chǔ)系統(tǒng)的應(yīng)用

?????? 在H3C公司開(kāi)發(fā)的最新一代存儲(chǔ)產(chǎn)品IX3000中，采用Intel最新一代服務(wù)器硬件平臺(tái)技術(shù)，前端支持高達(dá)16個(gè)GE接口，或者8個(gè)GE+8個(gè)4Gb FC接口，最高配置更可以支持多達(dá)4個(gè)10GE接口，后端接口可以提供6個(gè)SAS×4寬端口，達(dá)到72Gbps的后端訪(fǎng)問(wèn)速率，提供無(wú)與倫比的磁盤(pán)訪(fǎng)問(wèn)IOPS和吞吐量，只有PCI Express總線(xiàn)架構(gòu)的系統(tǒng)才能滿(mǎn)足系統(tǒng)性能的需求。

?????? IX3000存儲(chǔ)系統(tǒng)控制器系統(tǒng)架構(gòu)如下圖所示。系統(tǒng)采用4條×8的PCIE總線(xiàn)來(lái)擴(kuò)展前端和后端接口，采用2條×8PCIE總線(xiàn)來(lái)實(shí)現(xiàn)2個(gè)控制器之間的緩存鏡像，采用2條×8PCIE總線(xiàn)作為系統(tǒng)內(nèi)部的控制和管理通道。其前端接口能夠安裝10GE接口卡或者GE+FC COMBO接口卡，以及GE接口卡，后端PCIE接口用來(lái)和高性能的IO處理擴(kuò)展卡連接，提供高性能IO處理、RAID計(jì)算以及CACHE鏡像管理等功能，并提供SAS后端接口用于連接SAS磁盤(pán)陣列，為用戶(hù)帶來(lái)前所未有的存儲(chǔ)新體驗(yàn)。