PCIE協(xié)議技術(shù)交流

一、link和lane

一組link就是連接兩個port之間的若干條lane，通常為x1/x2/x4/x8/x16。每條lane包含四根線tx_p/m，rx_p/m(兩組差分對)。

這里的port/component可以理解為一個設(shè)備，如果pcie支持bifurcation，則一個x16的接口可以連接多個port(2個x8/1個x16/4個x4/8個x2等)，每個port中每條lane的linkID相同，不同port間的linkID不同。

二、PCIE體系結(jié)構(gòu)說明

Root Complex：

RC是CPU和PCIE總線連接的接口。主要功能是完成存儲器域到PCIE總線域的地址轉(zhuǎn)換，隨著虛擬化技術(shù)的引入，RC功能也越來越復雜。RC把來自CPU的request轉(zhuǎn)化成PCIE的4類request(configuration、memory、I/O、message)并發(fā)送給下面的設(shè)備。

Switch & Bridge

Switch提供了分散/聚合的功能，它允許更多的設(shè)備接入到一個PCIE port。它扮演了數(shù)據(jù)包路由的功能。Bridge提供了一個轉(zhuǎn)換接口用來連接其他的總線，如PCI/PCI-X。這樣可以允許在PCIE的系統(tǒng)中接入一張舊的PCI設(shè)備。

PCIE Endpoint：

它只有一個上游端口，位于PCIE拓撲結(jié)構(gòu)的樹的末端。他作為請求的發(fā)起者或者完成者。分為Legacy Endpoint、PCIE Endpoint和Root Complex Integrated Endpoint三種。

虛擬化技術(shù)：

虛擬化可以理解為一臺電腦運行了兩套系統(tǒng)，比如我們在windows下安裝linux虛擬機，兩套操作系統(tǒng)共用一套硬件，這要求每套系統(tǒng)的存儲域范圍不重疊，即對應(yīng)了兩套地址轉(zhuǎn)換，將存儲器地址轉(zhuǎn)換為不同的物理地址，以此實現(xiàn)一套硬件運行多系統(tǒng)。虛擬化技術(shù)的核心是地址的映射和轉(zhuǎn)換。

三、PCIElane翻轉(zhuǎn)和PN翻轉(zhuǎn)

為了方便板子布線，允許lane翻轉(zhuǎn)

每條lane的差分信號也可翻轉(zhuǎn)。

lane翻轉(zhuǎn)和pn極性翻轉(zhuǎn)有以下要求：

1、PN翻轉(zhuǎn)無限制，可翻轉(zhuǎn)部分lane，也可只翻轉(zhuǎn)TX或RX

2、lane翻轉(zhuǎn)必須全部翻轉(zhuǎn)，不能部分翻轉(zhuǎn)

3、lane翻轉(zhuǎn)TX/RX必須同時翻轉(zhuǎn)，不能只翻轉(zhuǎn)TX或RX

4、lane翻轉(zhuǎn)和PN翻轉(zhuǎn)可以同時存在

四、吞吐量

PCIE gen1/2使用8b/10b編碼，編碼效率為0.8

PCIE gen3/4/5使用128b/130b≈0.985

PCIE 5.0x4的速率為:32Gbpsx4x128÷130÷8b/B≈15.754GB/s

?

五、PCIE枚舉圖

開機啟動時軟件會掃描系統(tǒng)中的所有PCIE設(shè)備(PCIE枚舉)，對軟件而言，Bus/Device/Function是必不可少的。

Bus：在一個系統(tǒng)中存在1~256個bus； Device：在一條bus中存在1~32個設(shè)備； Function：每個設(shè)備有1~8個功能；



對于每個中間橋而言，三條Bus必須知道：Primary Bus/Secondary Bus/Subordinate Bus： Primary Bus：上游bus號 Secondary Bus：下游第一級bus號 Subordinate Bus：下游最大的bus號

?

六、PCIE設(shè)備與系統(tǒng)地址映射

PCIE設(shè)備有四種地址空間：

1、Configuration Space配置空間；

2、Memory Space存儲空間；

3、I/O Space空間，存在于老的PCI設(shè)備；

4、Message Space，PCIE設(shè)備新增，包含邊帶指示信號，比如中斷； 這些PCIE總線地址空間需要在初始化時就映射為存儲器域的存儲器地址空間，方便處理器訪問。

系統(tǒng)軟件對PCIE總線進行配置時，首先獲得BAR寄存器的初始化信息，之后根據(jù)處理器系統(tǒng)的配置，將合理的基地址寫入到相應(yīng)的BAR寄存器中，這個過程在BIOS運行階段和OS啟動階段完成。

系統(tǒng)軟件還可以使用該寄存器獲得PCIE設(shè)備使用的BAR空間的長度，其方法是向BAR寄存器寫入0xFFFF_FFFF后再讀取該寄存器。

每個PCIE設(shè)備在BAR中描述自己需要占用多少地址空間，BIOS或OS通過所有設(shè)備的這些信息構(gòu)建一張完整的地址映射表，描述系統(tǒng)中資源的分配情況，然后再合理地將地址空間配置給每個PCI設(shè)備。

BAR在bit0來表示該設(shè)備是映射到memory還是I/O，BAR的bit0是readonly的，就是說設(shè)備寄存器映射到memory還是I/O是由設(shè)備制造商決定的，其他人無法修改。



PCI的配置空間如上圖所示，每個設(shè)備的每個function都有獨立的配置空間，大小為256B，前64B為表頭，PCIE設(shè)備的配置空間拓展為4KB。 所有PCI的配置空間為： 16MB=256Busx32Device/Busx8Function/Devicex256B/Func 所有PCIE的配置空間為： 256MB=256Busx32Device/Busx8Function/Devicex4KB/Func X86架構(gòu)地址又分為memory space和I/O space。

I/O space可以理解為直接寄存器讀寫地址空間，屬于X86早期產(chǎn)物，訪問速率較慢。 x86：32bit(4GB) x64：64bit(16EB) I/O space：16bit(64KB)



從上圖可知Memory地址前640KB為Conventional Memory，1MB間的為Boot ROM，中間一段為DRAM內(nèi)存，其余的分配給PCI存儲器域。I/O地址中可以通過CF8-CFB和CFC-CFF訪問PCI的16MB配置空間，剩下的為各PCI設(shè)備映射的I/O地址空間。

對于PCIE而言，配置空間通過memory的方式映射(MMIO)，不再通過I/O Map的方式訪問，這會占用一部分系統(tǒng)內(nèi)存，也是內(nèi)存用不滿的原因(還有主板上的集成顯卡/BIOS等也會占用內(nèi)存)。

審核編輯：劉清