聊聊PCIe設(shè)備在系統(tǒng)如何發(fā)現(xiàn)與訪問(wèn)？

硬盤是大家都很熟悉的設(shè)備，一路走來(lái)，從HDD到SSD，從SATA到NVMe，作為NVMe SSD的前端接口，PCIe再次進(jìn)入我們的視野。作為x86體系關(guān)鍵的一環(huán)，PCIe標(biāo)準(zhǔn)歷經(jīng)PCI，PCI-X和PCIe，走過(guò)近30年時(shí)光。其中Host發(fā)現(xiàn)與查找設(shè)備的方式卻一脈沿襲，今天我們先來(lái)聊一聊PCIe設(shè)備在一個(gè)系統(tǒng)中是如何發(fā)現(xiàn)與訪問(wèn)的。

首先我們來(lái)看一下在x86系統(tǒng)中，PCIe是什么樣的一個(gè)體系架構(gòu)。下圖是一個(gè)PCIe的拓?fù)浣Y(jié)構(gòu)示例,PCIe協(xié)議支持256個(gè)Bus, 每條Bus最多支持32個(gè)Device，每個(gè)Device最多支持8個(gè)Function，所以由BDF(Bus，device，function)構(gòu)成了每個(gè)PCIe設(shè)備節(jié)點(diǎn)的身份證號(hào)。

PCIe體系架構(gòu)一般由root complex，switch，endpoint等類型的PCIe設(shè)備組成，在root complex和switch中通常會(huì)有一些embeded endpoint(這種設(shè)備對(duì)外不出PCIe接口)。這么多的設(shè)備，CPU啟動(dòng)后要怎么去找到并認(rèn)出它們呢? Host對(duì)PCIe設(shè)備掃描是采用了深度優(yōu)先算法，其過(guò)程簡(jiǎn)要來(lái)說(shuō)是對(duì)每一個(gè)可能的分支路徑深入到不能再深入為止，而且每個(gè)節(jié)點(diǎn)只能訪問(wèn)一次。我們一般稱這個(gè)過(guò)程為PCIe設(shè)備枚舉。枚舉過(guò)程中host通過(guò)配置讀事物包來(lái)獲取下游設(shè)備的信息，通過(guò)配置寫事物包對(duì)下游設(shè)備進(jìn)行設(shè)置。

第一步，PCI Host主橋掃描Bus 0上的設(shè)備(在一個(gè)處理器系統(tǒng)中，一般將Root complex中與Host Bridge相連接的PCI總線命名為PCI Bus 0)，系統(tǒng)首先會(huì)忽略Bus 0上的embedded EP等不會(huì)掛接PCI橋的設(shè)備，主橋發(fā)現(xiàn)Bridge 1后，將Bridge1 下面的PCI Bus定為 Bus 1，系統(tǒng)將初始化Bridge 1的配置空間，并將該橋的Primary Bus Number 和 Secondary Bus Number寄存器分別設(shè)置成0和1，以表明Bridge1 的上游總線是0，下游總線是1，由于還無(wú)法確定Bridge1下掛載設(shè)備的具體情況，系統(tǒng)先暫時(shí)將Subordinate Bus Number設(shè)為0xFF。

第二步，系統(tǒng)開始掃描Bus 1，將會(huì)發(fā)現(xiàn)Bridge 3，并發(fā)現(xiàn)這是一個(gè)switch設(shè)備。系統(tǒng)將Bridge 3下面的PCI Bus定為Bus 2，并將該橋的Primary Bus Number 和 Secondary Bus Number寄存器分別設(shè)置成1和2，和上一步一樣暫時(shí)把Bridge 3 的Subordinate Bus Number設(shè)為0xFF。

第三步，系統(tǒng)繼續(xù)掃描Bus 2，將會(huì)發(fā)現(xiàn)Bridge 4。繼續(xù)掃描，系統(tǒng)會(huì)發(fā)現(xiàn)Bridge下面掛載的NVMe SSD設(shè)備，系統(tǒng)將Bridge 4下面的PCI Bus定為Bus 3，并將該橋的Primary Bus Number 和 Secondary Bus Number寄存器分別設(shè)置成2和3，因?yàn)锽us3下面掛的是端點(diǎn)設(shè)備(葉子節(jié)點(diǎn))，下面不會(huì)再有下游總線了，因此Bridge 4的Subordinate Bus Number的值可以確定為3。

第四步，完成Bus 3的掃描后，系統(tǒng)返回到Bus 2繼續(xù)掃描，會(huì)發(fā)現(xiàn)Bridge 5。繼續(xù)掃描，系統(tǒng)會(huì)發(fā)現(xiàn)下面掛載的NIC設(shè)備，系統(tǒng)將Bridge 5下面的PCI Bus設(shè)置為Bus 4，并將該橋的Primary Bus Number 和 Secondary Bus Number寄存器分別設(shè)置成2和4，因?yàn)镹IC同樣是端點(diǎn)設(shè)備，Bridge 5的Subordinate Bus Number的值可以確定為4。

第五步，除了Bridge 4和Bridge 5以外，Bus2下面沒(méi)有其他設(shè)備了，因此返回到Bridge 3，Bus 4是找到的掛載在這個(gè)Bridge下的最后一個(gè)bus號(hào)，因此將Bridge 3的Subordinate Bus Number設(shè)置為4。Bridge 3的下游設(shè)備都已經(jīng)掃描完畢，繼續(xù)向上返回到Bridge 1，同樣將Bridge 1的Subordinate Bus Number設(shè)置為4。

第六步，系統(tǒng)返回到Bus0繼續(xù)掃描，會(huì)發(fā)現(xiàn)Bridge 2，系統(tǒng)將Bridge 2下面的PCI Bus定為Bus 5。并將Bridge 2的Primary Bus Number 和 Secondary Bus Number寄存器分別設(shè)置成0和5， Graphics card也是端點(diǎn)設(shè)備，因此Bridge 2 的Subordinate Bus Number的值可以確定為5。

至此，掛在PCIe總線上的所有設(shè)備都被掃描到，枚舉過(guò)程結(jié)束，Host通過(guò)這一過(guò)程獲得了一個(gè)完整的PCIe設(shè)備拓?fù)浣Y(jié)構(gòu)。

系統(tǒng)上電以后，host會(huì)自動(dòng)完成上述的設(shè)備枚舉過(guò)程。除一些專有系統(tǒng)外，普通系統(tǒng)只會(huì)在開機(jī)階段進(jìn)行進(jìn)行設(shè)備的掃描，啟動(dòng)成功后(枚舉過(guò)程結(jié)束)，即使插入一個(gè)PCIe設(shè)備，系統(tǒng)也不會(huì)再去識(shí)別它。

在linux操作系統(tǒng)中，我們可以通過(guò)lspci –v -t命令來(lái)查詢系統(tǒng)上電階段掃描到的PCIe設(shè)備，執(zhí)行結(jié)果會(huì)以一個(gè)樹的形式列出系統(tǒng)中所有的pcie設(shè)備。如下圖所示，其中黃色方框中的PCIe設(shè)備是北京憶芯科技公司(Bejing Starblaze Technology Co., LTD.)推出的STAR1000系列NVMe SSD主控芯片，圖中顯示的9d32是Starblaze在PCI-SIG組織的注冊(cè)碼，1000是設(shè)備系列號(hào)。

STAR1000設(shè)備的BDF也可以從上圖中找出，其中bus是0x3C，device是0x00，function是0x0，BDF表示為3C:00.0，與之對(duì)應(yīng)的上游端口是00:1d.0。

我們可以通過(guò)“l(fā)spci –xxx –s 3C:00.0”命令來(lái)列出該設(shè)備的PCIe詳細(xì)信息(技術(shù)發(fā)燒友或數(shù)字控請(qǐng)關(guān)注該部分)。這些內(nèi)容存儲(chǔ)在PCIe配置空間，它們描述的是PCIe本身的特性。如下圖所示(低位地址0x00在最左邊)，可以看到這是一個(gè)非易失性存儲(chǔ)控制器，0x00起始地址是PCIe的Vendor ID和Device ID。Class code 0x010802表示這是一個(gè)NVMe存儲(chǔ)設(shè)備。0x40是第一組capability的指針，如果你需要查看PCIe的特性，就需要從這個(gè)位置開始去查詢，在每組特征的頭字段都會(huì)給出下一組特性的起始地址。從0x40地址開始依次是power management，MSI中斷，鏈路控制與狀態(tài)，MSI-X中斷等特性組。這兒特別列出了鏈路特征中的一個(gè)0x43字段，表示STAR1000設(shè)備是一個(gè)x4lane的鏈接，支持PCIe Gen3速率(8Gbps)。

當(dāng)然也可以使用lspci –vvv –s 3C:00.0命令來(lái)查看設(shè)備特性，初學(xué)者看到下面的列表也就一目了然了。

Host在枚舉設(shè)備的同時(shí)也會(huì)對(duì)設(shè)備進(jìn)行配置，每個(gè)PCIe設(shè)備都會(huì)指定一段CPU memory訪問(wèn)空間，從上面的圖中我們可以看到這個(gè)設(shè)備支持兩段訪問(wèn)空間，一段的大小是1M byte，另一段的大小是256K byte，系統(tǒng)會(huì)分別指定它們的基地址?；刂放渲猛瓿梢院?，Host就可以通過(guò)地址來(lái)對(duì)PCIe memory空間進(jìn)行訪問(wèn)了。

PCIe memory空間關(guān)聯(lián)的是PCIe設(shè)備物理功能，對(duì)于STAR1000系列芯片而言，物理功能是NVMe，memory中存放的是NMVe的控制與狀態(tài)信息，對(duì)于NMVe的控制以及工作狀態(tài)的獲取，都需要通過(guò)memory訪問(wèn)來(lái)實(shí)現(xiàn)。

下面以NVMe命令下發(fā)為例簡(jiǎn)單描述PCIe設(shè)備的memory訪問(wèn)。NVMe命令下發(fā)的基本操作是1)Host寫doorbell寄存器，此時(shí)使用PCIe memory寫請(qǐng)求。如下圖所示，host發(fā)出一個(gè)memory write(MWr)請(qǐng)求，該請(qǐng)求經(jīng)過(guò)switch到達(dá)要訪問(wèn)的NVMe SSD設(shè)備。

這個(gè)請(qǐng)求會(huì)被端點(diǎn)設(shè)備接收并執(zhí)行2)NVMe讀取命令操作。如下圖所示，此時(shí)NVMe SSD作為請(qǐng)求者，發(fā)出一個(gè)memory read(MRd)請(qǐng)求，該請(qǐng)求經(jīng)過(guò)Switch到達(dá)Host，Host作為完成者會(huì)返回一個(gè)完成事物包(CplD)，將訪問(wèn)結(jié)果返回給NVMe SSD。

這樣，一個(gè)NVMe的命令下發(fā)過(guò)程就完成了。同樣，NVMe的其他操作比如各種隊(duì)列操作，命令與完成，數(shù)據(jù)傳輸都是通過(guò)PCIe memory訪問(wèn)的方式進(jìn)行的，此處不再詳述。

通過(guò)上面的描述，相信能夠幫助大家了解PCIe的設(shè)備枚舉和memory空間訪問(wèn)。以后會(huì)繼續(xù)與大家探討PCIe的其他內(nèi)容，比如PCIe的協(xié)議分層，鏈路建立，功耗管理等等。目前PCIe協(xié)議還正在不斷的快速演進(jìn)中，2017年發(fā)布的PCIe Gen4標(biāo)準(zhǔn)，每條Serdes支持的速率已經(jīng)達(dá)到16Gbps，Gen5也在加速制定中，其速率會(huì)再翻一倍達(dá)到32Gbps。Starblaze會(huì)緊跟技術(shù)的發(fā)展趨勢(shì)，提供速率更高，性能更好更穩(wěn)定的NVMe SSD系列產(chǎn)品。

審核編輯：湯梓紅