基于標(biāo)準(zhǔn)的PCI Express多端口作為系統(tǒng)互連的多對等系統(tǒng)

Kwok Kong在IDT白皮書中描述了使用基于標(biāo)準(zhǔn)的PCI Express多端口作為系統(tǒng)互連的多對等系統(tǒng)。該白皮書描述了根處理器和端點處理器中存在的不同地址域，內(nèi)存映射管理，枚舉和初始化，對等通信機制，中斷和錯誤報告以及可能的冗余拓?fù)洹?/p>

系統(tǒng)架構(gòu)

圖1顯示了使用PCIe作為系統(tǒng)互連的多對等系統(tǒng)拓?fù)?。RP連接到PCIe交換機的單個上游端口（UP）。RP與其他任何PCI系統(tǒng)一樣，負(fù)責(zé)系統(tǒng)的初始化和枚舉過程。多端口PCIe交換機用于連接系統(tǒng)中的多個端點處理器（EP）。EP是一種處理器，其PCIe接口之一配置為PCIe端點。

使用PCIe作為系統(tǒng)互連的多對等系統(tǒng)拓?fù)?/p>

根處理器

一個標(biāo)準(zhǔn)的基于x86的PC用作RP。RP使用帶有nVidia nForce4 SLIchipset的AMD Athlon64 CPU來支持PCIe接口。一個PCIe插槽用于連接多端口PCIe交換器。RP的系統(tǒng)框圖如圖2所示。

RP系統(tǒng)框圖PCIe交換機

IDT89EBHPES64H16評估板（以下稱為EB64H16）用作多端口PCIe交換機模塊。EB64H16的系統(tǒng)框圖如圖3所示。評估板上有一個IDtT89HPES64H16PCIe開關(guān)（以下稱為PES64H16）。EB64H16板上有16個PCIe連接器。端口可以??配置為x4或x8端口。當(dāng)所有端口都配置為x8時，只有78個PCIe連接器用于支持x8配置中的8個端口。上游端口通過兩根x4 infiniband電纜連接到RP。RP直接插入PCIe連接器。

多端口PCIe交換模塊

端點處理器

基于x86的EP處理器是AMD Athlon64 CPU，具有nVidia nForce4 SLI芯片組來支持PCIe接口。每臺基于x86的PC通過IDT PES24NT3 PCIe域間交換機的非透明橋（NTB）端口連接到多端口PCIe交換機的一個下游端口。EP處理器系統(tǒng)如圖4所示。請注意，NTB的內(nèi)部端點連接到端點處理器，而外部端點連接到上述多端口PCIe交換機。

EP處理器框圖

本文檔介紹了支持PCIe系統(tǒng)互連的軟件體系結(jié)構(gòu)。該軟件已實現(xiàn)，并且在Linux下使用x86 CPU作為根處理器，在x86 CPU和IDT PES24NT3域內(nèi)交換機作為端點處理器的情況下運行?？蓮腎DT獲得軟件源代碼。

該軟件被實現(xiàn)為在Linux內(nèi)核空間中運行的設(shè)備驅(qū)動程序和模塊。該軟件分為三層，以分隔不同的軟件功能并最大程度地重用該軟件。功能服務(wù)層是上層。它提供了對操作系統(tǒng)和上層應(yīng)用程序可見的功能服務(wù)。當(dāng)前版本的軟件中已實現(xiàn)了多種功能服務(wù)：以太網(wǎng)功能服務(wù)為系統(tǒng)提供了虛擬以太網(wǎng)接口，原始數(shù)據(jù)功能服務(wù)提供了EP和RPm之間的用戶數(shù)據(jù)傳輸，而統(tǒng)計功能服務(wù)提供了以下功能：收集流量統(tǒng)計信息以進(jìn)行管理和診斷。消息幀層包含消息幀服務(wù)，該消息幀服務(wù)為所有功能服務(wù)提供了公共消息封裝和解封裝層。每當(dāng)發(fā)現(xiàn)新的端點處理器時，它還會通知所有其他端點處理器。傳輸服務(wù)層使用PCIe接口處理端點處理器和根處理器之間的實際數(shù)據(jù)傳輸。傳輸服務(wù)是特定于Endpoint Processor的。此版本的系統(tǒng)互連軟件支持基于x86的根處理器和端點處理器。傳輸服務(wù)是特定于Endpoint Processor的。此版本的系統(tǒng)互連軟件支持基于x86的根處理器和端點處理器。傳輸服務(wù)是特定于Endpoint Processor的。此版本的系統(tǒng)互連軟件支持基于x86的根處理器和端點處理器。

除了處理器間通信應(yīng)用程序之外，該軟件還演示了現(xiàn)在可以使用標(biāo)準(zhǔn)PCIe交換機實現(xiàn)I / O共享。多個端點處理器和根處理器共享單個以太網(wǎng)接口已實現(xiàn)并正常運行。

地址轉(zhuǎn)換單元用于隔離不同的PCIe地址域并在其之間提供橋梁。freeQ和post Q結(jié)構(gòu)用作消息傳輸協(xié)議的一部分。

該軟件版本奠定了使用PCIe接口作為系統(tǒng)互連來構(gòu)建更復(fù)雜的系統(tǒng)的基礎(chǔ)。該軟件采用模塊化設(shè)計，可在不更改現(xiàn)有軟件模塊的情況下添加功能服務(wù)和其他Endpoint Processor支持。如今，可以使用PCIe作為系統(tǒng)互連來構(gòu)建復(fù)雜的系統(tǒng)，例如嵌入式計算，支持I / O共享的刀片服務(wù)器以及通信和存儲系統(tǒng)。

編輯：hfy