分享一些Xilinx PCIe XDMA使用指南

1. 為什么使用PCIe傳輸

在FPGA需要和處理器打交道時(shí)，無(wú)論是X86，還是PowerPC，以及一些嵌入式的ARM等，對(duì)外的接口常見如下表。

而PCIe具備如下優(yōu)點(diǎn)：其中，USB需要外部的PHY對(duì)接FPGA，而且需要firmware；以太網(wǎng)走到TCP才會(huì)保證不丟數(shù)據(jù)；PCI逐漸淘汰了，占用引腳多，而且?guī)捰邢蓿?a target="_blank">SATA側(cè)重存儲(chǔ)，其協(xié)議的局限性比較高；RapidIO在一些場(chǎng)合使用，結(jié)構(gòu)可以做到Full Mesh結(jié)構(gòu)，但是這些年發(fā)展速度比較慢。

A. 帶寬高，目前FPGA有PCIe Gen3 x16，或者PCIe Gen4 x8，鏈路速度可以達(dá)到128Gbps;

B. FPGA直連，不需要外部PHY;C. 協(xié)議保證數(shù)據(jù)無(wú)誤傳輸，兩級(jí)CRC，重傳機(jī)制，保證數(shù)據(jù)無(wú)誤;D. 軟件生態(tài)豐富，各種系統(tǒng)原生支持，通過(guò)簡(jiǎn)單的驅(qū)動(dòng)就可以完成數(shù)據(jù)交互;E. 在PCIe之上的協(xié)議逐漸增多，例如NVMe是基于PCIe的上層協(xié)議;

Xilinx從15年前，V4系列開始，一直在PCIe的解決方案上深耕，提供眾多的應(yīng)用方案級(jí)的解決方案，方便用戶專注于自己的應(yīng)用。早期，Xilinx提供的有Application Notes，例如XAPP859，XAPP1052等，構(gòu)建了基本的雙向數(shù)據(jù)傳輸。當(dāng)時(shí)一些第三方公司，類似于PLDA，NwLogic也出針對(duì)Xilinx FPGA的PCIe傳輸方案。

后來(lái)，Xilinx團(tuán)隊(duì)2017年附近推出XDMA解決方案，并持續(xù)增加功能、修正Bug，到目前為止，XDMA已經(jīng)成為一個(gè)功能強(qiáng)大、成熟穩(wěn)定的Xilinx FPGA解決方案。功能上涵蓋了SG功能，AXI-Lite功能，多通道分離，AXI-MM和AXI-Stream支持等。穩(wěn)定性上，經(jīng)過(guò)4年的逐步完善，目前已經(jīng)有眾多的客戶基于這套方案實(shí)現(xiàn)產(chǎn)品，涵蓋醫(yī)療、電力、通訊、數(shù)據(jù)中心等各種應(yīng)用。最重要的是，XDMA是免費(fèi)的?。。?/p>

2. XDMA IP配置實(shí)例

Xilinx XDMA支持的系列包括7系列，UltraScale系列，UltraScale+系列各種系列，界面配置基本相同。這里以KU040的一個(gè)板子做例程，其他系列可以參考。Vivado使用2018.3，Vivado的版本，做XDMA，建議盡量使用新一些的版本。詳細(xì)的說(shuō)明，參考Xilinx的文檔PG195，下面主要摘取影響使用的關(guān)鍵部分。

配置IP

第一頁(yè)，IP基本配置。

紅色框根據(jù)實(shí)際板卡硬件來(lái)選擇，Lane Width是物理的位寬；Link Speed是希望運(yùn)行在那個(gè)速率。速率和位寬越高，最終的帶寬就越高，對(duì)應(yīng)FPGA內(nèi)的資源和頻率也相對(duì)多一些。綠色框是選擇接口方式，AXI Memory Mapped選擇用戶接口是AXI內(nèi)存映射的接口，常見用于對(duì)接DDR、RAM等有地址尋址的外設(shè)。AXI Stream的用戶接口是流接口，類似于一段數(shù)據(jù)包，F(xiàn)IFO流等。IP只能支持其中一種選擇，不能說(shuō)多通道混合使用不同的用戶接口，所以用戶需要分析自己的數(shù)據(jù)接入方式，慎重選擇。常見的，例如ADC采集，如果帶DDR，則可以把ADC暫存在DDR中，XDMA使用AXI-MM的方式讀取DDR數(shù)據(jù)；也可以ADC通過(guò)FIFO緩存后，XDMA使用AXI-Stream讀取FIFO，不過(guò)需要注意ADC速度非常高的時(shí)候容易溢出。例如，讀取外部網(wǎng)絡(luò)報(bào)文，報(bào)文長(zhǎng)短不一，使用AXI-Stream接口方式比較合適。

第二頁(yè)，VID，DID，Class等選擇。

如果沒有特殊的需要，這一頁(yè)可以不變。尤其是Vendor ID，Device ID，盡量不修改，因?yàn)閄ilinx提供的驅(qū)動(dòng)是對(duì)應(yīng)這些VID，DID的。

第三頁(yè)，PCIe BAR空間。

紅色框，PCIe to AXI Lite Master Interface可以選擇上。通常，這個(gè)接口可以用作寄存器接口。上位機(jī)需要控制板卡內(nèi)的用戶寄存器，可以通過(guò)這個(gè)接口擴(kuò)展。通常來(lái)說(shuō)，寄存器接口盡量對(duì)齊，比如常用32bit寄存器。

第四頁(yè)，雜項(xiàng)

需要關(guān)注的是用戶中斷數(shù)量，是從用戶層通知CPU的中斷。注意，XDMA本身的操作中斷不算在內(nèi)，這里是用戶產(chǎn)生的中斷。

第五頁(yè)，DMA通道選擇

需要關(guān)注的是紅色框，讀寫通道數(shù)量選擇，根據(jù)實(shí)際的業(yè)務(wù)來(lái)選擇。例如有4路ADC數(shù)據(jù)傳輸，可以選擇C2H為4，當(dāng)然，也可以4路ADC數(shù)據(jù)在FPGA內(nèi)合并后成1路，然后只選擇C2H為1 。

生成example design例程

上一步IP配置后，在生成的IP上，右鍵點(diǎn)擊，選擇打開open example design。

生成的例程，如果選擇是AXI-MM的用戶接口，那么這個(gè)接口對(duì)接的是AXI接口形式的Block RAM，上位機(jī)可以讀/寫這片RAM。如果選擇的是AXI-Stream接口，例程中將Stream讀寫環(huán)回，上位機(jī)寫下去的內(nèi)容再讀回去。此外，第三頁(yè)BAR空間如果勾選了PCIeto AXI Lite Master Interface，例程中會(huì)額外多出來(lái)一個(gè)AXI接口的Block RAM。如果需要，可以將這塊修改為寄存器接口。修改約束引腳后，生成bit文件，下載到FPGA中，并重啟電腦，注意這里說(shuō)的是重啟電腦，不是關(guān)機(jī)再開機(jī)。電腦重啟的開始，BIOS會(huì)重新掃描PCIe設(shè)備，才能被CPU枚舉。

3. Block Design下快速構(gòu)建XDMA Subsystem

上面的例程，例化一個(gè)IP，然后打開example design的方式。實(shí)際使用，可以用block design快速構(gòu)建XDMA的設(shè)計(jì)。下面舉例，快速構(gòu)建一個(gè)XDMA到DDR4傳輸?shù)脑O(shè)計(jì)。

1. 新建block design，加入XDMA IP和DDR4 MIG IP。XDMA配置參考上面描述的內(nèi)容，DDR4根據(jù)板卡實(shí)際的選擇配置。

2. 連接關(guān)系很簡(jiǎn)單，XDMA的M_AXI接口通過(guò)AXI_Interconnect連接DDR4，這里AXI_Interconnect起到時(shí)鐘域轉(zhuǎn)換的作用。

3. 地址分配，將DDR4的空間分配到XDMA中即可。

4. 生成block design的wrapper，修改正確的引腳約束后，生成bit文件。下載到FPGA后重啟電腦。Block Design的方式，適用于快速構(gòu)建比較復(fù)雜的設(shè)計(jì)，例如包含DDR4，Datamover等各種基于AXI互聯(lián)的IP。

4. 驅(qū)動(dòng)和軟件應(yīng)用

通過(guò)pci utility查看設(shè)備

pci utility工具，用于查看PCIe設(shè)備各種屬性的工具。Linux系統(tǒng)默認(rèn)自帶了pci utility工具，windows下也有對(duì)應(yīng)版本，在GitHub上搜索。

lspci命令，列舉所有pci和pcie設(shè)備：

紅色框，即上面配置的XDMA example design。lspci -vv -s 02:00.0 命令，詳細(xì)列出位于02:00.0槽位的Xilinx設(shè)備詳細(xì)信息。

這里把一些信息列舉下來(lái)：

A. Region 0，這個(gè)是上面PCIe to AXI Lite Master Interface選擇的空間。Region 1，這個(gè)是XDMA IP自身內(nèi)部寄存器空間，不用關(guān)心。B. MaxPayload size是256字節(jié)，是系統(tǒng)協(xié)商的，不能修改。MaxReadReq是最大請(qǐng)求字節(jié)，協(xié)商后是512字節(jié)。C. LnkCap字段，是協(xié)商后的PCIe鏈路狀態(tài)，上面寫的速度是8G，位寬是x4。PCIe IP上選擇的是8G，這個(gè)目前協(xié)商到了。位寬選擇x8，實(shí)際是x4，因?yàn)檫@個(gè)機(jī)箱用的一個(gè)x4PCIe延長(zhǎng)線，限制了適配到x8位寬。D. LnkCtl2，顯示設(shè)備最大能支持到8G的鏈路速度。

5. 驅(qū)動(dòng)安裝，Linux環(huán)境

Linux的驅(qū)動(dòng)在GitHub上，https://github.com/Xilinx/dma_ip_drivers，下載到宿主機(jī)。readme.txt中有驅(qū)動(dòng)使用說(shuō)明，目錄結(jié)構(gòu)、安裝使用等。tests目錄下有安裝腳本，測(cè)試腳本等。

5.1. 驅(qū)動(dòng)安裝

tests目錄下，sh load_driver.sh即安裝驅(qū)動(dòng)，安裝成功會(huì)提示。

安裝完畢，查看/dev目錄下，多出來(lái)一些xdma0開頭的設(shè)備。

文件目錄分別說(shuō)明下A. _c2h_x，是card to host的設(shè)備，板卡向CPU傳輸數(shù)據(jù)的時(shí)候使用這個(gè)設(shè)備；B. _h2c_x，是host to card的設(shè)備，CPU向板卡發(fā)送數(shù)據(jù)的時(shí)候使用這個(gè)設(shè)備;C. _control，是XDMA的內(nèi)部寄存器控制設(shè)備，一般用戶不需要使用;D. _user，是PCIe to AXI Lite Master Interface選擇的空間;E. _event_x，是IP配置第四頁(yè)，選擇的用戶層中斷對(duì)應(yīng)的設(shè)備;

5.2 軟件測(cè)試，Linux環(huán)境

如果IP配置選擇AXI-Memory Map，參考dma_memory_mapped_test.sh，這個(gè)腳本寫入一段數(shù)據(jù)到BlockRAM中，然后讀出對(duì)比。如果IP配置選擇AXI-Stream接口，參考dma_streaming_test.sh，腳本寫入一段數(shù)據(jù)，回環(huán)后讀回校驗(yàn)。上述兩個(gè)例子，用下面的命令測(cè)試。sh dma_memory_mapped_test.sh 1024 1 1 1

Block Design下，DDR4顯示已經(jīng)校準(zhǔn)完畢。使用dma_memory_mapped_test.sh測(cè)試，數(shù)據(jù)寫入DDR4，然后再?gòu)腄DR4讀回。

FAQ

1. Windows下安裝驅(qū)動(dòng)，安裝后驅(qū)動(dòng)有一個(gè)感嘆號(hào)，不能正常使用。

Windows從Win764bit開始，安裝驅(qū)動(dòng)必須的簽名，Win7的簽名和Win10的簽名還不同。Xilinx提供的Windows驅(qū)動(dòng)不包括驅(qū)動(dòng)簽名，安裝的時(shí)候就出現(xiàn)感嘆號(hào)。

這個(gè)問(wèn)題可以百度下，開機(jī)的時(shí)候選擇禁止驅(qū)動(dòng)簽名?；蛘哔?gòu)買微軟的簽名即可。

例如下圖，是一個(gè)公司購(gòu)買了簽名，簽名這個(gè)驅(qū)動(dòng)后的狀態(tài)，可以直接安裝好驅(qū)動(dòng)。

2. Linux下，Stream模式接收溢出。

IP設(shè)置為Stream模式，默認(rèn)Linux上有循環(huán)Buffer來(lái)處理接收的數(shù)據(jù)。如果Stream接收的速率太高，超過(guò)驅(qū)動(dòng)和應(yīng)用能處理的范圍，就會(huì)出現(xiàn)溢出的問(wèn)題。出現(xiàn)溢出后，驅(qū)動(dòng)里做了錯(cuò)誤恢復(fù)，一段數(shù)據(jù)就丟掉了。

編輯：jq