異構(gòu)多處理器產(chǎn)品系列在嵌入式評估板上實(shí)現(xiàn)

作者： Alex He （何曄），賽靈思高級嵌入式應(yīng)用工程師

這里的 UIO 即 Userspace I/O，本文中 UIO 泛指 UIO 設(shè)備和 UIO 驅(qū)動。它在 Linux kernel 的世界里比較小眾，主要是一些定制設(shè)備和相應(yīng)的驅(qū)動。UIO內(nèi)核驅(qū)動指負(fù)責(zé)將中斷和設(shè)備內(nèi)存暴露給用戶空間，再由UIO用戶態(tài)驅(qū)動（Application）來實(shí)現(xiàn)具體的業(yè)務(wù)，隨心所欲的玩。學(xué)術(shù)點(diǎn)叫做高度定制化，柔性設(shè)計(jì)。

那怎么和 FPGA 扯上了關(guān)系呢？是的，F(xiàn)PGA在硬件世界里也是隨心所欲的玩，這一硬一軟還真是登對，在一起啊在一起。

本實(shí)驗(yàn)工程將介紹如何利在賽靈思異構(gòu)多處理器產(chǎn)品系列 Zynq UtralScale+ MPSoC ZCU102 嵌入式評估板上實(shí)現(xiàn)多個 UIO，同時(shí)借助賽靈思的工具完成硬件工程和 linux BSP 的開發(fā)，最后通過測試應(yīng)用程序完成測試。

ZCU102上的 MPSoC 集成固化了四核 ARM Cortex-A53，雙核Cortex-R5 以及 Mali-400 MP2 GPU，這部分官方稱為PS（Processing System）。另外一部分就是FPGA，即 PL(Programmable Logic)。PS端實(shí)現(xiàn)控制，PL用來實(shí)現(xiàn)應(yīng)用加速，兩者通過AXI連接。跑這個小實(shí)驗(yàn)，呵呵，大材小用。只是本人手頭正好有這個板子不得不裝。筒子們可以去買了個Zybo 或者ZedBoard 開發(fā)板， 在板子試試身手。

實(shí) 驗(yàn) 報(bào) 告

實(shí)驗(yàn)人員：本人

實(shí)驗(yàn)材料：

硬件設(shè)計(jì)

建立Vivado工程，適配 ZCU102 EVB。通過 IP Integrator 加入PS,在 PL 側(cè)加入5個UIO輸入，其中1個是GPIO模塊（包含中斷輸出和設(shè)備內(nèi)存），另外4個是PIN連接到ZCU102 EVB上的DIP開關(guān)，作為中斷輸入通過一個concat IP連接到PS的ps_pl_irq管腳。板級細(xì)節(jié)請參考[1] UG1182，芯片資料參考[2] UG1085

添加PIN約束文件，

set_property PACKAGE_PIN AN13 [get_ports pl_irq_ll]

set_property IOSTANDARD LVCMOS33 [get_ports pl_irq_ll]

set_property PACKAGE_PIN AM14 [get_ports pl_irq_lh]

set_property IOSTANDARD LVCMOS33 [get_ports pl_irq_lh]

set_property PACKAGE_PIN AP14 [get_ports pl_irq_ef]

set_property IOSTANDARD LVCMOS33 [get_ports pl_irq_ef]

set_property PACKAGE_PIN AN14 [get_ports pl_irq_er]

set_property IOSTANDARD LVCMOS33 [get_ports pl_irq_er]

Vivado的圖形化的模塊設(shè)計(jì)，豐富的IP庫，加上可以上天的智能連接。有點(diǎn)數(shù)字電路設(shè)計(jì)的基礎(chǔ)，很快就能完成這個小設(shè)計(jì)。整個設(shè)計(jì)如下圖。

軟件設(shè)計(jì)

這里用到 Xilinx 針對 Linux BSP 開發(fā)的 Petalinux。它基于Yocto，加入Xilinx的Layers實(shí)現(xiàn)硬件工程的導(dǎo)入，將復(fù)雜的Yocto的設(shè)計(jì)流程打包簡化，支持一定的用戶自定義功能，如QEMU仿真運(yùn)行，增加 out-of-tree 的驅(qū)動，Device tree 修改，應(yīng)用程序編譯打包，等等。具體信息請移步 https://china.xilinx.com/products/design-tools/embedded-software/petalinux-sdk.html

這里簡單展示一下具體的命令過程。

$petalinux-create -t project --template zynqMP -n zcu102-pl2ps_irq

$cd ./ zcu102-pl2ps_irq

$petalinux-config --get-hw-description

$petalinux-config -c kernel

Enable UIO_PDRV_GENIRQ driver

CONFIG_UIO=y

# CONFIG_UIO_CIF is not set

CONFIG_UIO_PDRV_GENIRQ=y

$petalinux-build -c device-tree

PL側(cè)的dtsi文件生成與./components/plnx_workspace/device-tree-generation/pl.dtsi

這里只有GPIO UIO。 PIN UIO因?yàn)椴皇荌P，所以相關(guān)信息無法由工具自動生成。所以要做如下修改：

1. 修改GPIO UIO設(shè)備端點(diǎn)

1） 將中斷號改為93

2） 將compatible改成“generic-uio” //我們后面要用 Linux 自帶的 UIO_PDRV_GENIRQ 驅(qū)動

2. 增加 DIP UIO 端點(diǎn)

1） 將compatible改成“generic-uio”

2） 依次設(shè)置中斷值89到93

3） 按照每個 DIP PIN 的 interrupt trigger type 設(shè)置屬性值

*DTS里的中斷號與硬件中斷號有32的 offset。

Petalinux 提供了自定義DTS文件./project-spec/meta-user/recipes-bsp/device-tree/files/system-user.dtsi，將以上修改定義到system-user.dtsi.

有兩個方法來適配UIO端點(diǎn)和 UIO_PDRV_GENIRQ 驅(qū)動

1. bootargs use “uio_pdrv_genirq.of_id=generic-uio”，可以通過DTS定義。

2. insmod uio_pdrv_genirq.ko of_id=generic-uio when install the driver

修改完后，編譯出Image.

$petalinu-build

$cd ./images/linux

$petalinux-package --boot --fsbl zynqmp_fsbl.elf --fpga --atf --pmufw --u-boot --force

將生成的BOOT.bin（bootloader）和image.ub(FIT uImage)拷貝到SD卡用于啟動。

測試

這里引用下關(guān)于uio_pdrv_genirq驅(qū)動的介紹

https://01.org/linuxgraphics/gfx-docs/drm/driver-api/uio-howto.html

結(jié)合驅(qū)動代碼./drviver/uio/uio_pdrv_genirq.c)可知，每個UIO設(shè)備會有對應(yīng)的/dev/uioX的設(shè)備節(jié)點(diǎn)。用戶態(tài)驅(qū)動程序的讀操作會阻塞直到UIO硬件中斷發(fā)生。UIO的中斷處理程序uio_pdrv_denirq_handler()會關(guān)閉該硬件中斷。用戶態(tài)驅(qū)動程序需要通過write函數(shù)來觸發(fā)uio_pdrv_genirq_irqcontrol()以完成中斷的使能和關(guān)閉。代碼如下,

啟動內(nèi)核及加載uio_pdrv_genirq驅(qū)動

檢查/proc/interrupts

細(xì)心的你一定發(fā)現(xiàn)了一個坑，少了2個UIO中斷（IRQ122和IRQ124），原來是硬件不支持Edge falling和Level Low的觸發(fā)模式。kernel log如下。

測試DIP UIO方法一

通過撥動2個DIP，觀察到

2個DIP中斷發(fā)生了，可是不論怎么再撥動DIP開關(guān)，始終是1。前文鋪墊過，這個中斷在驅(qū)動的中斷處理程序里會被關(guān)掉，需要通過應(yīng)用程序調(diào)用write（）來打開。這里有個easy way，使用萬能的echo命令“echo 0x1 > /dev/uioX”，再配合DIP可以觸發(fā)多次中斷。

測試DIP UIO方法二

前面的方法比較low，這里有稍微高級的享受。寫個簡單的用戶態(tài)驅(qū)動程序，上代碼。

借助petalinux提供的交叉編譯工具編譯出bin文件，拷貝到啟動SD卡。

運(yùn)行測試程序并配合DIP開關(guān)測試。（為了更好的體現(xiàn)測試運(yùn)行情況，在UIO內(nèi)核驅(qū)動里增加了irqcontrol的調(diào)用打?。?/span>

測試GPIO UIO

UIO驅(qū)動會將設(shè)備內(nèi)存（寄存器）空間枚舉出來，由用戶態(tài)驅(qū)動程序通過mmap導(dǎo)出進(jìn)行讀寫控制。參見AXI_GPIO IP的文檔pg144-axi-gpio.pdf，其寄存器如下。

測試應(yīng)用程序會通過設(shè)置GIER和IP_IER來使能中斷。上代碼。

測試過程

或許你覺得這么貼圖代碼不厚道而不能施展復(fù)制黏貼大法，可不知我拙與WORD，沒try出好排版。莫急莫急，這里有GIT，https://gitenterprise.xilinx.com/AlexHe/UIO_Linux_Demo

硬件資源文件和Image，測試代碼一個都不能少，統(tǒng)統(tǒng)獻(xiàn)上。酸爽否？

實(shí) 驗(yàn) 結(jié) 論

UIO這種可高度自定義的設(shè)備結(jié)合Xilinx的MPSoC可以實(shí)現(xiàn)非常靈活的應(yīng)用。Xilinx提供的完備的工具集，給用戶帶來了高效的開發(fā)體驗(yàn)。本例雖然簡單，但Xilinx所推崇的All Programmable的概念和實(shí)際的FPGA加速應(yīng)用的的確確是建立在這些軟硬件協(xié)同技術(shù)之上。忘周知！

參考文獻(xiàn)

The Userspace I/O HOWTO https://01.org/linuxgraphics/gfx-docs/drm/driver-api/uio-howto.html

[Xilinx Document]

[1] UG1182 - ZCU102 評估板用戶指南

[2] UG1085 - Zynq UltraScale+ MPSoC 技術(shù)參考手冊

[3] UG1144 - PetaLinux 工具文檔：參考指南

[4] UG940 - Vivado Design Suite 培訓(xùn): 嵌入式處理器硬件設(shè)計(jì)

[5] PG144 - AXI GPIO v2.0 產(chǎn)品指南