閑談Vitis AI|DPU在UltraScale平臺下的軟硬件流程(1)

前言

本篇中，我想跳過一些細(xì)枝末節(jié), 先簡單介紹 AMD Xilinx Vitis AI 在 Zynq 這個(gè)硬件加速平臺下軟硬件開發(fā)的基本思路和流程，把各個(gè)開發(fā)流程和工具分開，幫助剛剛接觸Vitis/Vitis AI的同學(xué)快速找到學(xué)習(xí)和開發(fā)的方向。

為什么不用其他NPU平臺？

在使用Xilinx DPU來對我們的AI應(yīng)用進(jìn)行加速之前，我們應(yīng)該明確一個(gè)問題：為什么我們需要使用Zynq 這樣一個(gè)硬件結(jié)構(gòu)，而不是使用一些專用NPU芯片 (比如NV的嵌入式開發(fā)板) 來進(jìn)行加速？

我個(gè)人認(rèn)為, FPGA最大的優(yōu)勢還是其對于特定應(yīng)用的定制化和可重構(gòu)能力（這是FPGA相對于其他類型芯片最大的不同，同時(shí)也是FPGA最具魅力的地方）。這種特性使得我們可以集中有限的硬件資源來動態(tài)的配置各種定制化應(yīng)用，實(shí)現(xiàn)局部的高性能，達(dá)到四兩撥千斤的效果。

舉個(gè)例子：如果我們的在運(yùn)行AI算法時(shí)，如果CPU執(zhí)行預(yù)處理速度太慢，我們就可以自己設(shè)計(jì)自己的專用硬件來執(zhí)行縮放，裁剪和卷積操作。如果我們的視頻編解碼太慢，我們也可以使用專用的IP來進(jìn)行編解碼。同樣的功能，在非FPGA的平臺上使用CPU來執(zhí)行時(shí)往往速度感人

搭建一個(gè)AI加速系統(tǒng)的必要步驟

正因如此，在使用 Vitis AI 的時(shí)候，我們其實(shí)是想要定制自己的硬件結(jié)構(gòu)和AI模型的。要達(dá)成這個(gè)目標(biāo)，我們會有一連串的問題需要解決：

1. 首先，硬件加速系統(tǒng)的第一步當(dāng)然就是加速模塊設(shè)計(jì)（verilog或者HLS），沒有加速模塊，那我們的硬件加速的系統(tǒng)就是空談。在Vitis AI中，主要是指DPU和預(yù)處理等加速模塊。這個(gè)部分的重點(diǎn)是數(shù)字前端設(shè)計(jì)和算法設(shè)計(jì)。

2. 完成硬件設(shè)計(jì)之后，我們會遇到第二個(gè)問題，部署硬件模塊。與任何的SoC設(shè)計(jì)類似，如果我們想要在軟件系統(tǒng)中正確的調(diào)度我們的子模塊，我們在硬件底層就需要把合理地分配線路、內(nèi)存、帶寬，正確地設(shè)計(jì)時(shí)鐘、地址、中斷等等。這個(gè)部分需要著重考慮的是SoC硬件系統(tǒng)設(shè)計(jì)。

3. 由于Vitis AI需要在linux環(huán)境下使用，因此僅僅完成硬件設(shè)計(jì)還是不夠的。我們必須要想辦法讓一個(gè) linux系統(tǒng)運(yùn)行在我們的硬件平臺上，識別到我們的加速模塊。也就是說我們需要針對我們的硬件平臺編譯一個(gè)Linux系統(tǒng)。其實(shí)核心就是提前告訴操作系統(tǒng)，你需要從哪里取地址，執(zhí)行什么樣的操作。在這個(gè)階段就進(jìn)入了嵌入式工程師的領(lǐng)域。

4. 光有系統(tǒng)還不行，我們需要為linux下的APP提供一套環(huán)境。和Standalone程序有所不同，在Linux系統(tǒng)中，我們通常不會在使用直接訪問地址的方式來操作加速器（除非加速器的操作和地址設(shè)計(jì)非常簡單）。因此開發(fā)一個(gè)中間層和驅(qū)動層也是有必要的。在Vitis AI中，在這個(gè)部分由AMD Xilinx提供，我們在實(shí)際的流程中幾乎看不到這個(gè)部分。（如果你想要開發(fā)一個(gè)私有硬件加速框架，就需要考慮這部分了）。

5. 當(dāng)我們完成了上面所有的硬件，軟件，平臺和環(huán)境之后。我們其實(shí)才到最后一步：AI應(yīng)用的開發(fā)。在上一步我們已經(jīng)通過驅(qū)動和接口層把軟件和硬件進(jìn)行了隔離。因此，在這個(gè)階段我們本質(zhì)上就是在一塊專用NPU芯片上開發(fā)AI程序?？偟膩碚f，我們大概需要解決以下幾個(gè)問題：

訓(xùn)練模型（在模型設(shè)計(jì)階段就需要考慮算子是否能夠被硬件支持的問題）

轉(zhuǎn)換模型。通常加速器是不能直接運(yùn)行tf之類模型的（有些平臺可以直接運(yùn)行，可能是由驅(qū)動中間層實(shí)現(xiàn)的隱式的轉(zhuǎn)換，個(gè)人水平有限此處不展開了討論），因此我們需要把AI網(wǎng)絡(luò)轉(zhuǎn)換成硬件能夠運(yùn)行的執(zhí)行文件。其實(shí)就是把模型轉(zhuǎn)換成加速器硬件看得懂的一組操作。在Vitis AI 中，我們需要把tf pt等框架的模型轉(zhuǎn)換成xmodel文件。

實(shí)現(xiàn)具體的加速程序，也就是在我們的程序中正確的調(diào)用各種加速器，來加速我們的APP。

其實(shí)我們問題總結(jié)一下，我們就得到了Vitis AI下搭建一個(gè)系統(tǒng)所需要的基本思路（如圖所示）。

注意：此處框圖列出的思路和實(shí)際的步驟有一點(diǎn)區(qū)別，為了大家理解我做了一點(diǎn)簡化，此處僅僅體現(xiàn)我們從零開始搭建一個(gè)系統(tǒng)的通用思想。實(shí)際的步驟和工具的使用會在后續(xù)博客中詳細(xì)的介紹。

這里其實(shí)還是需要強(qiáng)調(diào)下，雖然我列出了很多步驟，但是并不是說每一步都需要我們獨(dú)立完成。在真實(shí)的項(xiàng)目中，整個(gè)開發(fā)流程通常需要一個(gè)團(tuán)隊(duì)來完成。上圖是AMD Xilinx的官方的圖，展示了 Vitis AI流程下需要的工程師角色和開發(fā)的方向。這些角色的工作其實(shí)是相對獨(dú)立的。通常而言，我們只需要在官方工程的基礎(chǔ)上，根據(jù)我們的需求來重新開發(fā)我們需要的部分就好。例如，如果你僅需要修改AI模型，我們完全可以跳過硬件設(shè)計(jì)部分，直接使用AMD Xilinx幫我們設(shè)計(jì)好的平臺。如果你只需要改硬件，你也可以使用官方的程序，跳過AI訓(xùn)練的步驟。

關(guān)于AMD Xilinx的軟件工具，開發(fā)環(huán)境

下面我們來聊一聊VitisAI需要的開發(fā)工具和開發(fā)環(huán)境。對于Vitis AI開發(fā)來說，我主要用到的開發(fā)工具就是 Vivado (HLS) / Petalinux / Vitis / Vitis AI。由于工具的名字比較多，這里我把對應(yīng)的工具和對應(yīng)的開發(fā)方向做一個(gè)簡單的介紹，方便大家快速找到自己需要的工具。

硬件

如果你是一個(gè)傳統(tǒng)FPGAer，那一定不需要我來介紹Vivado這個(gè)工具了。Vivado作為來設(shè)計(jì)數(shù)字電路和硬件系統(tǒng)的專用開發(fā)工具，基本上是人手必備了。我我唯一想要提醒的是，基于Vitis的流程來開發(fā)你的加速器時(shí)，我更推薦使用Linux開發(fā)環(huán)境，而不是Window。一個(gè)經(jīng)典的 Ubuntu 16.4.4 系統(tǒng)作為開發(fā)環(huán)境，可以節(jié)約我們很多寶貴的時(shí)間。

Vivado的BlockDesign是很Vitis流程中很常用的功能之一

嵌入式、硬件、軟件

Petalinux是 ZynqMP系列官方工程原配的系統(tǒng)，雖然理論上很多芯片已經(jīng)可以運(yùn)行Ubuntu 和 pynq，但是想要深入官方的工程，Petalinux還是不得不品嘗的。Petalinux準(zhǔn)確的來說其實(shí)是整套Linux的開發(fā)工具，而不僅僅是單純系統(tǒng)本身。舉個(gè)例子：在用Petalinux自動化生成設(shè)備樹，一般說的是在我們的開發(fā)環(huán)境（比如Ubuntu中）使用Petalinux工具來生成。Petalinux本身是需要安裝的，也沒有任何的GUI環(huán)境，因此對于新手有一定難度。但是想要開發(fā)一個(gè)屬于自己的動態(tài)可加載的加速應(yīng)用（例如，KV260的動態(tài)加載的APP模式），Petalinux的流程是必須的。我打算日后單獨(dú)來聊一聊。

Petalinux還可以配置FPGA特定的功能和應(yīng)用

由于名字類似，Vitis 和 Vitis AI 恐怕最最令人迷惑的兩個(gè)工具了。實(shí)際上，這兩個(gè)工具是兩個(gè)完全不同的東西。Vitis 其實(shí)是一個(gè)集成開發(fā)環(huán)境，有安裝包，有GUI，它和Vivado有點(diǎn)類似（這個(gè)軟件改名叫Vitis SDK或許更合適）。在目前的流程中，Vitis主要用來開發(fā)嵌入式程序（C）和集成加速器（Verilog/HLS）。后面這部分似乎與Vivado類似，在Vitis中加入這部分的原因，主要是考慮到，Vivado不能很方便的進(jìn)行軟件聯(lián)調(diào)。參考上面的流程圖，實(shí)際設(shè)計(jì)中我們?nèi)绻瓿?a target="_blank">嵌入式軟件后想要修改硬件，就需要返回到Vivado中重新設(shè)計(jì)，重新使用Petalinux工具編譯，最后修改軟件。這個(gè)流程經(jīng)過好幾個(gè)軟件，可以說非常痛苦的。Vitis的流程很好的解決這個(gè)問題。在Vitis中，我們可以很方便的重新連接IP端口，修改IP數(shù)量。硬件的編譯，系統(tǒng)的修改，都可以由Vitis自動完成（其實(shí)Vitis在后臺調(diào)用的還是Vivado的命令）。當(dāng)然，Vitis會限制我們對于硬件平臺的修改，也不能完整編譯Petalinux，因此具體流程中我們需要三個(gè)軟件配合才能讓其流暢的工作。具體的流程，我會在后續(xù)的博客中具體的分析。

Vitis有不少老工具的既視感

AI

最后讓我們來談?wù)刅itis AI。如果你不知道Vitis AI是什么，請記住，其實(shí)Vitis AI不是一個(gè)軟件而是一套給 AI開發(fā)者的工具腳本環(huán)境樣例的集合。像所有的github項(xiàng)目一樣，Vitis AI不需要安裝，下載Vitis AI只需要找到項(xiàng)目地址，然后根據(jù)README下載和配置即可。

假設(shè)你是一個(gè)純AI的開發(fā)者想要玩Vitis AI，其實(shí)你并不需要去管Vivado、petalinux、Vitis這種工具。因?yàn)锳I幾乎是一個(gè)純軟件的部分。如果你只是先要運(yùn)行一個(gè)基本的demo，你需要做的只是找到Vitis AI項(xiàng)目地址，clone，然后打開Vitis AI 的toturial。至于嵌入式系統(tǒng)，加速器硬件，你只需要下載一個(gè)官方編譯好的系統(tǒng)，燒錄進(jìn)SD卡，最后打開開發(fā)板。你就會發(fā)現(xiàn)，系統(tǒng)，環(huán)境，加速器，都已經(jīng)準(zhǔn)備好了。您的開發(fā)工作僅僅就參考我上圖的流程中AI的部分（嵌入式以上的部分就好）。

Vitis AI是一個(gè)Github的項(xiàng)目

小結(jié)

本篇主要是閑談個(gè)人對于Vitis AI的整個(gè)開發(fā)流程的理解，主要是想幫助一下新手快速找到一個(gè)開發(fā)目標(biāo)，不至于迷失在大量的工具的方向中。后續(xù)的博客中，我會繼續(xù)嘗試介紹一些開發(fā)流程中的細(xì)節(jié)。

審核編輯：湯梓紅