嵌入式AI解決方案中內(nèi)存驅(qū)動的設(shè)計介紹

（文章來源：粵訊）

EdgeBoard是百度打造的基于FPGA的嵌入式AI解決方案及基于此方案實現(xiàn)的系列硬件。作為端側(cè)的解決方案，沒有在PL側(cè)為FPGA設(shè)計專用的內(nèi)存，而是采用了PS和PL側(cè)共用DDR內(nèi)存的結(jié)構(gòu)。因此，對這種異構(gòu)系統(tǒng)的CPU和FPGA的協(xié)調(diào)就落在了內(nèi)存的管理方面，這就是驅(qū)動系統(tǒng)中關(guān)于內(nèi)存管理的子系統(tǒng)。

在FPGA芯片PS側(cè)，CPU使用多級緩存來訪問DDR，在Linux操作系統(tǒng)中，使用內(nèi)存映射頁面，而對DDR的物理連續(xù)性沒有要求，它們被映射到虛擬連續(xù)的地址空間中。而在PL側(cè)的FPGA一般未使用任何緩存機制，它們在計算中都是直接訪問DDR。每一次讀寫操作都是讀或?qū)懸粋€連續(xù)的內(nèi)存空間，而且要求這片內(nèi)存的起始地址要對齊在一個特定的地址偏移處。一次計算中的多次讀寫都要求訪問的DDR是一致連續(xù)的。

針對CPU和FPGA這樣的內(nèi)存需求，我們設(shè)計Linux驅(qū)動內(nèi)存的子系統(tǒng)時，就要充分考慮到：1）cache的影響；2）FPGA使用內(nèi)存的物理連續(xù)性；3）傳遞給FPGA使用的內(nèi)存塊要滿足偏移要求。

針對上述需求，我們采用分隔物理內(nèi)存的設(shè)計方案，從整體系統(tǒng)中保留其中的一部分內(nèi)存，讓Linux只使用另一部分內(nèi)存。這部分被保留的內(nèi)存，分配權(quán)歸內(nèi)存驅(qū)動，驅(qū)動從保留部分中分配的內(nèi)存塊在Linux系統(tǒng)中和FPGA系統(tǒng)中都可以訪問。在此期間，分配時要保證物理連續(xù)和起始偏移特性，使其能滿足FPGA的需求。

在EdgeBoard實踐中，我們采用的是Xilinx的ZynqMP系列的FPGA芯片，使用PetaLinux工具鏈來編譯Linux內(nèi)核,并采用DeviceTree中的reserved-memory節(jié)點來實現(xiàn)內(nèi)存的保留。例如，系統(tǒng)總體2GB內(nèi)存，保留1GB給FPGA，留下1GB給Linux操作系統(tǒng)，DeviceTree中相關(guān)節(jié)點的設(shè)定就是這樣的：

FPGA總體設(shè)備驅(qū)動是采用字符設(shè)備platform driver的形式來編寫的：在Device的probe階段，對驅(qū)動內(nèi)所保留的內(nèi)存塊做好內(nèi)存映射（memremap），并使用合理的數(shù)據(jù)結(jié)構(gòu)，保存好各個參數(shù)，以供后續(xù)使用。例如：

mem_start、mem_end、base_addr 等結(jié)構(gòu)成員的定義如下：

關(guān)于內(nèi)存的分配，采用了mmap調(diào)用的方式：在FPGA設(shè)備的初始化期間，初始化字符設(shè)備時傳遞了file_operations結(jié)構(gòu)變量，這個結(jié)構(gòu)變量的mmap指針初始化為我們的內(nèi)存分配函數(shù)。內(nèi)存分配中，我們使用了內(nèi)核提供的bitmap數(shù)據(jù)結(jié)構(gòu)，來管理我們保留的內(nèi)存區(qū)域——bitmap位數(shù)組中的每一位代表著16k的一個內(nèi)存塊，另外還使用相同長度的數(shù)組來管理內(nèi)存被分配的客戶owner（即file指針）、內(nèi)存分配的塊的數(shù)量等信息。

另外，在分配的內(nèi)存對應(yīng)的vma中，我們還注冊了自己的私有數(shù)據(jù)private data來記錄對應(yīng)內(nèi)存的必要信息：如對應(yīng)內(nèi)存塊的總線物理地址范圍和映射地址、bitmap位數(shù)組的索引等，用于地址轉(zhuǎn)換；再如對應(yīng)內(nèi)存塊的一些finger信息，用來標識保留內(nèi)存塊。已分配出去的內(nèi)存塊都需要回收，其中有兩種最具代表性的情況，一種是用戶release一塊內(nèi)存的處理，另一種則是用戶關(guān)閉設(shè)備時對未release的內(nèi)存塊的清理回收。

當(dāng)用戶release一個內(nèi)存塊時，對應(yīng)的vma的close函數(shù)會被自動執(zhí)行。為此，我們注冊這個函數(shù)作為內(nèi)存釋放處理函數(shù)：函數(shù)實現(xiàn)中，首先檢測private data避免錯誤處理，然后恢復(fù)對應(yīng)的bitmap位數(shù)組中的位信息，清理owner和塊數(shù)量信息，使得這塊保留內(nèi)存又回到了待分配的狀態(tài)。

當(dāng)用戶關(guān)閉設(shè)備時，會調(diào)用設(shè)備注冊的release函數(shù)。因此，在設(shè)備的release函數(shù)中，我們遍歷owner數(shù)組來清理owner與設(shè)備的file指針相同的內(nèi)存塊，以此達到批量回收的目的。內(nèi)存的地址轉(zhuǎn)換，是完成總線物理地址和虛擬邏輯地址的雙向轉(zhuǎn)換，為內(nèi)存cache的flush/invalidate、以及交由FPGA之時要進行的處理等提供支撐。系統(tǒng)也通過兩個IOCTL向用戶層暴露這兩個轉(zhuǎn)換操作。

地址轉(zhuǎn)換操作中，首先找到對應(yīng)的vma，然后計算出offset，最后檢查vma對應(yīng)的標識是不是保留的內(nèi)存塊——如果是，就使用我們vma保存的private_data中的信息及offset完成相關(guān)的計算。在CPU及其異構(gòu)兄弟FPGA之間，使用DDR內(nèi)存來傳送數(shù)據(jù)時，需要使用flush或invalidate來消除對應(yīng)緩存的影響。

首先，我們的驅(qū)動代碼是運行在CPU上面的，當(dāng)針對一片內(nèi)存的處理從CPU轉(zhuǎn)移到FPGA之前，需要對這片內(nèi)存的cache執(zhí)行flush操作，使得內(nèi)存cache中的所有改動都寫入到DDR，然后FPGA開始對它的處理工作。其次，當(dāng)針對一片內(nèi)存的處理從FPGA轉(zhuǎn)移到CPU之前，需要對這片內(nèi)存的cache執(zhí)行invalidate操作，使得cache內(nèi)容無效，下次CPU直接讀取即從DDR中去主動load從而刷新cache。這樣，CPU就可以很好地跟FPGA相處了。

另外，我們可以通過建立一些IOCTL的方式為不同進程之間的內(nèi)存共享做出一些快速、簡潔的方案，這也是我們可以在內(nèi)存驅(qū)動中設(shè)計考慮的。
? ? ? ? （責(zé)任編輯：fqj）