『 RJIBI 』-基于FPGA的YOLO-V3物體識別計算套件

1.?? 引言

基于RJIBI公司硬件開發(fā)套件的YOLO-V3物體識別檢測算法的相應(yīng)軟、硬件實現(xiàn)。

本文主要闡述和規(guī)定了兩大部分內(nèi)容：（1）機器學習推理框架針對在MPSOC FPGA平臺上的ARM核心的軟件部署方法（2）針對MPSOC FPGA平臺的YOLOV-V3算法和相關(guān)接口的硬件實現(xiàn)和部署流程。

主要指標

（1）FPGA硬件計算平臺為 RJIBI FACE系列板卡套件

（2）深度學習訓(xùn)練框架：采用YOLO 原作者使用的 Darknet 訓(xùn)練框架

（3）深度學習推理框架：TensorFlow Lite、Caffe2

（4）支持目標檢測網(wǎng)絡(luò)模型：YOLO-V3，YOLO-V3-Tiny

（5）目標檢測網(wǎng)絡(luò)模型推理精度（mAP）在COCO數(shù)據(jù)集上：

YOLO-V3 ≥ 55%

YOLO-V3-Tiny ≥ 30%

（6）目標檢測網(wǎng)絡(luò)參數(shù)存儲位寬要求：

YOLO-V3 采用IEEE 754 標準的32-bit浮點數(shù)

YOLO-V3-Tiny 采用16-bit定點數(shù)

（7）關(guān)鍵性能指標在416X416圖片上的參數(shù)：

目標檢測速率：

YOLO-V3 ≥ 10幀/秒

YOLO-V3-Tiny ≥ 60 幀/秒

系統(tǒng)設(shè)計功耗：

FPGA + ARM 異構(gòu)處理器 ≤ 20W

系統(tǒng)峰值32-bit浮點計算能力：

FPGA + ARM 異構(gòu)處理器 ≥ 100GFlops

（8）模塊化、可重用、可配置的深度學習FPGA加速IP核：

卷積層、Batch Normalization 層、池化層

硬件資源評估：

（1）??? ARM CPU：MPSOC異構(gòu)芯片整合了ARM比較先進的64位雙核Cortex-A53核心，其運行頻率最高可達1.3GHz。這款CPU內(nèi)核對于邊緣計算的嵌入式設(shè)備來說已經(jīng)是非常強大的通用計算核心，所以在這款CPU上搭載常用的64位Linux 操作系統(tǒng)（Ubuntu 16.04/18.04 LTS）。

（2）??? ARM CPU 對應(yīng)內(nèi)存：板卡中為 ARM核配備的內(nèi)存只有512MB，這個內(nèi)存容量對于動輒內(nèi)存占用GB級別的大型深度學習推理框架（TensorFlow、Pytorch）來說是明顯不夠的。因此擬采用針對嵌入式平臺的深度學習推理框架（TensorFlow Lite、Caffe2）對YOLO-V3物體識別網(wǎng)絡(luò)進行支持。

（3）??? FPGA 硬件資源：MPSOC異構(gòu)芯片的FPGA核心部分擁有600K以上系統(tǒng)邏輯單元（System Logic Cell）、32.1Mb片上存儲資源、2520個數(shù)字信號處理單元（DSP Slice）和328個IO接口。其FPGA邏輯部分最高頻率可到500MHz。

（4）??? FPGA 核心對應(yīng)內(nèi)存：FACE板卡為FPGA核心配備了可以獨立于CPU核心進行DMA操作的 4GB DDR4 64-bit SODIMM 內(nèi)存，經(jīng)過乙方的深度、詳盡的測試，其峰值讀寫性能可達4GB/s。經(jīng)過乙方的詳細估算，其DMA訪存的讀寫性能是可以滿足甲方所提的YOLO-V3目標檢測網(wǎng)絡(luò)的關(guān)鍵性能指標。因此，乙方擬將參數(shù)模型和推理所用的數(shù)據(jù)集預(yù)先存儲在FPGA核心對應(yīng)的DDR4內(nèi)存上，隨后再進行推理操作，并測量YOLO-V3網(wǎng)絡(luò)的具體性能指標。

軟件概述

（1）?????? YOLO-V3 和 YOLO-V3-Tiny 網(wǎng)絡(luò)的深度學習訓(xùn)練框架，采用YOLO原作者使用的Darknet框架，因為這個框架是開源框架中唯一能完美復(fù)現(xiàn)YOLO-V3和YOLO-V3-Tiny網(wǎng)絡(luò)訓(xùn)練結(jié)果的框架。 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
? ?針對FPGA的深度學習網(wǎng)絡(luò)加速器性能設(shè)計的關(guān)鍵是在具體的計算并行度和訪存并行度之間進行一個最有的折中，因為任何計算平臺都有其理論的計算和訪存性能峰值。為此，針對計算平臺的Roofline 性能尋優(yōu)的具體算法和程序。該算法或程序的輸入?yún)?shù)為：（1）需要加速的YOLO網(wǎng)絡(luò)具體參數(shù)（格式可以常用的.cfg深度神經(jīng)網(wǎng)絡(luò)配置文件格式）（2）FPGA平臺的FPGA核心硬件資源和對應(yīng)片外訪存的峰值性能指標。該算法對應(yīng)的輸出為，在不同訪存/計算并行度條件下，位于最優(yōu)的帕累托曲線上的硬件設(shè)計。其輸入結(jié)果如下圖所示。

硬件方案概述

硬件平臺的具體形況分析，本軟件方案簡要概述如下：

（1）? ??ARM-FPGA片上AMBA總線接口如下圖紅色方框所示。在可編程邏輯（Programmable Logic）也就是FPGA和ARM核心之間是通過片上的AMBA高速總線進行信息交互的。因此為了使用CPU+FPGA的異構(gòu)架構(gòu)對YOLO目標檢測網(wǎng)絡(luò)進行硬件加速，乙方需要為ARM核心上的軟件程序提供調(diào)用FPGA硬件深度學習IP硬件核心的軟件調(diào)用方法和相應(yīng)的硬件支持接口和協(xié)議。為此開發(fā)針對卷積、Batch Normalization和池化層的硬件調(diào)用接口。

（2）??? FPGA核心DMA訪存硬件接口。根據(jù)硬件開發(fā)平臺和相應(yīng)YOLO-V3網(wǎng)絡(luò)算法的分析，將YOLO網(wǎng)絡(luò)參數(shù)和推理所需的圖片存儲在FPGA核心對用的DDR4內(nèi)存中。根據(jù)Roofline 模型，DMA訪存帶寬的大小直接決定了相應(yīng)加速器的最終系統(tǒng)性能指標。因此針對YOLO-V3模型參數(shù)的讀取、不同網(wǎng)絡(luò)層中間結(jié)果緩存和識別結(jié)果的寫入提供了靈活、模塊化、和高度優(yōu)化的DMA訪存硬件模塊設(shè)計。

（3）??? FPGA硬件算子設(shè)計。YOLO目標檢測網(wǎng)絡(luò)主要由卷積層、Batch Normalization層和池化層這三種算子組成。接口均采用AXI總線的標準格式進行封裝，并且采用模塊化、可復(fù)用、易懂的代碼風格進行編寫。

（4）?? YOLO 硬件加速器算子間流水線、緩存優(yōu)化設(shè)計。在將YOLO網(wǎng)絡(luò)的某一層映射到FPGA硬件的過程中，有非常多的優(yōu)化參數(shù)需要確定，如每一個數(shù)據(jù)點的處理順序、存儲位置和并行處理單元的數(shù)量和實現(xiàn)算法，這些參數(shù)并不會改變神經(jīng)網(wǎng)絡(luò)原有的結(jié)構(gòu)和運算的結(jié)果，但卻是決定流水線性能、能耗和資源消耗的關(guān)鍵指標。為解決這個問題，需基于線性緩沖區(qū)的單層網(wǎng)絡(luò)調(diào)度方案，降低流水線延遲和提高數(shù)據(jù)在FPGA片上的重用率。從性能和能效性考慮，將YOLO神經(jīng)網(wǎng)絡(luò)的不同層連接起來并實現(xiàn)層與層之間的流水線是最好的選擇，但是在具體實現(xiàn)過程中有很多困難。首先，在神經(jīng)網(wǎng)絡(luò)的實際運行過程中，上一層的輸出數(shù)據(jù)和下一層的輸入數(shù)據(jù)的格式、速率和排布方式等并不相同，因此如何合理的實現(xiàn)不同層之間的數(shù)據(jù)互聯(lián)是是一個亟待解決的問題。其次，F(xiàn)PGA的片上資源是有限的，如何將盡可能多的甚至整個神經(jīng)網(wǎng)絡(luò)層都映射到FPGA上并實現(xiàn)高效的流水線非常困難的，這
就需要一個跨層的流水線整體調(diào)度方案。

lw