UIUC推出最新DNN/FPGA協(xié)同方案 助力物聯(lián)網(wǎng)終端設備AI應用

UIUC、IBM 和 Inspirit IoT, Inc（英睿物聯(lián)網(wǎng)）的研究人員提出 DNN 和 FPGA 加速器的協(xié)同設計方案（DNN/FPGA co-design），通過首創(chuàng)的「Auto-DNN」網(wǎng)絡搜索引擎 +「Auto-HLS」加速器生成技術，自動生成適用于終端設備的 DNN 模型及 FPGA 加速器設計。在使用相同的終端設備，由該協(xié)同設計自動生成的物體檢測方案在檢測精度、速度和效能方面均大幅領先現(xiàn)時最優(yōu)的 DAC'18 System Design Contest 冠軍方案。

嵌入式 FPGA 助力 AI 應用靈活部署

現(xiàn)時，大量的 AI 應用被部署在物聯(lián)網(wǎng)設備中以滿足實際場景需求?？v使云端服務器能分擔大部分 AI 應用的計算壓力，部分對實時性要求高的任務受限于網(wǎng)絡延時，還是需要在終端設備處理，如自動駕駛車輛、無人機上的物體識別，場景分割任務等。在物聯(lián)網(wǎng)終端設備中部署 DNN，設計者需要克服 DNN 精度要求高、實時性要求強、能耗要求低、終端設備可用資源少等困難。

通過在終端中使用嵌入式 FPGA 作為 DNN 加速器，設計人員可獲得更低的延時和能耗（對比 CPU/GPU 解決方案），以及更高的靈活度和更短的產(chǎn)品上市周期（對比 ASIC 解決方案）。然而，在資源受限的嵌入式 FPGA 中部署 DNN 加速器依然困難重重。

高質(zhì)量 AI 應用需要 DNN/FPGA 協(xié)同設計

通常，DNN 及 FPGA 加速器會被分成兩步獨立設計。

一方面，DNN 設計會優(yōu)先滿足精度需求，并在部署時寄望硬件加速器能提供足夠高的吞吐率和實時性能。但由于 DNN 在設計初期缺乏對目標硬件特性的考量，網(wǎng)絡結(jié)構(gòu)會過分復雜并產(chǎn)生冗余，容易超出目標硬件可承受范圍。

另一方面，DNN 加速器在架構(gòu)確定后會通過比例縮放計算和存儲單元以適應不同大小的 FPGA。在硬件資源極度受限時，過分縮小加速器會大幅減慢 DNN 推理計算效率，最終導致無法滿足應用實時性、吞吐率等要求。

上述獨立設計方法需要經(jīng)歷多次反復設計 DNN 及加速器，如在 DNN 設計時嘗試網(wǎng)絡剪枝、稀疏化、參數(shù)量化等以減少網(wǎng)絡推理計算量，在加速器設計時嘗試不同核心計算單元、調(diào)試并行參數(shù)等以適配硬件可用資源。這類設計需要探索巨大的設計空間，異常繁瑣和耗時。

為此，作者認為業(yè)界需要一種更高效的自動 DNN/FPGA 協(xié)同設計方案：在設計 DNN 時充分考慮加速器架構(gòu)、資源約束等硬件因素；并且，同時生成高度優(yōu)化的 FPGA 加速器以用于物聯(lián)網(wǎng)終端設備。

自動客制化 DNN/FPGA 加速方案

本文提出的協(xié)同設計流程（圖 1）共包含 4 個主要模塊：1）DNN 結(jié)構(gòu)模板 Bundle-Arch；2）網(wǎng)絡搜索引擎 Auto-DNN；3）低延時加速器基礎架構(gòu) Tile-Arch；4）加速器生成器 Auto-HLS。其中，前兩個模塊用于 DNN 結(jié)構(gòu)搜索，而后兩模塊對應 FPGA 加速器設計。

協(xié)同設計第一步是搭建 Bundle 并對 Bundle 建立計算延時和資源消耗模型。對于給定的 AI 任務（分類、物體檢測等），系統(tǒng)從硬件 IP 池中選取神經(jīng)網(wǎng)絡組件并組合成多個 Bundle（如圖 1 左下的 Bundle 1 包含了 Conv3x3，Conv5x5，Pooling 和 Relu 共 4 個 IP）作為 DNN 基本結(jié)構(gòu)，并通過分析模型獲取每一個 Bundle 在目標 FPGA 上的延時和資源消耗。這確保 DNN 在設計之初就包含了足夠的硬件信息。

在第二步，該方案選擇前 N 個滿足性能和資源要求且精度最高的 Bundle 搭建原型網(wǎng)絡。在對 Bundle 作粗 / 細粒度評估后，每一個 Bundle 將被置于「硬件性能 - DNN 精度」空間，并將硬件性能指標相近的 Bundle 分為一組。每組精度最高的若干個 Bundle（共 N 個）會被選中并交由下一步處理。

最后一步，Auto-HLS 產(chǎn)生精準硬件性能信息協(xié)助 Auto-DNN 更新原型網(wǎng)絡。基于 Bundle 的 DNN 結(jié)構(gòu)（圖 2）擁有網(wǎng)絡層數(shù)多寡、通道數(shù)增減等不同配置。Auto-DNN 使用隨機坐標下降（SCD）算法探索 DNN 配置，并借助 Auto-HLS 產(chǎn)生的硬件性能信息（如運算延時、資源消耗等）為反饋，選擇最適合目標硬件且精度最好的設計。