從FPGA說(shuō)起的深度學(xué)習(xí)：任務(wù)并行性

這是新的系列教程，在本教程中，我們將介紹使用 FPGA 實(shí)現(xiàn)深度學(xué)習(xí)的技術(shù)，深度學(xué)習(xí)是近年來(lái)人工智能領(lǐng)域的熱門話題。

在本教程中，旨在加深對(duì)深度學(xué)習(xí)和 FPGA 的理解。

用 C/C++ 編寫深度學(xué)習(xí)推理代碼

高級(jí)綜合 (HLS) 將 C/C++ 代碼轉(zhuǎn)換為硬件描述語(yǔ)言

FPGA 運(yùn)行驗(yàn)證

從這篇文章中，我們將從之前創(chuàng)建的網(wǎng)絡(luò)模型中提取并行性，并確認(rèn)處理速度得到了提高。首先，我們檢查當(dāng)前模型的架構(gòu)，并考慮什么樣的并行化是可性的。

并行化方法研究

當(dāng)前模型架構(gòu)的框圖如下所示。限于篇幅省略了maxpool2d和relu。

在這個(gè)模塊中，conv1、conv2、fc1、fc2都是作為不同的模塊實(shí)現(xiàn)的。FPGA內(nèi)部的SRAM在每一層之間插入一個(gè)緩沖區(qū)（x', x'', x''' ），這個(gè)緩沖區(qū)成為每一層的輸入和輸出。此后，每一層（conv1、conv2、fc1、fc2）被稱為一個(gè)任務(wù)。

順序處理（基線）

下圖顯示了使用該模塊對(duì) 3 幀圖像執(zhí)行推理處理時(shí)的執(zhí)行時(shí)間可視化。

每個(gè)任務(wù)的執(zhí)行時(shí)間以推理模塊的實(shí)際運(yùn)行波形為準(zhǔn)，是conv2>conv1>fc1>fc2的關(guān)系。在該模塊中，conv1、conv2、fc1和fc2作為單獨(dú)的任務(wù)實(shí)施，但是這些任務(wù)一次只能運(yùn)行一個(gè)（后面會(huì)解釋原因）。因此，如果將conv1、conv2、fc1、fc2各層的執(zhí)行時(shí)間作為最終的執(zhí)行時(shí)間，則這3幀圖像的t0, t1, t2, t3處理時(shí)間為3 * (t0 + t1 + t2 + t3)

任務(wù)并行度

假設(shè)我們可以修復(fù)這些任務(wù)并發(fā)運(yùn)行。這種情況下的執(zhí)行時(shí)間如下所示，多個(gè)任務(wù)可以同時(shí)處理不同的幀。

提取并行性使多個(gè)任務(wù)可以同時(shí)運(yùn)行，稱為任務(wù)并行化。在這個(gè)過(guò)程中，conv2的執(zhí)行時(shí)間占主導(dǎo)地位，所以3幀的處理時(shí)間為t0 + 3 * t1 + t2 + t3。

理想的任務(wù)并行度

最后，我們考慮可以理想地執(zhí)行任務(wù)并行化的模式。如上所述，如果只提取任務(wù)并行性，最慢的任務(wù)就會(huì)成為瓶頸，整體處理速度會(huì)受到該任務(wù)性能的限制。因此，最有效的任務(wù)并行是所有任務(wù)都具有相同的執(zhí)行時(shí)間。

在這種情況下，處理時(shí)間t0 + 3 * t1 + t2 + t3保持不變，但t0 = t1 = t2 = t3調(diào)整了每個(gè)任務(wù)的執(zhí)行時(shí)間，從而提高了性能。在本課程中，實(shí)現(xiàn)這種加速的技術(shù)被稱為循環(huán)并行化和數(shù)據(jù)并行化。這兩種并行度提取方法將在下一篇文章中介紹。

任務(wù)并行化

在本文中，第一個(gè)目標(biāo)是執(zhí)行任務(wù)并行化。

由于這次創(chuàng)建的模塊中有多個(gè)任務(wù)，貌似已經(jīng)可以并行處理了，但在實(shí)際波形中并不是這樣。之所以不能并行化，是因?yàn)樽鳛閤', x'', x'''任務(wù)間接口的buffer()不能被多個(gè)任務(wù)同時(shí)使用。對(duì)于任務(wù)并行化，任務(wù)之間的接口必須可以同時(shí)被兩個(gè)或多個(gè)任務(wù)讀寫。

在這個(gè)模塊x'中，任務(wù)級(jí)并行化是通過(guò)在任務(wù)之間使用乒乓緩沖區(qū)來(lái)實(shí)現(xiàn)的。乒乓緩沖區(qū)有兩個(gè)緩沖區(qū)，一個(gè)用于寫入，一個(gè)用于讀取。帶有乒乓緩沖器的框圖如下所示：

帶有乒乓緩沖器的推理模塊

如果以這種方式配置電路，存儲(chǔ) conv1 輸出的緩沖區(qū)和 conv2 從中讀取輸入的緩沖區(qū)是分開(kāi)的，因此 conv1 和 conv2 可以同時(shí)運(yùn)行。雖然圖中省略了，但所有層都可以通過(guò)雙緩沖conv2 <-> fc1，fc1 <-> fc2同時(shí)操作。

要在 RTL 中實(shí)現(xiàn)這一點(diǎn)，準(zhǔn)備兩個(gè)緩沖區(qū)并實(shí)現(xiàn)切換機(jī)制會(huì)很麻煩，但在 Vivado/Vitis HLS 中，只需添加一些 pragma 即可實(shí)現(xiàn)這種并行化。

代碼更改

對(duì)于此任務(wù)并行化，我們需要添加以下三種類型的編譯指示。

#pragmaHLSdataflow
#pragmaHLSstable
#pragmaHLSinterfaceap_ctrl_chain

在解釋每個(gè)pragma的作用之前，我先inference_dataflow展示一下新增函數(shù)的源代碼。與第五篇中的inference_top函數(shù)重疊的部分省略。

60voidinference_dataflow(constfloatx[kMaxSize],
61constfloatweight0[kMaxSize],constfloatbias0[kMaxSize],
62constfloatweight1[kMaxSize],constfloatbias1[kMaxSize],
63constfloatweight2[kMaxSize],constfloatbias2[kMaxSize],
64constfloatweight3[kMaxSize],constfloatbias3[kMaxSize],
65floaty[kMaxSize]){
66#pragmaHLSdataflow
67#pragmaHLSinterfacem_axiport=xoffset=slavebundle=gmem0
...
76#pragmaHLSinterfacem_axiport=yoffset=slavebundle=gmem9
77#pragmaHLSinterfaces_axiliteport=xbundle=control
...
86#pragmaHLSinterfaces_axiliteport=ybundle=control
87#pragmaHLSinterfaces_axiliteport=returnbundle=control
88#pragmaHLSinterfaceap_ctrl_chainport=returnbundle=control
89
90#pragmaHLSstablevariable=x
91#pragmaHLSstablevariable=weight0
92#pragmaHLSstablevariable=bias0
93#pragmaHLSstablevariable=weight1
94#pragmaHLSstablevariable=bias1
95#pragmaHLSstablevariable=weight2
96#pragmaHLSstablevariable=bias2
97#pragmaHLSstablevariable=weight3
98#pragmaHLSstablevariable=bias3
99#pragmaHLSstablevariable=y
100
101dnnk::inference(x,
102weight0,bias0,
103weight1,bias1,
104weight2,bias2,
105weight3,bias3,
106y);
107}

第66 行添加#pragma HLS dataflow的 pragma使inference_dataflow這些內(nèi)部函數(shù)之間的接口成為乒乓緩沖區(qū)并啟用任務(wù)并行化。第 101 行調(diào)用的函數(shù)dnnk::inference是下面的函數(shù)，它通過(guò)第 20 行的#pragma HLS inline編譯指示在函數(shù)內(nèi)inference_dataflow內(nèi)嵌展開(kāi)。因此，諸如 conv2d, relu的函數(shù)符合任務(wù)并行化的條件，它們的接口 ( x1, x2, ...) 是一個(gè)乒乓緩沖區(qū)。

14staticvoidinference(constfloat*x,
15constfloat*weight0,constfloat*bias0,
16constfloat*weight1,constfloat*bias1,
17constfloat*weight2,constfloat*bias2,
18constfloat*weight3,constfloat*bias3,
19float*y){
20#pragmaHLSinline
...
34
35//1stlayer
36conv2d(x,weight0,bias0,kWidths[0],kHeights[0],kChannels[0],kChannels[1],3,x1);
37relu(x1,kWidths[0]*kHeights[0]*kChannels[1],x2);
38maxpool2d(x2,kWidths[0],kHeights[0],kChannels[1],2,x3);
39
...
48
49//4thlayer
50linear(x8,weight3,bias3,kChannels[3],kChannels[4],y);
51}

inference_dataflow從函數(shù)的第90行#pragma HLS stable開(kāi)始，在x, weight0, y輸入/輸出等函數(shù)inference_dataflow的入口/出口處自動(dòng)完成同步。如果不去掉這個(gè)同步，兩個(gè)進(jìn)程之間就會(huì)產(chǎn)生依賴，比如“上一幀y輸出完成->下一幀x輸入準(zhǔn)備好”，多任務(wù)就不行了。另請(qǐng)參閱Vivado HLS 官方文檔 ( UG902 )，了解有關(guān)穩(wěn)定陣列部分的詳細(xì)說(shuō)明。

最后，inference_dataflow該函數(shù)第88行的pragma修改了外部寄存器接口，使得#pragma HLS interface ap_ctrl_chain port=return該函數(shù)可以用于同時(shí)處理多個(gè)幀。inference_dataflow如果沒(méi)有這個(gè) pragma，即使你實(shí)現(xiàn)了 ping-pong 緩沖區(qū)，主機(jī)端也只會(huì)嘗試一個(gè)一個(gè)地執(zhí)行它們，性能不會(huì)提高。

綜合結(jié)果確認(rèn)

可以在檢查綜合時(shí)檢查任務(wù)并行化是否順利進(jìn)行。

下面是HLS綜合結(jié)果報(bào)告，Latency -> Summary一欄列出了整個(gè)函數(shù)的延遲和執(zhí)行間隔（Interval）。在這里，整體延遲仍然是所有任務(wù)處理時(shí)間的總和，但執(zhí)行間隔的值conv2d_232_U0與第二個(gè)卷積層的執(zhí)行周期數(shù)相匹配。該模塊的吞吐量是第二個(gè)卷積層執(zhí)行間隔的倒數(shù)。

正如本文開(kāi)頭所解釋的，conv2d_232_U0處理時(shí)間成為此任務(wù)并行化后電路中的瓶頸。任務(wù)并行化的速度提升率為947407 / 504898 = 1.88倍。

通過(guò)這種方式，我們能夠確認(rèn) HLS 能夠正確實(shí)現(xiàn)任務(wù)并行化。

總結(jié)

在本文中，我們通過(guò)提取任務(wù)并行性來(lái)加速處理。本來(lái)conv2占用了一半以上的執(zhí)行時(shí)間，所以提速幅度不到2倍，如果設(shè)置為N，最大提速為N倍。

在下一篇文章中，我們將通過(guò)對(duì)卷積層應(yīng)用數(shù)據(jù)并行化和循環(huán)并行化來(lái)解決每一層處理時(shí)間的不平衡。