關(guān)于ZYNQ HLS圖像處理加速總結(jié)的分享

HLS工具

以個人的理解，xilinx將HLS（高層次綜合）定位于更方便的將復雜算法轉(zhuǎn)化為硬件語言，通過添加某些配置條件HLS工具可以把可并行化的C/C++的代碼轉(zhuǎn)化為vhdl或verilog,相比于純?nèi)斯な褂胿hdl實現(xiàn)圖像算法，該工具綜合出的代碼的硬件資源占用可能較多，但并沒有相差太大（見論文：基于HLS的 SURF特征提取硬件加速單元設計與實現(xiàn)），而純?nèi)斯び糜布枋稣Z言實現(xiàn)一個復雜的圖像處理算法要求十分深厚的FPGA功底，下面簡單總結(jié)下好早之前做的一個在zybo開發(fā)板上的HLS圖像處理通路。

硬件工程概述
demo工程是在xilinx公司實習的同學給的，現(xiàn)在在github上也有zynq_example?
工程里已經(jīng)有了xdma的通路和一個hls矩陣運算的例子，但hls矩陣運算例子里沒用axi-stream總線。圖像數(shù)據(jù)要通過axi-stream總線在各IP之間進行傳輸，而且這里需要vdma進行數(shù)據(jù)搬運，相對于xdma的配置更為復雜。然后在參考了”zynq base TRD”各個版本的例子的基礎上修改了Block Design。vdma IP的配置和軟件驅(qū)動參考的這個xilinx-video-capture(可能要翻墻)。經(jīng)過數(shù)次漫長的綜合最后完成了整個硬件的搭建和軟件測試。。。

FPGA部分

HLS IP生成
之前寫過的一篇HLS代碼分析的代碼用來生成IP核，設置器件xc7z010clg400-1，頻率設置為150M
下面是 C testbench部分函數(shù) top function為”image_filter”
void hls_sobel(IplImage *_src, IplImage *_dst)
{
Mat src(_src);
Mat dst(_dst);
AXI_STREAM src_axi, dst_axi;
cvMat2AXIvideo(src, src_axi);
image_filter(src_axi, dst_axi, src.rows, src.cols,
1, 0, -1, 2, 0, -2, 1, 0, -1,
1, 2, 1, 0, 0, 0, -1, -2, -1,
HLS_SOBEL_HIGH_THRESH_VAL,
HLS_SOBEL_LOW_THRESH_VAL,
HLS_SOBEL_INVERT_VAL);
AXIvideo2cvMat(dst_axi, dst);
}

參見xapp1167的例子
int main (int argc, char** argv)
{
Mat src_rgb = imread(INPUT_IMAGE);
Mat src_yuv(src_rgb.rows, src_rgb.cols, CV_8UC2);
Mat dst_yuv(src_rgb.rows, src_rgb.cols, CV_8UC2);
Mat dst_rgb(src_rgb.rows, src_rgb.cols, CV_8UC3);

cvtcolor_rgb2yuv422(src_rgb, src_yuv);

IplImage src = src_yuv;
IplImage dst = dst_yuv;

hls_sobel(&src, &dst);

cvtColor(dst_yuv, dst_rgb, CV_YUV2BGR_YUYV);
imwrite(OUTPUT_IMAGE, dst_rgb);

opencv_sobel_init();
opencv_sobel(&src, &dst);
cvtColor(dst_yuv, dst_rgb, CV_YUV2BGR_YUYV);
imwrite(OUTPUT_IMAGE_GOLDEN, dst_rgb);

return image_compare(OUTPUT_IMAGE, OUTPUT_IMAGE_GOLDEN);
}

仿真沒問題，綜合后看Timing報告是滿足要求的，然后把IP導到vivado工程中

Block Design

整個工程

僅供參考，里面有好多其他的外設。借鑒官方TRD工程，TRD硬件是zc702板子的+FMC。這個工程里連linux上的Qt demo也給出了(如其名”Targeted Reference Design”)，不過后來的版本ps跑的是petalinux。
PS低速接口GP0用來接各個外設，M_AXI接口從PS出來后接一個S-M轉(zhuǎn)化（這里主要是把AXI3總線轉(zhuǎn)為AXI-Lite總線）接到AXI interconnect上，然后通過AXI-Lite總線接外設。
PS高速接口HP0接DDR和圖像通路的VDMA，也可以把VDMA接到ACP接口上。

圖像通路

時鐘
圖像通路的時鐘為150M，其他外設給的100M。這里要注意HLS生成的IP核控制、VDMA的控制走的還是100M的axi-lite總線在設置reset信號的時候不要接錯。不同頻率的復位信號要單獨由一個reset核產(chǎn)生

vdma配置

數(shù)據(jù)位寬與hls設計相對應，具體的配置說明參考pg020文檔。