使用VVAS調用HLS生成硬件加速器的主要流程

本文作者：AMD 工程師Shaoyi Chen

本篇博客介紹 VVAS 框架所支持調用的 H/W(HLS) 內核。 H/W 內核指的是使用 HLS 工具生成的在 FPGA 部分執(zhí)行的硬件功能模塊。

HLS kernel 創(chuàng)建：

我們以 smartcam 的預處理作為例子，相關的代碼可以在參考鏈接中找到。xf_pp_pipeline 的作用是將輸入圖像的格式從 NV12 轉換為 BGR，再進行減均值和歸一化操作。xf_pp_pipeline 的實現基于 HLS vision library。Vitis 視覺庫是為在 Vitis 開發(fā)環(huán)境中工作而設計的，它為在 FPGA 設備上加速的計算機視覺功能提供了一個軟件接口。Vitis 視覺庫的功能大多與 OpenCV 的功能相似。更多的詳細說明可以在參考鏈接中找到。

xf_pp_pipeline_accel.cpp 作為硬件的一部分，需要將它和 platform 結合在一起。v++ 將 HLS kernel 打包為 xo 文件用于后續(xù)的硬件集成。

kv260_ispMipiRx_vcu_DP 是 smartcam 應用使用的 platform，xf_pp_pipeline.cpp 打包成 xo 對象后，通過v++ 鏈接為完整的硬件工程并生成 xclbin 文件。完整的硬件框圖如下圖所示，紅框部分為對應的 HLS kernel。

Kernel 調用：

使用 VVAS 框架為 xf_pp_pipeline.cpp 編寫自定義驅動是要實現四個函數，分別是：

xlnx_kernel_start

xlnx_kernel_done

xlnx_kernel_init

xlnx_kernel_deinit

xlnx_kernel_init() 函數讀取 json 文件中的 mean_r、mean_g、mean_b、scale_r、scale_g、scale_b。

xlnx_kernel_start() 函數為 HLS kernel 配置參數。

xlnx_kernel_deinit() 函數用來釋放不需要的句柄。

xlnx_kernel_done() 函數進行超時檢測。

通過這四個函數就完成了 VVAS 自定義插件的設計。在 smartcam 應用運行時，通過命令行 gst-launch-1.0 -v filesrc XXXXXX ! queue ! vvas_xmultisrc kconfig="/opt/xilinx/kv260-smartcam/share/vvas/facedetect/preprocess.json" ! XXXXXX 完成插件的調用。

其中 preprocess.json 的內容為：

本文簡要介紹了 VVAS 調用 HLS 生成的硬件加速器的主要流程，更多的細節(jié)可以參考 VVAS 手冊。

審核編輯：湯梓紅