計算機視覺應用之OpenCV基礎教程

從工業(yè)檢測系統(tǒng)到自動駕駛系統(tǒng)，計算機視覺是一個包括許多有趣應用的廣泛領域。許多這樣的系統(tǒng)在原型和實現(xiàn)階段都要用到開源計算機視覺 (Open Source Computer Vision Library，OpenCV)。OpenCV優(yōu)化了許多功能函數(shù)，并在實時的計算機視覺程序中得到應用。但是，由于嵌入式優(yōu)化策略得天獨厚的優(yōu)勢，仍然值得大家嘗試利用邏輯硬件來加速OpenCV的性能。

目前，OpenCV被廣泛用于開發(fā)計算機視覺應用中。OpenCV包含2500多個優(yōu)化的視頻函數(shù)的函數(shù)庫，并且專門針對臺式機處理器和圖形處理器（Graphic Processing Unit，GPU）進行優(yōu)化。

Xilinx提供的Vivado HLS高層次綜合工具能夠通過C/C++ 編寫的代碼直接創(chuàng)建RTL硬件，顯著提高設計效率；同時，Xilinx Zynq全可編程SOC系列器件嵌入雙核ARM Cortex-A9處理器將軟件可編程能力與FPGA的硬件可編程能力實現(xiàn)完美結合，以低功耗和低成本等系統(tǒng)優(yōu)勢實現(xiàn)單芯片無以倫比的系統(tǒng)性能、靈活性、可擴展性，加速圖形處理產(chǎn)品設計上市時間。OpenCV擁有成千上萬的用戶，而且OpenCV的設計無需修改即可在 Zynq器件的ARM處理器上運行。但是，利用OpenCV實現(xiàn)的高清處理經(jīng)常受外部存儲器的限制，尤其是存儲帶寬會成為性能瓶頸，存儲訪問也限制了功耗效率。通過Xilinx公司提供的Vivado HLS高級語言綜合工具，設計者可以輕松實現(xiàn)OpenCV C++視頻處理設計到RTL代碼的轉換，將其轉換為可以在Zynq實現(xiàn)的硬件加速器或者在FPGA上實現(xiàn)的實時硬件視頻處理單元。

1、 OpenCV和HLS視頻庫

如圖15.83所示，OpenCV在視頻處理系統(tǒng)中可以有不同的應用方式。在圖15.83(a)中，算法的設計和實現(xiàn)完全依賴于OpenCV的函數(shù)調(diào)用，利用文件的訪問功能進行圖片的輸入、輸出和處理；在圖15.83(b)中，算法可以在嵌入式系統(tǒng)（例如Zynq Base TRD）中實現(xiàn)，利用特定平臺的函數(shù)調(diào)用訪問輸入輸出圖像，但是，視頻處理的實現(xiàn)依賴于嵌入式系統(tǒng)中處理器（例如Cortex?-A9）對OpenCV功能函數(shù)的調(diào)用；在圖15.83(c）中，處理算法的OpenCV功能函數(shù)被Xilinx Vivado HLS視頻庫函數(shù)替換，而OpenCV函數(shù)則用于訪問輸入和輸出圖像，提供視頻處理算法實現(xiàn)的設計原型。Vivado HLS提供的視頻庫函數(shù)可以被綜合，在對這些函數(shù)綜合后，可以將處理程序模塊整合到諸如Zynq的可編程邏輯中。這樣，這些程序邏輯塊就可以處理由處理器生產(chǎn)的視頻流、從文件中讀取的數(shù)據(jù)、外部輸入的實時視頻流。

圖15.83 OpenCV應用的不同方式

Vivado HLS包含大量的視頻庫函數(shù)，方便于構建各種各樣的視頻處理程序。通過可綜合的C++代碼，實現(xiàn)這些視頻庫函數(shù)。在視頻處理功能和數(shù)據(jù)結構方面，這些綜合后的代碼與OpenCV基本對應。許多視頻概念與抽象和OpenCV非常相似，很多圖像處理模塊函數(shù)和OpenCV庫函數(shù)一致。

例如，OpenCV中用于代表圖片的很重要的一個類便是cv::Mat類，cv::Mat對象定義如下：
cv::Mat image(1080, 1920, CV_8UC3);

該行代碼聲明了一個1080×1920像素，每一個像素都是由3個8位無符號數(shù)表示的變量image。對應的HLS視頻庫模板類hls::Mat<>聲明如下：
hls::Mat<2047, 2047, HLS_8UC3> image(1080, 1920);

這兩行代碼的參數(shù)形式、圖像尺寸最大值、語法規(guī)則不同，生成的對象是相似的。如果圖像規(guī)定的最大尺寸和圖像的實際尺寸相同的話，也可以用下面的代碼替代：
hls::Mat<1080, 1920, HLS_8UC3> image( );

表15.14給出了一個簡單的圖像轉換函數(shù)應用對比（功能實現(xiàn)dst=src*2.0+0.0）。

表15.15和表15.16給出了OpenCV和HLS視頻庫的核心結構和HLS視頻庫。

2、AXI4流和視頻接口

通過AXI4流協(xié)議，Xilinx提供的視頻處理模塊實現(xiàn)像素數(shù)據(jù)通信。盡管底層AXI4流媒體協(xié)議不需要限制圖片尺寸，但是，若圖片尺寸相同，則將會大大簡化大部分的復雜視頻處理計算。對于遵循AXI4流協(xié)議的輸入接口，可以保證每一幀都包含ROWS * COLS的像素。在保證前面視頻幀保持完整性和矩形性的情況下，后續(xù)模塊實現(xiàn)對視頻幀有效地處理。

如表15.17所示，Vivado HLS包含2個可綜合的視頻接口轉換函數(shù)。