嵌入式視覺系統(tǒng)的構(gòu)建模塊

傳統(tǒng)嵌入式視覺系統(tǒng)采用FPGA/處理器組合來實現(xiàn)，也有越來越多地使用將高性能處理器與FPGA相結(jié)合的片上系統(tǒng)來實現(xiàn)。在本文中我們將會介紹嵌入式視覺系統(tǒng)的高級元素；如何簡便快捷地使用軟件 API 和 IP 庫構(gòu)建嵌入式視覺系統(tǒng)，如何把算法開發(fā)的增值部分添加到圖像處理鏈中。

從監(jiān)控攝像頭等簡單監(jiān)控系統(tǒng)到更高級的應(yīng)用，例如當今最新款汽車配備的高級駕駛員輔助系統(tǒng) (ADAS)和先進生產(chǎn)設(shè)施及工廠里使用的機器視覺，嵌入式視覺系統(tǒng)已在一系列應(yīng)用中得到使用。不論何種應(yīng)用，嵌入式視覺系統(tǒng)都具備一些共同之處，總體來講它們可以分為下列三大類：

設(shè)備接口 — 提供到所選成像設(shè)備的接口。根據(jù)選擇的設(shè)備類型，提供所需的時鐘、偏置和配置數(shù)據(jù)。這樣還可以從設(shè)備接收圖像數(shù)據(jù)，根據(jù)需要進行解碼和格式化，以供圖像處理鏈做進一步處理。

圖像處理鏈 — 通過設(shè)備接口接收圖像數(shù)據(jù)并進行彩色濾波器陣列內(nèi)插和色域轉(zhuǎn)換(即從彩色轉(zhuǎn)換到灰度)等操作。這部分仍處于我們對接收到的圖像使用大量算法的圖像處理鏈內(nèi)。這些可以是降噪或邊緣增強等簡單算法，也可以是對象識別或光流等復(fù)雜得多的算法。常見情況是在圖像處理鏈的上游部分調(diào)用算法實現(xiàn)方案。當然圖像處理鏈上游的實現(xiàn)復(fù)雜性取決于要實現(xiàn)的應(yīng)用。而輸出格式化部分(即將處理后的圖像數(shù)據(jù)轉(zhuǎn)換為正確格式，以輸出到顯示器或是通過通信接口輸出)被稱為下游部分。

系統(tǒng)監(jiān)視與控制 – 這是一項獨立于設(shè)備接口和圖像處理鏈的類別，它從兩個方面提供系統(tǒng)監(jiān)視和控制。第一個位于設(shè)備內(nèi)部，它提供：
圖像處理鏈的配置
圖像分析功能
在算法執(zhí)行過程中根據(jù)要求更新圖像處理鏈

第二個是更廣泛的嵌入式視覺系統(tǒng)的控制與管理，它提供：

電源管理和圖像設(shè)備上電排序
執(zhí)行自檢及其他系統(tǒng)管理功能
網(wǎng)絡(luò)支持通信或點對點通信
在首次成像操作前通過 I2C 或 SPI 配置圖像設(shè)備

部分應(yīng)用允許系統(tǒng)監(jiān)視功能訪問幀存儲器并在其中的幀上執(zhí)行算法。在這種情況下系統(tǒng)監(jiān)視能夠構(gòu)成圖像處理鏈的一部分。

這三大類別因為每個階段內(nèi)在的難點不同，需要不同的實現(xiàn)方法。設(shè)備接口和圖像處理鏈都要求有能力處理帶寬高數(shù)據(jù)，從而在內(nèi)部實現(xiàn)圖像處理鏈，在外部從系統(tǒng)傳輸圖像數(shù)據(jù)。而系統(tǒng)監(jiān)視與控制要求能夠處理和響應(yīng)通過通信接口接收到的命令并為外部通信提供支持。如果系統(tǒng)監(jiān)視也要構(gòu)成圖像處理鏈的組成部分，就需要一個高性能處理器。

照此，傳統(tǒng)嵌入式視覺系統(tǒng)采用FPGA/處理器組合來實現(xiàn)，也有越來越多地使用將高性能處理器與FPGA相結(jié)合的片上系統(tǒng)來實現(xiàn)。在我們演示上述幾個方面如何結(jié)合在一起之前，我們先來了解一下這三個類別中每一個的不同難點。

設(shè)備接口

傳感器接口由應(yīng)用所選擇的設(shè)備決定，大多數(shù)嵌入式視覺應(yīng)用使用 CMOS 圖像傳感器 (CIS)。一般情況下這些傳感器使用 CMOS 并行輸出總線，用控制信號提示行和幀的有效順序，或者使用速率更高的串行通信，實現(xiàn)較簡單的系統(tǒng)接口，但會導致 FPGA 實現(xiàn)方案略顯復(fù)雜。與并行總線相比，這些串行數(shù)據(jù)流能通過更少數(shù)量的通道傳輸圖像，因為它們以快得多的數(shù)據(jù)速率運行，因此相比并行接口而言，能讓成像器支持更高的幀速率。為實現(xiàn)同步，常見的做法是讓包含圖像及其它數(shù)據(jù)字的數(shù)據(jù)通道與包含用于定義數(shù)據(jù)通道上的內(nèi)容的代碼字的同步通道相結(jié)合。與數(shù)據(jù)通道和同步通道結(jié)合的還有一個時鐘通道，因為該接口采用源同步。這些高速串行通道一般實現(xiàn)為 LVDS 或微擺幅差分信號 (Reduced Swing LVDS)，以降低系統(tǒng)噪聲和功耗。

不論輸出圖像格式如何，通常是 CIS 設(shè)備在獲取任何圖像之前需要由嵌入式視覺系統(tǒng)加以配置。這是由 CIS 設(shè)備的多功能性造成的。這種多功能性在提供強大的片上處理功能的同時，也需要在輸出圖像前使用正確的設(shè)置進行配置。這些接口對帶寬的要求沒有圖像傳輸要求的那么高，因此常常使用 I2C 或 SPI 接口標準。

因為所需的圖像數(shù)據(jù)帶寬較高，經(jīng)常把該接口實現(xiàn)在 FPGA 中，這樣更便于與圖像處理鏈集成。該 CIS 設(shè)備的配置接口一般使用 I2C 或 SPI，它們既可以用 FPGA 實現(xiàn)，也可以用支持這種接口的系統(tǒng)監(jiān)視與控制處理器實現(xiàn)。

圖像處理鏈

圖像處理鏈由上下游元件和接口組成，像素數(shù)據(jù)通過設(shè)備接口輸出。但是接收到的像素的格式可能不能用于正確顯示圖像。我們可能需要進行圖像校正，尤其是在使用彩色成像器的情況下。 為維持所需數(shù)據(jù)率下的吞吐量，圖像處理鏈常實現(xiàn)在 FPGA 中，以發(fā)揮其并行優(yōu)勢。這樣可以生成圖像處理流水線，使得處理鏈的每一步都將并行實現(xiàn)，從而獲得更高的幀速率。但是對部分應(yīng)用我們必須考慮時延，尤其是對高級駕駛員輔助系統(tǒng) (ADAS) 這樣的系統(tǒng)而言。為有效建立圖像處理鏈，我們需要使用通用互聯(lián)協(xié)議作為圖像處理內(nèi)核的基礎(chǔ)，從而方便處理 IP 的互聯(lián)。這樣可以帶來兩重好處：一是可以重復(fù)使用的庫；二是由于每個 IP 核旨在根據(jù)定義的標準接收和發(fā)送數(shù)據(jù)，從而方便流水線的建立。這里有多種常用的協(xié)議可供選用，其中最常見的是 AXI，因其具有同時支持內(nèi)存映射接口和流接口的靈活性。

圖像處理鏈內(nèi)的典型處理階段包括：