CMOS圖像傳感器的FPGA邏輯設(shè)計(jì)解析

CMOS圖像傳感器是近些年發(fā)展較快的一種新型圖像傳感器。CMOS圖像傳感器具有體積小、成本低、重量輕、功耗低、易于控制等優(yōu)點(diǎn)，已經(jīng)廣泛應(yīng)用于各種圖像采集系統(tǒng)中。機(jī)載CMOS成像系統(tǒng)是基于CMOS圖像傳感器的一種適用于機(jī)載應(yīng)用環(huán)境的圖像采集系統(tǒng)?？捎行Ы鉀Q機(jī)載復(fù)雜環(huán)境下常規(guī)工業(yè)相機(jī)的各種缺陷和應(yīng)用問(wèn)題，滿足市場(chǎng)的應(yīng)用需求。FPGA邏輯設(shè)計(jì)是車(chē)載CMOS成像系統(tǒng)的關(guān)鍵設(shè)計(jì)，本文將探討關(guān)于的CMOS圖像傳感器的FPGA邏輯設(shè)計(jì)。

什么是FPGA邏輯設(shè)計(jì)？

FPGA邏輯設(shè)計(jì)是本成像系統(tǒng)的工作重點(diǎn)，針對(duì)選用的CMOS傳感器的技術(shù)特點(diǎn)，對(duì)各個(gè)功能模塊進(jìn)行了設(shè)計(jì)和優(yōu)化。FPGA的邏輯設(shè)計(jì)實(shí)現(xiàn)了CMOS傳感器的數(shù)據(jù)采集、圖像處理、接口變換等邏輯功能。

FPGA邏輯設(shè)計(jì)的實(shí)現(xiàn)

（1）圖像采集邏輯設(shè)計(jì)。圖像采集邏輯設(shè)計(jì)主要包括CMOS圖像傳感器的驅(qū)動(dòng)設(shè)計(jì)和傳感器原始輸出數(shù)據(jù)的采集與轉(zhuǎn)換設(shè)計(jì)。圖像采集邏輯設(shè)計(jì)流程框圖如圖1所示。

圖1圖像采集邏輯設(shè)計(jì)流程框圖

SPI通訊模塊Spi_fast_com完成對(duì)CMOS的初始化配置，選用了4000×3000矩陣的輸出模式，輸出10位的LVDS數(shù)據(jù)。通過(guò)Sensor_deser傳感器數(shù)據(jù)采集模塊，實(shí)現(xiàn)數(shù)據(jù)流的串行移位解碼［3］，產(chǎn)生同步控制信號(hào)和8路的10bit數(shù)據(jù)流，數(shù)據(jù)采集部分包括了LVDS解碼、解串訓(xùn)練、同步發(fā)生、通道變換等邏輯設(shè)計(jì)。數(shù)據(jù)轉(zhuǎn)換中，Binning變換主要實(shí)現(xiàn)對(duì)傳感器數(shù)據(jù)的均值處理和分辨率調(diào)整，圖2為Binning算法的基本原理示意。

圖2Binning算法原理示意圖

Tap4to1變換主要實(shí)現(xiàn)4行數(shù)據(jù)（500點(diǎn)）到標(biāo)準(zhǔn)行長(zhǎng)度（2000點(diǎn)）的合并。Bayer變換主要實(shí)現(xiàn)Bayer數(shù)據(jù)域到RGB數(shù)據(jù)域的轉(zhuǎn)換。由于Bayer數(shù)據(jù)域中，每個(gè)像素單元僅采集單個(gè)顏色數(shù)據(jù)（R，B，Gr/Gb），Bayer變換過(guò)程中，使用臨近像素單元的其他分量進(jìn)行近似替代，根據(jù)不同的中心坐標(biāo)，選用不同的替代模板。

（2）圖像處理邏輯設(shè)計(jì)。圖像處理邏輯設(shè)計(jì)主要完成對(duì)采集后數(shù)據(jù)的圖像處理，涉及的圖像處理算法包括：數(shù)字增益、色彩增強(qiáng)、自動(dòng)白平衡、Gamma校正、顏色/灰度統(tǒng)計(jì)、中值濾波、亮度/對(duì)比度增強(qiáng)、圖像裁剪、圖像縮放。圖3為圖像處理邏輯設(shè)計(jì)流程框圖。

圖3圖像處理邏輯設(shè)計(jì)流程框圖

各個(gè)圖像處理算法均采用流水線式設(shè)計(jì)，合理優(yōu)化算法結(jié)構(gòu)，降低資源占用，保證了圖像處理算法的實(shí)時(shí)性。針對(duì)流程中的圖像縮放需求，設(shè)計(jì)了不依托外部存儲(chǔ)單元的圖像縮放核（基于內(nèi)部行buffer結(jié)構(gòu)），有效縮小系統(tǒng)硬件規(guī)模。

（3）圖像接口邏輯設(shè)計(jì)。圖像接口邏輯設(shè)計(jì)包括高清數(shù)字DVI接口和標(biāo)清模擬PAL接口的邏輯驅(qū)動(dòng)設(shè)計(jì)，實(shí)現(xiàn)成像系統(tǒng)最終顯示畫(huà)面的輸出。對(duì)于數(shù)字DVI接口，需要產(chǎn)生標(biāo)準(zhǔn)的1080P數(shù)字信號(hào)，邏輯設(shè)計(jì)包括DDR2的多端口橋接設(shè)計(jì)和DVI驅(qū)動(dòng)控制設(shè)計(jì)［5］。圖4（a）為DVI接口數(shù)據(jù)流發(fā)生示意圖。

圖4接口數(shù)據(jù)流設(shè)計(jì)流程框圖

DVI的同步發(fā)生模塊控制數(shù)據(jù)流的同步時(shí)序，從DDR2緩存區(qū)中讀取相應(yīng)區(qū)域的數(shù)據(jù)，數(shù)據(jù)流發(fā)生模塊接收數(shù)據(jù)后，同步生成DE、HS、VS等同步信號(hào)，產(chǎn)生標(biāo)準(zhǔn)的DVI視頻流。經(jīng)DVI編碼電路編碼后，產(chǎn)生標(biāo)準(zhǔn)DVI輸出。對(duì)于模擬PAL接口，需對(duì)逐行的RGB數(shù)據(jù)進(jìn)行轉(zhuǎn)換，按PAL制式輸出視頻流。采用DDR2緩存（P2I轉(zhuǎn)換）+PAL數(shù)據(jù)處理的純邏輯方案，實(shí)現(xiàn)輸出數(shù)據(jù)流的重構(gòu)。邏輯設(shè)計(jì)主要包括多端口DDR2讀寫(xiě)橋接設(shè)計(jì)和PAL驅(qū)動(dòng)控制設(shè)計(jì)。基本設(shè)計(jì)框圖如圖4（b）。相比數(shù)字視頻輸出顯示的DDR2操作，PAL制式輸出視頻流在DDR2讀出操作上有所差別。

（4）自動(dòng)曝光邏輯設(shè)計(jì)。在不同環(huán)境照度下，成像系統(tǒng)需要控制不同的曝光時(shí)間并調(diào)節(jié)增益系數(shù)，以獲取合適的圖像數(shù)據(jù)。自動(dòng)曝光與增益算法即系統(tǒng)對(duì)曝光和增益的控制算法，對(duì)算法進(jìn)行了設(shè)計(jì)開(kāi)發(fā)，對(duì)全場(chǎng)景進(jìn)行了區(qū)域分割，分別進(jìn)行信息統(tǒng)計(jì)，算法能夠根據(jù)場(chǎng)景的統(tǒng)計(jì)結(jié)果自動(dòng)完成調(diào)整。圖5為自動(dòng)曝光和增益的基本原理圖。

圖5自動(dòng)曝光和增益的基本原理圖

自動(dòng)曝光、增益算法總的調(diào)節(jié)過(guò)程可描述為：需要降亮度時(shí)，先調(diào)增益，再調(diào)曝光時(shí)間；提高亮度時(shí)，先調(diào)曝光時(shí)間，再調(diào)增益。

小結(jié)：

將來(lái)些年內(nèi)，基于CMOS圖像傳感器的影像產(chǎn)品將達(dá)到50%以上，很有可能到時(shí)CMOS圖像傳感器將取代CCD而成為行業(yè)市場(chǎng)的新寵。由此可見(jiàn)，CMOS攝像機(jī)的市場(chǎng)前景非常廣闊。CMOS圖像傳感器還可應(yīng)用于數(shù)字靜態(tài)攝像機(jī)和醫(yī)用小型攝像機(jī)等。