基于DSP＋FPGA的實時圖像去霧增強系統(tǒng)設計 - 全文

1、引言

圖像信息作為人類感知世界最直觀的信息之一，為我們認識世界提供了極大的幫助。近代以來隨著微電子技術的不斷發(fā)展，圖像信息經過了從無到有，從模擬到數(shù)字，從黑白到彩色，從可見光到多光譜等的不斷演進，圖像質量（分辨率、清晰度等）也有了極大提高。同時人類對圖像質量要求也在不斷提高，其中可見光圖像由于跟人眼成像最為相近其觀感對人的影響更大，因而對其質量要求更高。但受可見光傳輸及成像機理所限，所成圖像往往會受天氣如霧霾、光線不足等從成像過程暫時尚無法克服問題的困擾，需要對其進行事后處理。同時，在圖像跟蹤等應用領域，對圖像進行處理所帶來的時間延遲對伺服系統(tǒng)又是一種致命的缺點。基于以上問題，本文設計了一種基于TI TMS320C6455+FPGA的實時圖像去霧增強系統(tǒng)，并將其應用于工程實際。

2、系統(tǒng)結構和工作原理

2.1、系統(tǒng)結構

本圖像去霧增強系統(tǒng)采用DSP+FPGA架構完成。其中DSP使用TI公司生產的高速定點數(shù)字信號處理芯片TMS320C6455，該芯片是TI公司基于第三代高速C6000平臺開發(fā)而成，主頻1.2GHz，片上存儲器L1P程序緩存256kbit，L1D數(shù)據(jù)緩存256kbit，L2緩存16Mbit，64位通路的EDMA控制器，EMIF接口支持16bit、32bit、64bit寬度，速度可達100MHz。FPGA采用ALTERA高端StratixII系列芯片，型號為EP2S系列EP2S60-F1020C5，該芯片具有邏輯單元60440，RAM總數(shù)318024kbit，DSPblocks36個，18bit×18bit乘法器144個，PLL12個，最大使用IO數(shù)718個。視頻編解碼使用3M公司芯片DS90CR285和DS90CR286實現(xiàn)。

2.2、系統(tǒng)工作原理

本系統(tǒng)結構框圖如圖1所示。

圖1 ?實時圖像去霧增強系統(tǒng)硬件框圖

基于DSP+FPGA架構的圖像處理系統(tǒng)是當前一種比較成熟穩(wěn)定且廣泛應用的硬件結構，該結構系統(tǒng)中，F(xiàn)PGA通常作為一種調度使用，圖像處理算法實現(xiàn)主要靠高速處理信號處理芯片DSP完成，在跟蹤等領域圖像數(shù)據(jù)只需單向進入DSP，處理后輸出相應參數(shù)即可，在實時視頻圖像處理中大量圖像數(shù)據(jù)只需通過EMIF輸入，且輸出數(shù)據(jù)量較小可以實時完成。但在去霧增強過程中圖像不僅要輸入處理后還需要輸出，為了不造成DSP芯片EMIF口阻塞只能實行輸入、輸出分時進行，對于連續(xù)圖像數(shù)據(jù)來說就需要做緩存，如此則會帶來相應的數(shù)據(jù)延遲。為了去除這一延時，本圖像去霧增強系統(tǒng)僅將參數(shù)求取放入DSP中進行，而去霧增強算法最終實現(xiàn)由FPGA來完成。這樣去除了圖像數(shù)據(jù)在DSP與FPGA之間傳輸時的時延，且FPGA屬于純硬件實現(xiàn)因此實時性更好。

去霧增強系統(tǒng)采用香港微軟亞洲研究院何凱明先生的“暗通道”原理并對其改進后完成，由于該原理基本公式是一項不可求解的病態(tài)過程，實際應用中去霧算法的實現(xiàn)主要是公式中光介質傳輸系數(shù)t（x）和大氣背景光強度A兩參數(shù)的估計約束，由于這兩項參數(shù)求解需要對全幅圖像進行濾波等處理得出，運算量極大且理論上無法達到實時，因此本系統(tǒng)采取DSP與FPGA分工處理的方法進行。其中DSP主要完成上述兩項參數(shù)的估計，F(xiàn)PGA對圖像每個像素灰度值進行計算，該系統(tǒng)硬件工作分工及過程如圖2所示。具體算法將在下節(jié)介紹。

圖2 ? 實時圖像去霧增強系統(tǒng)硬件工作分工及過程圖

3、去霧增強算法

3.1、“暗通道”基本原理

在圖像處理領域，對因霧霾等影響造成圖像模糊應用比較廣泛的數(shù)學模型如式（1）所示：

I（x）=J（x）·t（x）+A［1-t（x）］（1）

其中I（x）表示成像設備對真實場景所成的觀察圖像即受霧霾影響所成圖像，J（x）表示真實場景圖像即不受霧霾影響的理想圖像，t（x）表示成像設備對光線的接收比例即光介質傳輸系數(shù)，A表示大氣背景光強度。對圖像進行去霧處理的實質是對公式（1）從左至右的逆推過程即已知觀察圖像I（x）求理想圖像J（x）。在實際的應用場景中，因為空氣具有自主流動性，在有限空間內可以認為大氣介質是均勻的其光傳輸系數(shù)不變可用式（2）進行表示：

t（x）=e-βd（x）（2）

其中β表示大氣散射系數(shù)，d（x）表示場景圖像的深度信息。結合公式（1）、（2）可以看出由于t（x）、J（x）、A同為未知量，是一個不可解過程。

HE的“暗通道”原理認為一副圖像中由于成像場景中陰影、色彩或暗表面等的影響，彩色圖像某一色彩通道、黑白圖像的某一局部區(qū)域有比較小甚至趨近于零的亮度值。某一圖像I（x）可用公式（3）表示：

Idark（x）=c∈{r，g，b}min（y∈ω（x）min（Ic（y）））→0（3）

式（3）中Ic表示圖像I的某一色彩通道，對于灰度圖像則表示圖像灰度值。ω（x）表示圖像中坐標x處周圍大小一定的圖像塊。HE等經過對大量圖片試驗證明無霧霾影響情況下Idark都比較小甚至趨近于零，這一發(fā)現(xiàn)就稱為“暗通道”原理。

3.2、圖像去霧處理

在“暗通道”原理支撐下HE在文獻［3］中綜合公式（1）~（3）對光介質傳輸系數(shù)t（x）進行估計約束，由于大氣背景光強度A始終為正值，假設其為已知值的情況下可得出公式（4）表示的估計值槇t（x）：

通過打量圖片試驗證明大氣背景光強度A可用先前選定的“暗通道”中最亮像素點灰度值的0.1%來進行估計。在對大氣背景光強度A和光介質傳輸系數(shù)t（x）有了合理估計約束后不難得出圖像去霧增強求解公式（5）：

J（x）=（（I（x）-A）/max（t（x），t0））+A（5）

對去霧增強圖像求解的難點及重點是光介質傳輸系數(shù)t（x）的合理估計及對求解結果的優(yōu)化處理。為此本系統(tǒng)采用傳統(tǒng)的具有保邊效果的中值濾波來進行處理。實驗證明該簡化處理不僅能完全滿足實時處理要求，且最終處理結果同樣令人滿意。

4、實驗結果

為驗證本實時圖像去霧增強系統(tǒng)的有效性，搭建了實時仿真平臺，該平臺將輸入視頻在FP-GA中分兩路輸出，一路視頻輸出原始圖像，另一路輸出去霧后圖像，完全同時、同場景圖像的對比。

圖3 ?彩色相機實驗結果圖（ａ、ｂ、ｃ、ｄ）

實驗分兩組，實驗一采用彩色相機在薄霧天氣下進行，分別列出在光線較強、光線較弱、光線正常視場較小、光線正常視場較大的4種條件下所得（a）（b）（c）（d）4組實驗結果對比圖，如圖3所示。

圖4 ?黑白相機實驗結果圖

實驗二采用黑白相機在比較濃的霧天下進行，分別列出（a）（b）（c）3組觀察霧天中塔吊不同部位的實驗結果，如圖4所示。

分析圖3實景實驗圖片可以看出，本系統(tǒng)對霧霾天氣下成像有了明顯改善，使圖像清晰度顯著提高，圖3（b）可以看出本系統(tǒng)同時具有圖像增強功能，在光照條件極差情況下，經本系統(tǒng)處理能清晰顯示圖像內容。圖4實驗采用黑白相機在霧霾比較重環(huán)境下進行，可以看出該條件下本系統(tǒng)同樣具有較好的處理效果。需要指出的是，該系統(tǒng)在有霧或光照條件差的情況下能有效去除這些不利條件影響，而在成像條件好的情況下不對圖像施加其他不利影響。

5、結論

設計了一款基于DSP+FPGA的嵌入式實時圖像去霧增強處理系統(tǒng)。實驗表明，該系統(tǒng)能穩(wěn)定有效去除霧霾對圖像造成的影響，提高圖像清晰度，且對光照條件差的圖像具有明顯的增強效果。訪系統(tǒng)可有效提高成像系統(tǒng)環(huán)境適應性，在監(jiān)控、偵察等軍民領域都具有廣泛的應用前景。