采用FPGA+ARM方案實(shí)現(xiàn)紅外視頻網(wǎng)絡(luò)傳輸系統(tǒng)的設(shè)計(jì)

人類接收的信息約有70%來(lái)自視覺(jué)。因此，圖像采集及處理設(shè)備在人們的日常生活中占有很重要的地位。隨著互聯(lián)網(wǎng)的普及及帶寬的提高，使得圖像的網(wǎng)絡(luò)傳輸成為可能，且應(yīng)用范圍越來(lái)越廣，為人們的日常生活帶來(lái)了極大的便利。同時(shí)，隨著非制冷紅外技術(shù)的發(fā)展，紅外熱像系統(tǒng)在軍用和民用領(lǐng)域得到了廣泛的應(yīng)用。根據(jù)美國(guó)紅外市場(chǎng)權(quán)威調(diào)查機(jī)構(gòu)Maxtech International發(fā)布的2006年度紅外市場(chǎng)報(bào)告，2003年至2006年全球民用紅外熱像儀的平均增長(zhǎng)幅度為17%，并且正展現(xiàn)出更廣闊的市場(chǎng)需求。

由此可見(jiàn)，便于應(yīng)用的紅外視頻網(wǎng)絡(luò)傳輸系統(tǒng)具有良好的應(yīng)用前景，適用于森林防火，監(jiān)控系統(tǒng)，電力設(shè)備，航空航天，石化，建筑，冶金，交通，邊防海防等方面。

嵌入式紅外網(wǎng)絡(luò)視頻傳輸系統(tǒng)主要由硬件部分和軟件部分組成。硬件部分由視頻采集模塊，視頻編解碼模塊，圖像處理模塊，數(shù)據(jù)壓縮模塊，網(wǎng)絡(luò)傳輸模塊等組成;軟件部分采用嵌入式操作系統(tǒng)設(shè)計(jì)。

紅外網(wǎng)絡(luò)視頻傳輸具有良好的應(yīng)用前景和商業(yè)價(jià)值，本項(xiàng)目的核心在于紅外處理，盡管目前紅外處理算法已經(jīng)相對(duì)成熟，但仍然存在不少弊端，所以本項(xiàng)目力求在原有算法的基礎(chǔ)上提出創(chuàng)新。

本項(xiàng)目計(jì)劃采用virtex2或spartan3e芯片，將紅外處理算法模塊集成于FPGA內(nèi)部，包括濾波，非均勻性校正，灰度拉伸，偽彩增強(qiáng)等部分，通過(guò)ISE開(kāi)發(fā)平臺(tái)設(shè)計(jì)各個(gè)算法模塊，并通過(guò)XPS將用戶IP集成于硬件系統(tǒng)上，通過(guò)內(nèi)置MAC地址及IP的方式將處理完畢的圖像或視頻信息通過(guò)以太網(wǎng)傳輸至PC客戶端。

項(xiàng)目信息

1.項(xiàng)目名稱：基于SOPC的紅外視頻網(wǎng)絡(luò)傳輸系統(tǒng)

2.應(yīng)用領(lǐng)域：森林防火，監(jiān)控系統(tǒng)，電力設(shè)備，航空航天，石化，建筑，冶金，交通，邊防海防

3.系統(tǒng)平臺(tái)概述與資源分析：

硬件系統(tǒng)組圖如下：

圖1基于SOPC的紅外視頻網(wǎng)絡(luò)傳輸系統(tǒng)

本框架采用FPGA+ARM的方案，可分為三個(gè)部分：前端圖像采集模塊（由CPLD、A/D、CCD等構(gòu)成）;FPGA模塊（采用Spartan-3A DSP XA3SD1800A）和ARM模塊。由圖像采集模塊進(jìn)行紅外圖像采集，并把采集的圖像灰度數(shù)據(jù)送FPGA模塊進(jìn)行處理，處理完成后的數(shù)據(jù)送ARM模塊進(jìn)行圖像控制顯示。在初步設(shè)計(jì)階段可不考慮ARM模塊，由FPGA直接控制顯示（本框架未對(duì)ARM模塊接口進(jìn)行細(xì)化）。整體框架圖如圖1所示，其中對(duì)FPGA內(nèi)部圖形處理算法模塊做了細(xì)化，數(shù)據(jù)處理流程分析如下。

FPGA模塊中的數(shù)據(jù)流程分析如下：Microblaze軟核CPU與前端采集模塊（CPLD、A/D、CCD）交互把數(shù)據(jù)經(jīng)雙口RAM0（緩存）采集到DDR中，Microblaze通過(guò)控制PLB總線加載采集的圖像送算法處理模塊進(jìn)行處理，算法處理模塊首先進(jìn)行邊界擴(kuò)展（此步驟也可省略），邊界擴(kuò)展是僅對(duì)一幀圖像邊界數(shù)據(jù)進(jìn)行鏡面反射來(lái)完成，即邊界數(shù)據(jù)的擴(kuò)展存儲(chǔ)實(shí)現(xiàn)，不需要進(jìn)行數(shù)據(jù)運(yùn)算即可完成，擴(kuò)展后數(shù)據(jù)緩存到RAM0，即可進(jìn)行均值濾波，均值濾波對(duì)每一個(gè)像素的消噪處理需要8次加法和1次乘法。384×288個(gè)像素可并行處理，處理完的數(shù)據(jù)送到RAM1進(jìn)行下一步非均勻校正。在非均勻校正中，校正增益和校正偏移量是在測(cè)溫前由高低溫定標(biāo)產(chǎn)生，兩個(gè)校正因子可并行進(jìn)行運(yùn)算獲得，獲得后的因子存入RAM1中，以便非均勻校正時(shí)直接加載。在非均勻校正中，384×288個(gè)像素可并行進(jìn)行，每個(gè)像素需1次乘法和1一次加法運(yùn)算。處理完成后的數(shù)據(jù)送到RAM2進(jìn)行下一步的溫度標(biāo)定和灰度拉伸。溫度標(biāo)定和灰度拉伸兩者可并行進(jìn)行。由于溫度標(biāo)定和灰度拉伸需對(duì)整幀圖像處理，所以若要減少RAM2的容量，可考慮把圖像存入DDR中，需要時(shí)再讀出。在灰度拉伸中，首先進(jìn)行直方圖統(tǒng)計(jì)，統(tǒng)計(jì)圖像各灰度值的像元個(gè)數(shù)，找出圖像有效灰度范圍，并求出最小值min和最大值max。把最大值和最小值代入三段的斜率計(jì)算公式，計(jì)算出斜率后即可進(jìn)行灰度拉伸，灰度拉伸每個(gè)像素需要做2次比較、1次減法、1次乘法和1次加法，384×288個(gè)像素可以并行處理?；叶壤焱瓿珊蟮臄?shù)據(jù)送RAM3進(jìn)行下一步的偽彩處理，偽彩是把每個(gè)像素點(diǎn)的灰度值轉(zhuǎn)換R、G、B對(duì)應(yīng)的三分量，因此可對(duì)384×288個(gè)像素并行處理。而每個(gè)像素點(diǎn)R、G、B的轉(zhuǎn)換也可以并行運(yùn)算。轉(zhuǎn)換后的數(shù)據(jù)送雙口RAM1，然后由RAM模塊進(jìn)行讀出存入SD卡中，進(jìn)行控制顯示。在前期開(kāi)發(fā)FPGA模塊時(shí)也可直接送LCD顯示。

在進(jìn)行圖形處理過(guò)程中，由于FPGA可以最大化的進(jìn)行并行運(yùn)算，所以不僅可考慮算法模塊內(nèi)部多個(gè)像素之間的并行處理，也要考慮算法模塊之間的并行性，如在進(jìn)行一幀圖像的濾波時(shí)，可同時(shí)進(jìn)行上一幀圖像的校正。

各個(gè)算法模塊實(shí)現(xiàn)如下

圖2校正系數(shù)

圖3校正偏移

圖4非均勻性校正

圖5 灰度拉伸

圖6均值濾波

4.創(chuàng)新點(diǎn)及關(guān)鍵技術(shù)：

精確溫度標(biāo)定技術(shù)：開(kāi)發(fā)出高性能的嵌入式軟件對(duì)成像儀的每個(gè)像素進(jìn)行溫度標(biāo)定，溫度標(biāo)定穩(wěn)定可靠，精度高;

紅外焦平面陣列實(shí)時(shí)非均勻性校正算法及實(shí)現(xiàn)：決焦平面陣列的非均勻性問(wèn)題顯得尤為重要，項(xiàng)目對(duì)傳統(tǒng)非均勻進(jìn)行深入研究的同時(shí)，開(kāi)發(fā)出多種自適應(yīng)校正算法，提高紅外成像系統(tǒng)的校正精度;

圖像噪聲預(yù)處理技術(shù)：由于圖像在采集、傳輸過(guò)程中混入了噪聲，如果不被預(yù)先消除將進(jìn)一步影響圖像的處理和顯示效果，為此對(duì)圖像進(jìn)行濾波預(yù)處理，以消除圖像中混入的噪聲，為后繼圖像處理、顯示打下基礎(chǔ);

嵌入式系統(tǒng)的開(kāi)發(fā)：項(xiàng)目采用基于的FPGA+ARM的雙核架構(gòu)。提高了數(shù)據(jù)傳輸?shù)男屎拖到y(tǒng)的穩(wěn)定性，獲得整個(gè)紅外成像系統(tǒng)的實(shí)時(shí)性能;

紅外圖像增強(qiáng)處理技術(shù)：項(xiàng)目在實(shí)施校正算法的基礎(chǔ)上，提出對(duì)圖像進(jìn)行增強(qiáng)處理研究，以提高圖像的對(duì)比度，進(jìn)一步改善圖像視覺(jué)效果。紅外圖像偽彩色處理的運(yùn)用，利用人眼視覺(jué)對(duì)顏色分辨的敏感性，對(duì)圖像中不同灰度等級(jí)的目標(biāo)以不同的顏色進(jìn)行標(biāo)識(shí)，以突出目標(biāo)細(xì)節(jié)和特征，進(jìn)一步提高圖像目標(biāo)分辨能力和圖像顯示質(zhì)量。

責(zé)任編輯：gt