紅外與可見光圖像融合方法綜述

圖像融合旨在將來自不同源圖像的互補(bǔ)信息融合在一起，生成一幅具有更高質(zhì)量、更多信息量和更清晰的圖像。紅外與可見光圖像融合（IVIF）是圖像融合領(lǐng)域的研究熱點。

據(jù)麥姆斯咨詢報道，近期，江蘇海洋大學(xué)電子工程學(xué)院的科研團(tuán)隊在《激光與光電子學(xué)進(jìn)展》期刊上發(fā)表了以“紅外與可見光圖像融合：統(tǒng)計分析，深度學(xué)習(xí)方法和未來展望”為主題的文章。該文章第一作者為吳一非，通訊作者為楊瑞。

本文將依次回顧紅外與可見光圖像融合傳統(tǒng)方法和基于深度學(xué)習(xí)的方法，并對前沿深度學(xué)習(xí)方法做重點論述。同時，對圖像融合領(lǐng)域的性能評價方法進(jìn)行系統(tǒng)分類和介紹；最后，對全文進(jìn)行了總結(jié)以及對IVIF方法的展望。

圖像融合方法

傳統(tǒng)方法

IVIF傳統(tǒng)方法的融合框架主要包括三個關(guān)鍵部分：圖像配準(zhǔn)與變換、特征提取與選擇和融合規(guī)則設(shè)計。

基于多尺度變換的方法

IVIF傳統(tǒng)方法中，基于多尺度變換是最受歡迎的方法之一。它的主要步驟包括三個階段：第一階段，將源圖像分解成一系列的多尺度表示；第二階段，根據(jù)手工設(shè)計的融合規(guī)則融合多尺度變換；最后，利用多尺度逆變換得到融合圖像。經(jīng)典的多尺度變換方法包括金字塔變換、小波變換、多尺度幾何分析和邊緣保持濾波器。

基于稀疏表示的方法

與帶前綴基函數(shù)的多尺度變換IVIF方法不同，基于稀疏表示（SR）的方法通過學(xué)習(xí)過完備字典，能夠有效地表示和提取圖像信息。然而，配準(zhǔn)誤差或噪聲可能會對融合后的多尺度表示系數(shù)造成偏差，造成視覺偽影。SR利用滑動窗口技術(shù)將圖像分成多個重疊的塊，將其矢量化以減少偽影并提高對配準(zhǔn)不良的魯棒性。

基于SR的IVIF方法有三個關(guān)鍵步驟：構(gòu)建過完備字典、稀疏編碼和融合策略。過完備字典的質(zhì)量決定了稀疏編碼的信號表示能力，可以將基于SR的方法按照構(gòu)建過完備字典分為兩類：固定基和基于學(xué)習(xí)的方法。用固定基構(gòu)建過完備字典簡單且計算效率高，而基于學(xué)習(xí)方法構(gòu)建的過完備字典更靈活有效。

基于子空間的方法

基于子空間的方法，是傳統(tǒng)方法中比較常用的一種方法。這種方法通過將高維輸入圖像投影到低維空間或子空間中，捕獲源圖像的內(nèi)部結(jié)構(gòu)。典型的基于子空間的方法包括主成分分析、獨(dú)立成分分析和非負(fù)矩陣分解。

基于顯著性的方法

基于顯著性的IVIF方法可以保持顯著目標(biāo)區(qū)域的完整性，減少噪聲、模糊和其他干擾，從而提高融合圖像的視覺質(zhì)量和清晰度。權(quán)重計算和提取顯著對象是紅外與可見光融合中兩種常見的顯著性方法。

基于深度學(xué)習(xí)的方法

基于自動編碼器（AE）的方法

由于神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)驅(qū)動模式下具有較強(qiáng)的非線性擬合能力，為了進(jìn)一步提高圖像融合質(zhì)量,研究者們提出了一系列基于AE的融合方法，融合框架如圖1所示。該類方法一般由兩個步驟組成：首先，使用大型數(shù)據(jù)集預(yù)訓(xùn)練自動編碼器，其中編碼器用于特征提取，解碼器用于圖像重建。然后，大多結(jié)合手工設(shè)計的融合策略將編碼特征進(jìn)行融合以實現(xiàn)最終的圖像融合。

圖1 基于AE的IVIF框架

基于AE的方法都采用了手動設(shè)計的融合策略，盡管取得了不錯的融合效果，但融合結(jié)果可能并不理想。解決手工設(shè)計融合策略問題是改進(jìn)基于AE方法的一個研究方向。

基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的方法

CNN是一種典型的神經(jīng)網(wǎng)絡(luò)模型，具有很強(qiáng)的特征提取能力?；贑NN的IVIF方法（如圖2）通常依靠神經(jīng)網(wǎng)絡(luò)強(qiáng)大的擬合能力，在精心設(shè)計的損失函數(shù)或真值標(biāo)簽下實現(xiàn)有效信息的提取和重構(gòu)。

圖2 基于CNN的IVIF框架

基于生成對抗網(wǎng)絡(luò)（GAN）的方法

隨著生成對抗網(wǎng)絡(luò)（GAN）的出現(xiàn)，由于其能夠生成信息豐富、視覺效果良好的圖像，因此在圖像IVIF領(lǐng)域得到了廣泛應(yīng)用。基于GAN的圖像融合網(wǎng)絡(luò)（如圖3）主要由生成器和判別器組成，通過利用判別器對生成器生成的融合圖像與判別依據(jù)進(jìn)行判別，其中判別依據(jù)可以是源圖像，也可以是其他方法生成的融合圖像。如果判別為假，通過不斷調(diào)整生成器的參數(shù)重新生成融合圖像，直到判別器判別為真，通過上述對抗過程最終生成更高質(zhì)量的融合圖像。

圖3 基于生成對抗網(wǎng)絡(luò)GAN的IVIF框架

基于變換器（Transformer）的方法

現(xiàn)有的基于深度學(xué)習(xí)的方法通常采用卷積操作進(jìn)行特征提取，捕獲圖像局部特征；但容易忽略圖像中存在的遠(yuǎn)距離依賴關(guān)系，訓(xùn)練過程中會損失一定的全局信息。近年來，一些最新的圖像融合研究工作發(fā)現(xiàn)，Transformer在處理序列數(shù)據(jù)和建模遠(yuǎn)距離依賴關(guān)系方面表現(xiàn)出色，研究人員提出了很多基于Transformer的IVIF方法，融合框架如圖4所示。

圖4 基于Transformer的IVIF框架

IVIF性能評價方法

IVIF技術(shù)已廣泛應(yīng)用于目標(biāo)識別、視頻監(jiān)控和醫(yī)療衛(wèi)生等領(lǐng)域。然而，不同融合方法得到的融合圖像具有不同特點，而融合圖像的質(zhì)量很大程度上影響著實際應(yīng)用中的性能。因此，研究人員提出了許多方法來評估融合圖像的質(zhì)量，這些方法可以分為主觀評價方法和客觀評價方法。

主觀評價方法

主觀評價方法是最直接的評價方法，可以反映人類對多種因素（如清晰度、對比度、顏色自然度等）的主觀感知，從而更真實地評估圖像融合結(jié)果對視覺的影響，更接近實際應(yīng)用中人們的實際感受。然而，受主觀性和主觀偏見等因素的影響，為了更準(zhǔn)確地評估圖像融合算法，通常會將主觀評價與客觀評價方法相結(jié)合，以獲得更全面、可靠的評價結(jié)果。

客觀評價方法

客觀評價方法旨在量化評估融合圖像與源圖像之間的差異，以判斷融合算法的性能和效果。這些方法利用各種指標(biāo)和技術(shù)來測量融合后圖像的質(zhì)量、信息保留程度、對比度、顏色平衡等方面的特征。

綜上所述，紅外與可見光圖像融合的客觀評價指標(biāo)主要從融合圖像的信息量、特征、結(jié)構(gòu)、視覺效果和相關(guān)系數(shù)等方面進(jìn)行評價。其中，信息論類指標(biāo)主要關(guān)注圖像信息的增益，特征類指標(biāo)反映圖像的亮度、對比度等特征，結(jié)構(gòu)相似性類指標(biāo)注重衡量圖像結(jié)構(gòu)的相似性，視覺感知類指標(biāo)強(qiáng)調(diào)圖像視覺信息的保留量，而相關(guān)性類指標(biāo)主要考慮圖像之間的相關(guān)性。因此，在實際應(yīng)用中可以根據(jù)任務(wù)需求選擇適當(dāng)?shù)闹笜?biāo)類別，或者根據(jù)具體情況綜合考慮不同類別的指標(biāo)來評價融合結(jié)果的性能。

總結(jié)與展望

本文對三大工程類在線文獻(xiàn)數(shù)據(jù)庫近20年相關(guān)論文發(fā)表情況進(jìn)行了分析，并單獨(dú)對各類基于深度學(xué)習(xí)的IVIF算法文獻(xiàn)發(fā)表數(shù)量統(tǒng)計分析，研究發(fā)展趨勢，為IVIF的新技術(shù)研究提供參考。同時，在此基礎(chǔ)上回顧了IVIF技術(shù)的研究現(xiàn)狀，介紹了傳統(tǒng)方法，并詳細(xì)比較了基于深度學(xué)習(xí)的方法。此外，還對五大類IVIF圖像融合性能評價方法進(jìn)行了比較分析。

目前紅外與可見光圖像融合技術(shù)已經(jīng)許多成果，但是仍有還存在許多問題亟待研究者們?nèi)ソ鉀Q。在未來一段時間內(nèi)，改進(jìn)紅外與可見光圖像融合方法將包括以下幾個方面：

（1）圖像配準(zhǔn)方法的研究。現(xiàn)有融合算法大多都是基于已配準(zhǔn)的源圖像。然而，在實際應(yīng)用中，不同類型傳感器很難捕獲空間嚴(yán)格對齊的圖像，空間信息的不匹配將極大影響融合圖像的質(zhì)量。因此，精確的配準(zhǔn)算法的研究就顯得尤為重要。

（2）融合圖像色彩保真度問題?，F(xiàn)有IVIF方法大多只關(guān)注于融合可見光圖像的梯度信息和紅外圖像的強(qiáng)度信息，很少注意到保留可見光圖像中顏色信息的重要性。但是從Yue等人研究中可以清楚地發(fā)現(xiàn)具有高色彩保真度的圖像更適合人類的視覺感知。因此，在保留強(qiáng)度信息和梯度信息的同時，保留可見光圖像的色彩保真度是未來提升融合圖像質(zhì)量的一個重要研究方向。

（3）提升圖像融合的效率。近年來研究者基于深度學(xué)習(xí)的方法，提出了更大更深的模型來提升圖像融合的性能，但同時影響了圖像的融合效率。未來IVIF方法的高效性也是研究者的重點關(guān)注方向之一。

（4）創(chuàng)新基于Transformer的方法。目前，已經(jīng)涌現(xiàn)了很多基于Transformer的IVIF方法，但是，將Transformer應(yīng)用到IVIF任務(wù)中還處于起步狀態(tài)，未來將會浮現(xiàn)出更多基于Transformer的IVIF方法，Transformer解決全局依賴關(guān)系的能力會被更多、更好的挖掘。

（5）結(jié)合高級視覺任務(wù)?，F(xiàn)有的大部分IVIF 方法都能夠很好的加強(qiáng)紅外與可見光融合的圖像視覺質(zhì)量，獲得不錯的定量指標(biāo)。但是，目前方法中針對下游應(yīng)用任務(wù)的要求考慮較少，不能很好的滿足下游應(yīng)用的具體需求。所以，在保持良好圖像融合效果的情況下，又能符合具體視覺任務(wù)需求將是今后研究的一個重要課題之一。

（6）完善的性能評價方法。紅外與可見光圖像融合由于沒有真值標(biāo)簽，如何準(zhǔn)確評估融合算法的性能沒有統(tǒng)一完善的標(biāo)準(zhǔn)。不同的研究需求和應(yīng)用領(lǐng)域可能會選擇不同的評價指標(biāo)，這使得比較不同方法的結(jié)果變得有挑戰(zhàn)性。所以，需要進(jìn)一步建立一種更為通用、公平和能被廣泛接受的圖像融合評價標(biāo)準(zhǔn)。

審核編輯：劉清