計算機(jī)視覺中的圖像融合

來源：AI公園

作者：Nico Klingler

編譯：ronghuaiyang

導(dǎo)讀

在許多計算機(jī)視覺應(yīng)用中（例如機(jī)器人運(yùn)動和醫(yī)學(xué)成像），需要將多個圖像的相關(guān)信息整合到單一圖像中。這種圖像融合可以提供更高的可靠性、準(zhǔn)確性和數(shù)據(jù)質(zhì)量。

多視圖融合可以提高圖像分辨率，并恢復(fù)場景的三維表示。多模態(tài)融合則是將來自不同傳感器的圖像結(jié)合起來，也稱為多傳感器融合。其主要應(yīng)用包括醫(yī)學(xué)影像、監(jiān)控和安全等領(lǐng)域。

圖像融合的層級工程師根據(jù)融合實(shí)現(xiàn)的階段將圖像融合 (IF) 分為三個層級。

像素級 IF。這是一種低級別的圖像融合方法，操作簡單。它包含了兩個輸入圖像的特征，并生成一個平均的、單一的結(jié)果圖像。

特征級 IF。它從多個來源提取圖像特征（如大小、顏色），并在特征提取后生成增強(qiáng)的圖像。

塊（區(qū)域）級 IF。這是一種高級技術(shù)。它利用多階段表示法，并根據(jù)區(qū)域計算測量值。

圖像融合的層次圖像融合的類型

單傳感器 IF

單傳感器圖像融合捕捉真實(shí)世界的一系列圖像。算法將一組圖像組合起來，生成一個新的具有最佳信息含量的圖像。例如，在不同的光照條件下，人類操作員可能無法檢測到物體，但在融合后的圖像中卻能突出顯示這些物體。

這種方法的缺點(diǎn)是所使用的成像傳感器在某些傳感區(qū)域存在局限性。在傳感器能力限制系統(tǒng)功能（如動態(tài)范圍、分辨率等）的情況下。例如，某些傳感器適合光照環(huán)境（如白天），但不適合夜間和霧天條件。

多傳感器 IF

多傳感器圖像融合方法將來自多個傳感器的圖像合并形成復(fù)合圖像。例如，紅外相機(jī)和單獨(dú)的數(shù)碼相機(jī)各自產(chǎn)生它們自己的圖像，通過合并，最終生成融合圖像。這種方法克服了單傳感器的問題。

多傳感器圖像融合

這種方法從多個圖像中生成合并的信息。數(shù)碼相機(jī)適合于白天條件；紅外相機(jī)在弱光環(huán)境下表現(xiàn)良好。因此，這種方法在軍事領(lǐng)域以及對象檢測、機(jī)器人和醫(yī)療成像中都有應(yīng)用。

多視圖 IF

在這種方法中，圖像具有多個或不同的視圖。這種方法利用了來自不同條件下的圖像，如可見光、紅外、多光譜和遙感圖像。常見的圖像融合方法包括對象級融合、加權(quán)像素融合和變換域融合。

多焦點(diǎn) IF

這種方法處理來自 3D 視角的圖像及其焦距。它將原始圖像分成若干區(qū)域，使得每個區(qū)域在圖像的一個通道中都是清晰的。

如何實(shí)現(xiàn)圖像融合？

研究人員以多種方式實(shí)現(xiàn)圖像融合，這里我們介紹最常見的幾種方法。

卷積神經(jīng)網(wǎng)絡(luò)

Zhang 等人 (2021) 創(chuàng)建了一個基于卷積神經(jīng)網(wǎng)絡(luò) (CNN-based fusion) 的框架，通過精心設(shè)計的損失函數(shù)來提取特征和重建圖像，他們利用卷積神經(jīng)網(wǎng)絡(luò)作為整個融合框架的一部分來進(jìn)行活動級別監(jiān)控和特征整合。

在他們的 CNN 融合案例中，他們將損失函數(shù)與分類 CNN 結(jié)合起來進(jìn)行醫(yī)學(xué)圖像融合。此外，他們將融合層嵌入到訓(xùn)練過程中。因此，CNN 減少了手動設(shè)計的融合規(guī)則（最大值、最小值或平均值）帶來的約束。

CNN實(shí)現(xiàn)的圖像融合

此外，研究人員還介紹了其他方法：

• 基于卷積神經(jīng)網(wǎng)絡(luò)的端到端融合框架，以避免手動規(guī)則的缺點(diǎn)。
• 他們的卷積神經(jīng)網(wǎng)絡(luò)定義了更精確且能更好地保留紋理結(jié)構(gòu)的圖像融合的目標(biāo)函數(shù)。
• Zhang 等人通過梯度保留來建模圖像融合，從而為多種融合任務(wù)設(shè)計了一個通用的損失函數(shù)。

多尺度變換

Ma 等人 (2023) 使用多尺度變換進(jìn)行了 融合過程：

他們分別分解圖像，以獲得不同的頻率層次，即高頻和低頻子帶。

團(tuán)隊設(shè)計了最優(yōu)融合計算方法作為融合策略。他們利用了高頻和低頻子帶的不同特性。

為了生成融合圖像，他們反轉(zhuǎn)了最終的融合系數(shù)。

使用多尺度變換的圖像融合

研究人員在多個尺度和多個方向上應(yīng)用了小波變換和幾何變換，而無需進(jìn)行子采樣。

他們的基于多尺度變換的融合方法根據(jù)不同子帶的特性引入了融合策略。因此，融合圖像富含詳細(xì)信息且冗余較低。

• 分解方法的選擇和融合規(guī)則是融合過程的重要組成部分。它們決定了融合圖像是否能包含比原始圖像更多的信息。

基于稀疏表示的圖像融合模型

與傳統(tǒng)的多尺度變換相比，稀疏表示有兩個主要區(qū)別。多尺度融合方法使用預(yù)設(shè)的基礎(chǔ)函數(shù)，這忽略了源圖像的一些重要特征。稀疏表示則是在一個完整的特征集上進(jìn)行學(xué)習(xí)，可以更好地表達(dá)和提取圖像。

此外，基于多尺度變換的融合方法將圖像分解為多層，但對噪聲和配準(zhǔn)的要求相當(dāng)嚴(yán)格。稀疏表示使用滑動窗口技術(shù)將圖像分割為多個重疊段，從而提高了魯棒性。

使用稀疏表示模型的圖像融合圖像融合的應(yīng)用

圖像融合的主要應(yīng)用場景有四個：

機(jī)器人視覺

機(jī)器人的運(yùn)動利用了紅外和可見光圖像的融合。機(jī)器人使用紅外圖像來區(qū)分目標(biāo)和背景，因?yàn)樗鼈冎g的熱輻射差異。因此，光照和天氣條件不會影響融合。然而，紅外圖像并不提供紋理細(xì)節(jié)。

對于他們的計算機(jī)視覺任務(wù)，機(jī)器人使用可見光圖像。由于受到數(shù)據(jù)收集環(huán)境的影響，可見光圖像可能無法顯示重要的目標(biāo)。紅外和可見光融合方法克服了單個圖像的這一缺點(diǎn)，從而提取信息。

融合圖像通常比紅外圖像更清晰。此外，機(jī)器人會進(jìn)行可見光和紅外圖像的融合，比如用于自動駕駛和面部識別。

醫(yī)學(xué)影像

如今，醫(yī)學(xué)影像產(chǎn)生了多種類型的醫(yī)學(xué)圖像，以幫助醫(yī)生診斷疾病或傷害。每種類型的圖像都有其特定的強(qiáng)度。因此，圖像融合在醫(yī)學(xué)影像模式領(lǐng)域具有很高的臨床應(yīng)用價值。

醫(yī)學(xué)影像研究人員將來自不同醫(yī)學(xué)圖像的冗余信息和相關(guān)信息結(jié)合起來，創(chuàng)建融合醫(yī)學(xué)圖像。這樣他們?yōu)獒t(yī)學(xué)檢查提供了高質(zhì)量的信息啟發(fā)式圖像診斷。

醫(yī)學(xué)影像中的圖像融合

該圖展示了通過結(jié)合計算機(jī)斷層掃描 (CT) 和磁共振成像 (MRI) 進(jìn)行醫(yī)學(xué)診斷的圖像融合示例。數(shù)據(jù)來自一個結(jié)合了斷層掃描和磁共振成像的大腦圖像數(shù)據(jù)集（MedPix 數(shù)據(jù)集）。

醫(yī)生使用 CT 來分析具有高空間域分辨率的骨骼結(jié)構(gòu)，并使用 MRI 來檢測軟組織，如心臟、眼睛和大腦。通過圖像融合技術(shù)將 MRI 和 CT 結(jié)合起來，以提高準(zhǔn)確性和醫(yī)學(xué)適用性。

工業(yè)中的缺陷檢測

由于工業(yè)生產(chǎn)條件的限制，工件缺陷難以避免。典型的缺陷包括工件內(nèi)部的碎屑、孔隙和裂紋。

這些缺陷在工件使用過程中會增加，影響其性能。因此，它們會導(dǎo)致工件失效，縮短其使用壽命，并威脅到機(jī)器的安全。

工業(yè)中的圖像融合做缺陷檢測

當(dāng)前的缺陷檢測算法一般分為兩大類：

缺陷區(qū)域分割，其中所有潛在的缺陷區(qū)域從單一圖像中被分割出來。

1. 為了檢測不同類型缺陷 —— 應(yīng)用人工設(shè)計的特征。這些特征只適用于特定的缺陷檢測，例如缺陷的大小、多樣的形狀和復(fù)雜的背景區(qū)域。

農(nóng)業(yè)遙感

圖像融合技術(shù)也被廣泛應(yīng)用于農(nóng)業(yè)遙感領(lǐng)域。通過使用農(nóng)業(yè)遙感技術(shù)，農(nóng)民可以選擇適合植物生長的環(huán)境并對植物疾病進(jìn)行檢測。

現(xiàn)有的融合技術(shù)，包括測距和光學(xué)檢測設(shè)備、合成雷達(dá)以及中分辨率成像光譜儀等，都在圖像融合中有所應(yīng)用。

農(nóng)業(yè)遙感圖像的融合

研究人員利用基于區(qū)域的融合方案來結(jié)合全色、多光譜和合成孔徑雷達(dá)圖像。此外，一些農(nóng)民還會結(jié)合光譜信息、雷達(dá)距離數(shù)據(jù)和光學(xué)檢測。圖像融合的優(yōu)點(diǎn)和缺點(diǎn)

圖像融合的優(yōu)點(diǎn)

圖像融合的好處包括：

• 圖像融合減少了數(shù)據(jù)存儲和數(shù)據(jù)傳輸?shù)男枨蟆?/li>
• 圖像融合的成本相對較低，執(zhí)行融合步驟簡單。
• 團(tuán)隊使用圖像融合進(jìn)行圖像識別和配準(zhǔn)。
• 可以從多尺度的霧狀圖像中產(chǎn)生高分辨率輸出。
• 融合結(jié)果圖像易于解釋，可以是彩色的。
• 它增加了情境和條件感知。
• 圖像融合使人們能夠從不同圖像中讀取小的符號（應(yīng)用）。
• 從不同視角進(jìn)行圖像增強(qiáng)可以帶來更好的對比度。

圖像融合的缺點(diǎn)

圖像融合存在一定的局限性，例如：

• 當(dāng)圖像模糊時，數(shù)據(jù)處理速度較慢。
• 由于特征提取和整合步驟，融合有時會變得復(fù)雜且成本高昂。
• 為每個應(yīng)用場景定義和選擇合適的特征需要時間和精力。
• 在圖像融合過程中，有很大概率會發(fā)生信息丟失。
• 在單傳感器融合中，圖像在惡劣天氣條件下可能會變得模糊。
• 在夜間條件下拍攝的照片中，進(jìn)行圖像融合較為困難。

為了獲得良好的圖像可視化效果，通常需要多傳感器或多視圖融合。

總結(jié)

圖像融合是一項(xiàng)重要的技術(shù)，用于集成和評估來自多個來源（傳感器）的數(shù)據(jù)。它在計算機(jī)視覺、醫(yī)學(xué)影像和遙感等領(lǐng)域有著廣泛的應(yīng)用。帶有復(fù)雜非線性失真的圖像融合有助于提高最復(fù)雜的計算機(jī)視覺方法的魯棒性。