基于大模型的遙感圖像變化檢測新網(wǎng)絡(luò)

01

/導(dǎo)讀/

變化檢測是遙感領(lǐng)域的一個重要研究領(lǐng)域，對于觀察和分析地表變化起著關(guān)鍵作用。盡管基于深度學(xué)習(xí)的方法在該領(lǐng)域取得了顯著的成果，但在時空復(fù)雜的遙感場景中執(zhí)行高精度的變化檢測仍然是一個重大挑戰(zhàn)。最近流行的基礎(chǔ)模型，憑借其強大的通用能力和泛化能力，為該問題提供了潛在的解決方案。然而，如何彌補不同數(shù)據(jù)域和任務(wù)域之間的鴻溝仍然是一個挑戰(zhàn)。在本文中，作者介紹了一種名為“時空旅行”（TTP）的新方法，該方法將SAM基礎(chǔ)模型的通用知識整合到變化檢測任務(wù)中。該方法有效地解決了在通用知識轉(zhuǎn)移中的領(lǐng)域偏移問題，以及大模型在表達多時相圖像同質(zhì)性和異質(zhì)性特征時的挑戰(zhàn)。在LEVIR-CD上取得的SOTA結(jié)果證明了TTP的有效性。

02

/引言/

隨著對地觀測技術(shù)的發(fā)展，遙感圖像變化檢測已經(jīng)成為該領(lǐng)域研究的前沿和熱點。其主要目標(biāo)是分析多時相遙感產(chǎn)品中感興趣的變化，這些變化通常表現(xiàn)為像素級的二元分類（變化/未變化）。遙感地面的動態(tài)屬性不僅受自然因素的影響，也受人類活動的影響。精確感知這些變化對于土地覆蓋的定量分析具有極其重要的意義，可以作為描繪宏觀經(jīng)濟趨勢、人類活動和氣候變化的有力工具。

高分辨率遙感圖像已經(jīng)成為復(fù)雜變化檢測的有力工具。然而，在復(fù)雜場景中執(zhí)行穩(wěn)健的變化檢測仍然是一個艱巨的挑戰(zhàn)。變化檢測聚焦“非語義變化”中的“有效變化”，即，由大氣條件、遙感器、配準(zhǔn)等引起的非語義變化，以及與下游應(yīng)用無關(guān)的語義變化都應(yīng)該被忽略。這對開展精準(zhǔn)的變化檢測任務(wù)提出了相當(dāng)大的挑戰(zhàn)。深度學(xué)習(xí)技術(shù)在變化檢測領(lǐng)域取得了顯著的進步。例如，基于CNN的算法可以通過其強大的特征提取能力揭示變化區(qū)域的穩(wěn)健特征，從而在各種復(fù)雜場景中取得了令人印象深刻的性能。最近，基于Transformer的方法進一步加速了這個領(lǐng)域的發(fā)展，Transformer可以捕捉整個圖像中的長距離依賴關(guān)系，賦予模型全局感受野，為需要高級語義知識的任務(wù)（如變化檢測）開辟了新的途徑。盡管這些方法取得了顯著的成功，但它們在復(fù)雜和不斷變化的時空環(huán)境中的適應(yīng)性仍然距離實際應(yīng)用有相當(dāng)大的距離。此外，隨著模型規(guī)模的擴大，變化檢測有限的標(biāo)注數(shù)據(jù)也顯著限制了這些模型的潛力。雖然自監(jiān)督表示學(xué)習(xí)和模擬數(shù)據(jù)生成等取得了一些進展，但它們?nèi)匀粺o法完全覆蓋由時空變化引起的遙感圖像場景的多樣性。也無法推動大參數(shù)模型在不同場景中的性能。

基礎(chǔ)模型強大的通用性和適應(yīng)性已經(jīng)得到了證明。這些模型在大量數(shù)據(jù)上進行訓(xùn)練，從而獲得了通用的知識和表示。視覺領(lǐng)域的基礎(chǔ)模型，如CLIP和SAM，已經(jīng)被研究人員廣泛研究和利用。這些模型是大量通用知識的存儲庫，可以進行跨領(lǐng)域的轉(zhuǎn)移和共享，能夠大大減少特定任務(wù)標(biāo)注數(shù)據(jù)的需求。然而，當(dāng)前的視覺基礎(chǔ)模型主要是為自然圖像設(shè)計的，這些模型用于遙感圖像變化檢測任務(wù)時會產(chǎn)生領(lǐng)域差異。此外，大多數(shù)視覺基礎(chǔ)模型擅長理解單個圖像，在提取多個圖像同質(zhì)性和異質(zhì)性特征的方面表現(xiàn)不佳，特別是當(dāng)圖像中發(fā)生顯著變化時，而這種能力對于變化檢測來說是至關(guān)重要的。

本文將視覺基礎(chǔ)模型的通用知識融入到變化檢測任務(wù)中。該方法克服了在知識轉(zhuǎn)移過程中遇到的領(lǐng)域偏移問題，以及表達多時相圖像的同質(zhì)性和異質(zhì)性特征的挑戰(zhàn)。文中引入了一種名為“時空旅行”（TTP）的方法，該方法將時相信息無縫地集成到像素語義特征空間中。具體來說，TTP利用了SAM模型的通用分割知識，并將引入低秩微調(diào)參數(shù)到SAM主干中來緩解空間語義的領(lǐng)域偏移。此外，TTP提出了一個時間旅行激活門，允許時相特征滲透到像素語義空間，從而賦予基礎(chǔ)模型理解雙時相圖像之間的同質(zhì)性和異質(zhì)性特征的能力。最后，文中設(shè)計了一個輕量高效的多層級變化預(yù)測頭來解碼密集的高級變化語義特征。該方法為開展準(zhǔn)確高效的遙感圖像變化檢測鋪平了道路。

本文的主要貢獻總結(jié)如下：

1）作者通過將基礎(chǔ)模型的通用潛在知識轉(zhuǎn)移到變化檢測任務(wù)，解決了注釋數(shù)據(jù)不足的問題。在文章中，通過引入時間旅行像素（TTP）來彌補知識轉(zhuǎn)移過程中的時空領(lǐng)域差距。

2）具體來說，作者引入了低秩微調(diào)以緩解空間語義的領(lǐng)域偏移，提出了一個時間旅行激活門以增強基礎(chǔ)模型識別圖像間相關(guān)性的能力，并設(shè)計了一個輕量高效的多層級預(yù)測頭來解碼基礎(chǔ)模型中封裝的密集語義信息。

3）作者在LEVIR-CD數(shù)據(jù)集上將提出的方法與各種先進的方法進行了比較。結(jié)果表明，該方法達到了最先進的性能，突顯了其有效性和進一步應(yīng)用的潛力。

03

/方法/

Overview

為了減輕變化檢測的注釋需求，本文利用了從基礎(chǔ)模型轉(zhuǎn)移過來的通用知識。作者利用SAM的通用分割能力來構(gòu)建一個變化檢測網(wǎng)絡(luò)，即TTP。TTP主要由三個部分組成：基于低秩微調(diào)的基礎(chǔ)模型主干；插入雙時相圖像特征間的時間旅行激活門；以及一個高效的多層級解碼頭。其結(jié)構(gòu)如圖1所示。

Efficient Fine-tuning of Foundation Model

SAM的主干由Transformer編碼器組成，可以分為base版、large版和huge版，分別對應(yīng)12層、24層和32層。為了提高計算效率，主干中的大部分Transformer層使用局部注意力，只有四層使用全局注意力。在本文中利用預(yù)訓(xùn)練的視覺主干，保持其參數(shù)處于凍結(jié)狀態(tài)，以加速適應(yīng)下游任務(wù)。為了彌補自然圖像和遙感圖像領(lǐng)域之間的差距，在多頭注意力層中引入了低秩可訓(xùn)練參數(shù)，如下式所示，

Time-traveling Activation Gate

當(dāng)前的視覺基礎(chǔ)模型擅長理解單個圖像的內(nèi)容，在提取圖像間的特征時表現(xiàn)不佳。然而，在變化檢測中，專注于雙時相圖像中的“有效差異”而忽略“無關(guān)差異”是至關(guān)重要的。為了解決這個問題，文中引入了時間旅行激活門，它促進了時相特征流入像素特征的語義空間。這使基礎(chǔ)模型能夠理解雙時相圖像中的變化，并關(guān)注“有效變化”。為了提高效率，只在主干中的全局注意力層后加入激活門，按照下面的公式來整合雙時相信息，

Multi-level Decoding Head

遙感圖像的場景多樣，地物的尺度存在顯著變化。然而，基于ViT的視覺編碼器通常只生成單一尺度的特征圖。盡管這些圖包含了高級的全局語義信息，但如果沒有多層級的解碼頭，它們的性能優(yōu)勢可能難以顯現(xiàn)。為了解決這個問題，文中設(shè)計了一個輕量高效的多層級變化預(yù)測頭。該頭通過轉(zhuǎn)置卷積上采樣和最大池化下采樣來構(gòu)建多級特征。然后使用一個輕量級的MLP映射層來輸出最終的變化概率圖，

04

/實驗/

作者在LEVIR-CD上進行了實驗。為了評估性能，采用廣泛認可交并比（IoU）、F1分數(shù)、精確度和召回率，以及總體準(zhǔn)確度（OA）。

作者將提出的TTP與一系列最先進的變化檢測方法進行了比較，包括FC-Siam-Di、DTCDSCN、STANet、SNUNet、BIT、ChangeFormer、ddpm-CD、WNet 和CSTSUNet。比較結(jié)果如表1所示，提出的TTP達到了最高的性能（92.1/85.6 F1/IoU），顯著超過了當(dāng)前的先進方法，如WNet（90.7/82.9）和CSTSUNet（90.7/83.0）。這表明了從基礎(chǔ)模型轉(zhuǎn)移通用知識可以增強變化檢測，同時也驗證了提出的轉(zhuǎn)移方法的有效性。

如表1所示，當(dāng)移除時間旅行門（ttg）和多級解碼頭（ml）時，性能會有所下降。此外，從基礎(chǔ)模型中移除低秩微調(diào)參數(shù)會導(dǎo)致性能大幅下降。這些觀察結(jié)果強調(diào)了本文提出的方法可以有效地彌補領(lǐng)域差距并增強時空理解。它們同時也驗證了每個組件在變化檢測任務(wù)中的有效性。

05

/結(jié)論/

本文通過將基礎(chǔ)模型的通用知識融入變化檢測任務(wù)，緩解了復(fù)雜時空遙感場景下模型難泛化的挑戰(zhàn)。具體來說，作者引入了低秩微調(diào)來彌補自然圖像和遙感圖像之間的空間語義鴻溝，緩解了基礎(chǔ)模型的局限性；提出了一個時間旅行激活門，使基礎(chǔ)模型具有時相建模的能力。此外設(shè)計了一個多層級變化預(yù)測頭來解碼密集特征。在LEVIR-CD數(shù)據(jù)集上的實驗結(jié)果表明了提出方法的有效性，該方法能在單卡4090上進行訓(xùn)練。

審核編輯：黃飛

?