Mamba入局圖像復(fù)原,達成新SOTA

圖像復(fù)原又來新突破了！還記得性能超越SwinIR（基于Transformer）的MambaIR嗎？一種基于Mamba的圖像復(fù)原基準模型，登上ECCV 2024。最近原作者又開發(fā)了新版本MambaIRv2，更高性能、更高效率！另外還有ACM MM 2024上的Freqmamba方法，在圖像去雨任務(wù)中取得了SOTA性能！

顯然，這種基于Mamba的方法在圖像復(fù)原領(lǐng)域，比基于CNN和Transformer的方法更受歡迎。得益于Mamba全局感受野、線性計算復(fù)雜度、高效遠程依賴處理等諸多優(yōu)勢，它在圖像復(fù)原（比如超分辨率、去噪等）任務(wù)上實現(xiàn)了更高的復(fù)原質(zhì)量和更低的計算成本！可以說是圖像增強領(lǐng)域的研究焦點。

目前這方向研究熱情高漲，頂會成果多，為了幫論文er抓緊機會，我已經(jīng)挑選好了10篇Mamba做圖像復(fù)原的高質(zhì)量論文供大家參考，基本都有代碼，想速發(fā)論文拿下頂會的別錯過啦。

MambaIRv2: Attentive State Space Restoration

方法：論文提出了一種基于Mamba架構(gòu)的圖像復(fù)原方法MambaIRv2，通過引入非因果建模能力，類似于ViT，來增強Mamba的圖像復(fù)原性能。這種方法特別關(guān)注解決Mamba在因果建模中的局限性，允許模型在整個圖像中更有效地利用像素信息，從而提高圖像復(fù)原任務(wù)的性能，如超分辨率、去噪和JPEG壓縮減少等。

創(chuàng)新點：

提出了“注意力狀態(tài)空間恢復(fù)”的新方法，通過將注意力機制與狀態(tài)空間模型結(jié)合，克服了Mamba架構(gòu)的因果建模限制。

通過語義引導(dǎo)的鄰域重構(gòu)，作者將相似像素在一維序列中重新排列，使其更加接近。

Freqmamba: Viewing mamba from a frequency perspective for image deraining

方法：論文提出了一種名為FreqMamba的圖像復(fù)原方法。FreqMamba結(jié)合了Mamba模型和頻率分析，專注于圖像去雨任務(wù)。該方法通過結(jié)合頻率分析和Mamba的狀態(tài)空間模型來提高去雨效果，包括空間Mamba、頻率帶Mamba和傅里葉全局建模三個交互結(jié)構(gòu)，旨在利用Mamba捕捉局部相關(guān)性的能力，同時通過頻率分析增強對全局退化的感知。

創(chuàng)新點：

FreqMamba 是一種創(chuàng)新性的去雨網(wǎng)絡(luò)，通過結(jié)合空間域序列建模和頻率域全局建模，以應(yīng)對圖像去雨的挑戰(zhàn)。

引入了一種新穎的三分支結(jié)構(gòu)用于低光圖像增強，成功應(yīng)對照明不足和噪聲放大的場景。

頻率SSM模塊利用多尺度U-Net架構(gòu)，并結(jié)合不同尺度的降解圖像生成注意力圖，捕獲不同尺度的降解分布。

Multi-dimensional Visual Prompt Enhanced Image Restoration via Mamba-Transformer Aggregation

方法：論文提出了一個名為MTAIR的方法，通過充分利用Mamba和Transformer的互補優(yōu)勢，在不犧牲計算效率的情況下，處理包括圖像去噪、去雨和去霧等多種圖像退化問題。MTAIR通過在空間和通道維度上設(shè)計多維提示學(xué)習(xí)模塊，來動態(tài)調(diào)整特征分布并挖掘與特定退化任務(wù)相關(guān)的上下文信息，從而提高了“全能型”圖像復(fù)原模型的性能。

創(chuàng)新點：

結(jié)合了Mamba和Transformer的優(yōu)勢，通過選擇性掃描機制在空間維度進行長距離依賴建模，同時利用Transformer的自注意力機制在通道維度進行判別特征學(xué)習(xí)。

設(shè)計了一種新穎的多維提示學(xué)習(xí)模塊，能夠從多尺度層中學(xué)習(xí)提示流，有助于從空間和通道角度揭示各種退化的底層特征，從而增強"多合一"模型解決各種恢復(fù)任務(wù)的能力。

Cu-mamba: Selective state space models with channel learning for image restoration

方法：論文介紹了一個名為CU-Mamba的模型，該模型結(jié)合了U-Net架構(gòu)和雙狀態(tài)空間模型框架，用于圖像復(fù)原任務(wù)。CU-Mamba模型利用空間SSM模塊進行全局上下文編碼，以及通道SSM組件來保留通道相關(guān)特征，兩者都具有相對于特征圖大小的線性計算復(fù)雜度。

創(chuàng)新點：

提出了一種新型的通道感知U形Mamba模型（CU-Mamba），通過結(jié)合U-Net框架與雙向選擇性狀態(tài)空間模型（SSM），顯著提升了圖像復(fù)原能力。

在CU-Mamba模型中，作者創(chuàng)新性地在通道維度引入選擇性SSM機制，以彌補現(xiàn)有Mamba-based U-Net在捕獲通道信息方面的不足。