圖像去噪方法總結(jié)

圖像降噪的英文名稱(chēng)是Image Denoising， 圖像處理中的專(zhuān)業(yè)術(shù)語(yǔ)。是指減少數(shù)字圖像中噪聲的過(guò)程，有時(shí)候又稱(chēng)為圖像去噪。

噪聲是圖像干擾的重要原因。一幅圖像在實(shí)際應(yīng)用中可能存在各種各樣的噪聲,這些噪聲可能在傳輸中產(chǎn)生,也可能在量化等處理中產(chǎn)生。根據(jù)噪聲和信號(hào)的關(guān)系可將其分為三種形式：(f(x, y)表示給定原始圖像，g(x, y)表示圖像信號(hào)，n(x, y)表示噪聲。)

1)加性噪聲，此類(lèi)噪聲與輸入圖像信號(hào)無(wú)關(guān)，含噪圖像可表示為f(x, y)=g(x, y)+n(x, y),信道噪聲及光導(dǎo)攝像管的攝像機(jī)掃描圖像時(shí)產(chǎn)生的噪聲就屬這類(lèi)噪聲；

2)乘性噪聲，此類(lèi)噪聲與圖像信號(hào)有關(guān)，含噪圖像可表示為f(x, y)=g(x, y)+n(x ,y)g(x, y),飛點(diǎn)掃描器掃描圖像時(shí)的噪聲，電視圖像中的相干噪聲，膠片中的顆粒噪聲就屬于此類(lèi)噪聲。


3)量化噪聲，此類(lèi)噪聲與輸入圖像信號(hào)無(wú)關(guān)，是量化過(guò)程存在量化誤差，再反映到接收端而產(chǎn)生。 目前來(lái)說(shuō)圖像去噪分為三大類(lèi)：基于濾波器的方法（Filtering-Based Methods）、基于模型的方法（Model-Based Methods）和基于學(xué)習(xí)的方法（Learning-Based Methods）。 接下來(lái)讓我們分別來(lái)看一下，這幾種去噪方法的優(yōu)缺點(diǎn)。

01

基于濾波器的方法

經(jīng)典的基于濾波的方法，如中值濾波和維納濾波等，利用某些人工設(shè)計(jì)的低通濾波器來(lái)去除圖像噪聲。

中值濾波器[1]：它是一種常用的非線性平滑濾波器，其基本原理是把數(shù)字圖像或數(shù)字序列中一點(diǎn)的值用該點(diǎn)的一個(gè)領(lǐng)域中各點(diǎn)值的中值代換，其主要功能是讓周?chē)袼鼗叶戎档牟畋容^大的像素改取與周?chē)南袼刂到咏闹担瑥亩梢韵铝⒌脑肼朁c(diǎn)，所以中值濾波對(duì)于濾除圖像的椒鹽噪聲非常有效。

自適應(yīng)維納濾波器[2]：它能根據(jù)圖像的局部方差來(lái)調(diào)整濾波器的輸出，局部方差越大，濾波器的平滑作用越強(qiáng)。

同一個(gè)圖像中具有很多相似的圖像塊，可以通過(guò)非局部相似塊堆疊的方式去除噪聲，如經(jīng)典的非局部均值（NLM）算法[3]、基于塊匹配的3D濾波(BM3D)算法[4]等。缺點(diǎn)：1. 塊操作會(huì)導(dǎo)致模糊輸出。2. 需要手動(dòng)設(shè)置超參數(shù)。

02

基于模型的方法

基于模型的方法試圖對(duì)自然圖像或噪聲的分布進(jìn)行建模。然后，它們使用模型分布作為先驗(yàn)，試圖獲得清晰的圖像與優(yōu)化算法?；谀Ｐ偷姆椒ㄍǔ⑷ピ肴蝿?wù)定義為基于最大后驗(yàn)(MAP)的優(yōu)化問(wèn)題，其性能主要依賴(lài)于圖像的先驗(yàn)。如Xu等人[5]提出了一種基于低秩矩陣逼近的紅外加權(quán)核范數(shù)最小化(WNNM)方法。Pang等人[9]引入了基于圖的正則化器來(lái)降低圖像噪聲。 在過(guò)去的幾十年中，各種基于模型的方法已經(jīng)被用于圖像先驗(yàn)建模，包括非局部自相似（NSS）模型，稀疏模型，梯度模型和馬爾可夫隨機(jī)場(chǎng)（MRF）模型。盡管它們具有高的去噪質(zhì)量，但是大多數(shù)基于圖像先驗(yàn)方法都有兩個(gè)缺點(diǎn)：

這些方法在測(cè)試階段通常涉及復(fù)雜的優(yōu)化問(wèn)題，使去噪過(guò)程時(shí)非常耗時(shí)的。因此，大多數(shù)基于先驗(yàn)圖像先驗(yàn)方法在不犧牲計(jì)算效率的情況下很難獲得高性能。

模型通常是非凸的并且涉及幾個(gè)手動(dòng)選擇的參數(shù)，提供一些余地以提高去噪性能。

為了克服先驗(yàn)方法的局限性，最近開(kāi)發(fā)了幾種判別學(xué)習(xí)方法以在截?cái)嗤评磉^(guò)程的背景下，學(xué)習(xí)圖像先驗(yàn)?zāi)Ｐ汀５玫降南闰?yàn)?zāi)Ｐ湍軌驍[脫測(cè)試階段的迭代優(yōu)化過(guò)程。Schmidt和Roth提出了一種收縮場(chǎng)級(jí)聯(lián)（CSF）方法，該方法將基于隨機(jī)場(chǎng)的模型和展開(kāi)的半二次優(yōu)化算法統(tǒng)一為一個(gè)學(xué)習(xí)框架。陳等人提出了一種可訓(xùn)練的非線性反應(yīng)擴(kuò)散（TNRD）模型，該模型通過(guò)展開(kāi)固定數(shù)量的梯度下降推斷步驟來(lái)學(xué)習(xí)改進(jìn)的專(zhuān)家領(lǐng)域。盡管CSF和TNRD在彌補(bǔ)計(jì)算效率和去噪質(zhì)量上的差距方面已經(jīng)取得了好的效果，但它們的性能本質(zhì)上僅限于先前那種特定的形式。具體而言，CSF和TNRD采用的先驗(yàn)是基于分析模型，這個(gè)模型在捕獲圖像結(jié)構(gòu)整體特征上被限制。此外，通過(guò)階段式貪婪訓(xùn)練以及所有階段之間的聯(lián)合微調(diào)來(lái)學(xué)習(xí)參數(shù)，并且涉及許多手工參數(shù)。另外一個(gè)不可忽視的缺點(diǎn)是他們針對(duì)特定水平的噪音訓(xùn)練特定的模型，并且在盲圖像去噪上受限制。 雖然這些基于模型的方法有很強(qiáng)的數(shù)學(xué)推導(dǎo)性，但在重噪聲下恢復(fù)紋理結(jié)構(gòu)的性能將顯著下降。此外，由于迭代優(yōu)化的高度復(fù)雜性，它們通常是耗時(shí)的。

03

基于學(xué)習(xí)的方法

基于學(xué)習(xí)的方法側(cè)重于學(xué)習(xí)有噪聲圖像到干凈圖像的潛在映射，可以分為傳統(tǒng)的基于學(xué)習(xí)的方法和基于深度網(wǎng)絡(luò)的學(xué)習(xí)方法。近年來(lái)，由于基于深度網(wǎng)絡(luò)的方法比基于濾波、基于模型和傳統(tǒng)的基于學(xué)習(xí)的方法獲得了更有前景的去噪結(jié)果，它們已成為主流方法。 Zhang等人[6]通過(guò)疊加卷積、批歸一化和校正線性單元(ReLU)層，提出了一種簡(jiǎn)單但有效的去噪卷積神經(jīng)網(wǎng)絡(luò)(CNN)。 受圖像非局部相似度的啟發(fā)，將非局部操作納入到的循環(huán)神經(jīng)網(wǎng)絡(luò)中[7]。 Anwar等人[8]提出了一種帶特征注意力的單階段去噪網(wǎng)絡(luò)。 DnCNN[10]、FFDnet[11]、CBDnet[12]這三篇覺(jué)得應(yīng)該是聯(lián)系十分緊密的一個(gè)系列，是逐步泛化，逐步考慮增加噪聲復(fù)雜的一個(gè)過(guò)程，DnCNN主要針對(duì)高斯噪聲進(jìn)行去噪，強(qiáng)調(diào)殘差學(xué)習(xí)和BN的作用，F(xiàn)FDnet考慮將高斯噪聲泛化為更加復(fù)雜的真實(shí)噪聲，將噪聲水平圖作為網(wǎng)絡(luò)輸入的一部分，CBDnet主要是針對(duì)FFDnet的噪聲水平圖部分入手，通過(guò)5層FCN來(lái)自適應(yīng)的得到噪聲水平圖，實(shí)現(xiàn)一定程度上的盲去噪。 DnCNN使用了Batch Normalization和Residual Learning加速訓(xùn)練過(guò)程和提升去噪性能。網(wǎng)絡(luò)的結(jié)構(gòu)圖如下：

FFDNet側(cè)重與去除更加復(fù)雜的高斯噪聲。主要是不同的噪聲水平。之前的基于卷積神經(jīng)網(wǎng)絡(luò)的去噪算法，大多數(shù)都是針對(duì)于某一種特定噪聲的，為了解決不同噪聲水平的問(wèn)題，F(xiàn)FDNet的作者利用noise level map作為輸入，使得網(wǎng)絡(luò)可以適用于不同噪聲水平的圖片：

CBDNet網(wǎng)絡(luò)由噪聲估計(jì)子網(wǎng)絡(luò)和去噪子網(wǎng)絡(luò)兩部分組成。同時(shí)進(jìn)行end to end的訓(xùn)練。并采用基于信號(hào)獨(dú)立的噪聲以及相機(jī)內(nèi)部處理的噪聲合成的圖片和真是的噪聲圖片（所謂“真實(shí)”的噪聲圖片是來(lái)自于別人的數(shù)據(jù)集RENOIR、DND、NC12等，）聯(lián)合訓(xùn)練。提高去噪網(wǎng)絡(luò)的泛化能力，也增強(qiáng)去噪的效果：

SRMD[13]不同于前三篇，主要是從bicubic入手，考慮模糊核和噪聲水平的影響，將LR、模糊核、噪聲水平統(tǒng)一的輸入網(wǎng)絡(luò)中，來(lái)實(shí)現(xiàn)對(duì)不同退化模型的復(fù)原?？梢詫⑼嘶瘓D和LR圖像合并在一起作為CNN的輸入。為了證明此策略的有效性，選取了快速有效的ESPCN超分辨網(wǎng)絡(luò)結(jié)構(gòu)框架。值得注意的是為了加速訓(xùn)練過(guò)程的收斂速度，同時(shí)考慮到LR圖像中包含高斯噪聲，因此網(wǎng)絡(luò)中加入了Batch Normalization層。網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示：

等等等...... 基于深度網(wǎng)絡(luò)的方法具有很大的發(fā)展?jié)摿?，但是它主要依靠于?jīng)驗(yàn)設(shè)計(jì)，沒(méi)有充分考慮到傳統(tǒng)的方法，在一定程度上缺乏可解釋性。所以最新的CVPR2021論文：Adaptive Consistency Prior based Deep Network for Image Denoising就是通過(guò)可解釋性來(lái)設(shè)計(jì)網(wǎng)絡(luò)的，它首先，在傳統(tǒng)一致性先驗(yàn)中引入非線性濾波算子、可靠性矩陣和高維特征變換函數(shù)，提出一種新的自適應(yīng)一致性先驗(yàn)(ACP)。其次，將ACP項(xiàng)引入最大后驗(yàn)框架，提出了一種基于模型的去噪方法。該方法進(jìn)一步用于網(wǎng)絡(luò)設(shè)計(jì)，形成了一種新穎的端到端可訓(xùn)練和可解釋的深度去噪網(wǎng)絡(luò)，稱(chēng)為DeamNet。網(wǎng)絡(luò)結(jié)構(gòu)如下如所示：

DeamNet整體的網(wǎng)絡(luò)結(jié)構(gòu)

NLO子網(wǎng)絡(luò)結(jié)構(gòu)

DEAM注意力模塊

04

數(shù)據(jù)集的發(fā)展

近年來(lái)，去噪問(wèn)題的研究焦點(diǎn)已經(jīng)從AWGN（添加高斯白噪聲）如BSD68、Set12等轉(zhuǎn)向了更真實(shí)的噪聲。最近的一些研究工作在真實(shí)噪聲圖像方面取得了進(jìn)展，通過(guò)捕獲真實(shí)的噪聲場(chǎng)景，建立了幾個(gè)真實(shí)的噪聲數(shù)據(jù)集如DnD、RNI15、SIDD等，促進(jìn)了對(duì)真實(shí)圖像去噪的研究。

‘test039’from BSD68 (合成的噪聲圖像)

‘Starfish’from Set12 (合成的噪聲圖像)

DnD（真實(shí)的噪聲圖像）

RNI15（真實(shí)的噪聲圖像）

SIDD（真實(shí)的噪聲圖像）

審核編輯 ：李倩