基于GANs訓(xùn)練去噪深度神經(jīng)網(wǎng)絡(luò)實現(xiàn)了良好的圖像盲去噪效果

從包含噪音的圖像中去除未知噪音是一項充滿挑戰(zhàn)的工作，由于缺乏有效的訓(xùn)練數(shù)據(jù)使得這一領(lǐng)域面臨許多問題。中山大學(xué)的研究人員們提出了一種“兩步走”的框架，通過GANs訓(xùn)練輸入圖像的噪聲分布來并利用生成的噪聲樣本生成了豐富的訓(xùn)練數(shù)據(jù)，并基于此訓(xùn)練了去噪深度神經(jīng)網(wǎng)絡(luò)實現(xiàn)了良好的圖像盲去噪效果。

幾種圖像盲去噪算法的表現(xiàn)，右下角為本文結(jié)果。

一、圖像盲去噪

圖像去噪是早期視覺的重要問題，也是許多計算機視覺任務(wù)不可或缺的預(yù)處理階段。對于含有噪音的圖像y=x+v來說，圖像去噪的任務(wù)是盡可能的減小觀測圖像y中的噪聲v，得到清晰的出去噪聲的圖像x。對于圖像來說，由于環(huán)境或者傳感器的不確定性，噪聲情況往往是未知的。例如手機在夜晚拍攝的照片就會受到這類噪聲的影響。對于用戶來說去除噪聲對于提高用戶體驗也十分重要，這篇文章將主要探討圖像盲去噪的問題。

在圖像去噪領(lǐng)域，基于先驗知識的方法（例如BM3D）可以利用去除算法估計出的未知噪音水平，這種方法通過輸入圖像直接為圖像先驗建模實現(xiàn)了很好的結(jié)果。但這類方法存在很多不足，首先圖像先驗大多數(shù)由人類經(jīng)驗給定，圖像的完整特征難以被獲??；其次這類方法大多只利用了輸入圖像的內(nèi)部特征而沒有利用任何外部特征，而這些特征是可以用于在盲去噪的過程中進行適配的，這意味還有很大的提高空間。

除此之外只有很少幾種方法研究了圖像的盲去噪問題，例如Multiscal等方法。這些方法將噪聲模型估計和自適應(yīng)去噪算法結(jié)合起來。其中噪聲建模是十分關(guān)鍵的部分，但這些方法也僅僅使用了單張圖像的內(nèi)部信息。同時顯式地定義模型噪聲也限制了這些方法的表現(xiàn)。

如果我們暫時先拋開盲去噪，那就不得不提到基于判別模型的去噪方法。這些方法主要基于深度卷積神經(jīng)網(wǎng)絡(luò)來實現(xiàn)，通過匹配好的訓(xùn)練數(shù)據(jù)學(xué)習(xí)出潛在的噪音模型，并得到了表現(xiàn)優(yōu)異的深度去噪網(wǎng)絡(luò)。值得一提的是基于CNNs的方法并不依賴于人類對于圖像的先驗經(jīng)驗，可以充分地利用神經(jīng)網(wǎng)絡(luò)的能力去探索圖像，這打破了基于先驗知識方法的限制并極大地提高了去噪算法的表現(xiàn)。通常情況下我們得到的圖像包含著未知噪聲，并且真實情況下的噪聲情況極為復(fù)雜。利用現(xiàn)有模型并不能得到很好的結(jié)果，同時缺乏配對的訓(xùn)練數(shù)據(jù)集使得判別方法不能直接用于圖像盲去噪的問題中去。

基于以上分析，研究人員提出了一個觀點：是否可以利用包含噪聲的圖像構(gòu)建出配對的訓(xùn)練數(shù)據(jù)集，那么圖像盲去噪的問題就可以通過CNNs一樣的判別模型來解決了。一種可能的解決辦法是建立起一個能夠為噪音圖像建模的數(shù)據(jù)集并從中對噪音數(shù)據(jù)進行采樣。高斯混合模型GMM是一種典型的方法，它被廣泛用于噪聲建模。但實驗表明GMM通過學(xué)習(xí)生成的噪聲與實際情況不是非常相似，這個問題需要更為強大的手段來為噪聲建模。

這時候生成對抗網(wǎng)絡(luò)GANs進入了研究人員的視野，GANs包含生成器和判別器兩個對抗訓(xùn)練的部分，生成器負(fù)責(zé)生成難辨真?zhèn)蔚臄?shù)據(jù)而判別器負(fù)責(zé)去偽存真。如果GANs可以用于建立訓(xùn)練數(shù)據(jù)那么就可以利用CNNs來實現(xiàn)圖像盲去噪了。但通過GANs去學(xué)習(xí)干凈圖像到噪聲圖像映射的方法是行不通的，目前無法保證生成帶噪聲的圖像內(nèi)容不發(fā)生改變。于是研究人員提出了本文的重要觀點：利用GANs來生成相同模式的噪聲而不是噪聲圖片。

這一工作主要包含兩部分，首先訓(xùn)練GANs估計輸入圖像中的噪聲并生成噪聲樣本。其次，噪聲樣本與干凈的圖像合成配對的訓(xùn)練數(shù)據(jù)，而后用于深度去噪CNNs的訓(xùn)練。這樣的方式解決的判別模型對于數(shù)據(jù)需求的重要問題。這篇文章的貢獻主要在兩個方面：

提出了一種基于GAN-CNN的聯(lián)合方法實現(xiàn)了表現(xiàn)優(yōu)異的圖像盲去噪。在處理未知噪音時GANs被用于學(xué)習(xí)噪聲構(gòu)建關(guān)鍵的訓(xùn)練數(shù)據(jù)而CNNs則用于進行圖像去噪；

作者表示這是目前第一個利用GANs的為噪聲建模，GANs對于復(fù)雜分布的估計能力被用于學(xué)習(xí)隱含的噪聲分布，克服了對于未知噪聲利用顯示模型描述的固有缺陷。

二、相關(guān)工作

這里鄰域的相關(guān)工作主要分為基于圖像先驗的去噪方法、基于噪聲模型的盲去噪方法以及基于判別模型的方法?；趫D像先驗的方法（BM3D）通過噪音圖像直接為圖像先驗建模而實現(xiàn)未知噪音的去無需訓(xùn)練數(shù)據(jù)噪，但圖像先驗建模依賴于人工經(jīng)驗，并且只考慮了圖像的內(nèi)部信息；基于噪聲模型的去噪方法通過結(jié)合噪聲模型與自適應(yīng)去噪方法來實現(xiàn)去噪，但其只利用了單張輸入圖像的內(nèi)部信息來建立噪聲模型，使得其去噪表現(xiàn)受到了限制。如果可以充分利用外部數(shù)據(jù)并建立更好的噪聲模型，將會得到更好的結(jié)果。

判別模型充分利用了深度網(wǎng)絡(luò)的能力和巨大數(shù)據(jù)集的外部信息取得了很好的效果，類似于DnCNN的方法通過訓(xùn)練殘差來實現(xiàn)圖像去噪。這類方法表現(xiàn)良好但需要大量的訓(xùn)練數(shù)據(jù)。

GANs被大量工作證明具有學(xué)習(xí)復(fù)雜分布的能力，但其訓(xùn)練過程復(fù)雜和缺乏穩(wěn)定性。隨著WGAN和DCGAN的提出這一情況正逐步得到改善。下面將具體闡述本文的方法。

三、基于GAN-CNN的盲去噪（GCBD）

本文的主要思路是通過噪聲圖像構(gòu)建出訓(xùn)練數(shù)據(jù)，隨后訓(xùn)練深度去噪網(wǎng)絡(luò)來去除圖像中的噪聲。

在給定為配對的數(shù)據(jù)后，GAN從噪聲圖片中抽取出噪聲單元并對其進行大量采樣，隨后將生成噪音單元、抽取噪音單元與干凈圖像融合用于去噪卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

首先需要對圖像中的噪聲進行建模，需要將圖像中的噪聲抽取出來，并利用這些噪聲單元訓(xùn)練GAN來生成新的噪聲。噪聲單元的獲取主要利用通過平滑片元減去其均值得到（假設(shè)0均值）。由于圖像中的平滑區(qū)域如天空、墻面等很多，所以可以保證抽取足夠多的噪聲單元用于GANs的訓(xùn)練。

在得到了噪音單元樣本后，研究人員基于WGAN改進得到了WGAN-GP用于學(xué)習(xí)噪聲分布，其損失函數(shù)如下：

網(wǎng)絡(luò)架構(gòu)如下圖所示：

通過訓(xùn)練好的GAN網(wǎng)絡(luò)可以得到新的訓(xùn)練樣本yi=xj+v'k,其中xj為干凈的圖像單元，而v'k為生成的噪聲，合成為包含噪聲的訓(xùn)練數(shù)據(jù)用于訓(xùn)練去噪CNNs網(wǎng)絡(luò)，其損失函數(shù)如下：

這一網(wǎng)絡(luò)的輸出是圖像中包含的隱含噪聲R，將輸入yi減去R即可得到去噪后的圖像：

四、實驗結(jié)果

基于GAN-CNN的盲去噪方法取得了很好的去噪表現(xiàn)，并在BSD68，DND，NIGHT等數(shù)據(jù)集上與BM3D,EPLL,NCSR,WNNM,Multiscale和DnCNN等方法進行了比較：

最后研究人員分析了GANs生成多樣性的噪聲樣本，比單獨抽取圖像中的噪聲樣本在高斯噪聲和混合噪聲的情況下使得這一方法整體性能提高了0.34dB和0.91dB。同時也通過與DnCNN比較驗證了生成噪聲數(shù)據(jù)的有效性。作者表示這篇文了的不足在于將噪聲假設(shè)為了加性的零均值噪聲，這樣的噪聲在自然界中很普遍。如果對于未知的噪聲，還需要按照本文的流程進行處理，未來的工作將會克服這一假設(shè)帶來的局限。