基于殘差精煉的新模塊提升圖像超分辨性能

近年來基于深度學(xué)習(xí)的單圖像超分辨技術(shù)得到飛速發(fā)展，從SRCNN到VDSR，從DRCN到MSRN深度學(xué)習(xí)模型，解決了一個(gè)又一個(gè)超分辨率領(lǐng)域的難題。但目前的研究結(jié)果也表明，盲目地使用殘差結(jié)構(gòu)和稠密連接將導(dǎo)致模型過分地復(fù)用特征，使得網(wǎng)絡(luò)臃腫膨脹同時(shí)難以訓(xùn)練。

為了解決這一問題，來自西安電子科技大學(xué)的研究人員基于殘差網(wǎng)絡(luò)提出了一種簡(jiǎn)單高效的信息提煉方法DRN(distilling with residual network)用于單圖像超分辨率技術(shù)，利用高效獲取信息的殘差精煉單元(RDB,residual distilling block)及其堆疊的組操作(RDG, residual distilling group)，實(shí)現(xiàn)了對(duì)于信息更好的抽取和提煉，并平衡了模型的大小與性能，達(dá)到了非常好的圖像超分辨率效果。

殘差精煉模塊RDB

為了有效地抽取并提煉低分辨率圖像中的信息，研究人員提出了高效的殘差精煉單元RDB來對(duì)圖像進(jìn)行操作。RDB中包含了兩個(gè)分支，其中一個(gè)分支用于進(jìn)行基本的殘差操作；另一個(gè)分支則用于從輸入中提煉出有效的信息，在融合信息的同時(shí)保持了對(duì)于重要特征的抽取能力。

圖中顯示的殘差精煉單元的構(gòu)造

其中的塊狀結(jié)構(gòu)為每次操作輸出的張量輸出

上圖顯示了RDB模塊的基本構(gòu)成，其中Di表示輸入，Di+1表示模塊的輸出。在模塊最開始的位置，輸入的Di 通過卷積的作用得到量?jī)蓚€(gè)中間輸出(1*1，3*3，1*1的卷積)，其中Dout,i表示這一層級(jí)側(cè)殘差輸出，而d則表示第i層和第i+1層之間的信息精煉通道。

隨后輸入Di與殘差輸出Dout,i相加，并與d相接，構(gòu)成的整個(gè)RDB模塊將從中抽取有效的信息輔助超分辨率中高頻信息的重建。此外在RDB的最后位置引入了1*1的卷積核用于特征融合。

基于RDB模塊，研究人員將RDB堆疊成組操作，并使得RDB模塊的輸出可以接入下一個(gè)RDB模塊的每一層，使特征可以進(jìn)行連續(xù)的轉(zhuǎn)換。隨后研究人員還在多個(gè)堆疊的RDB模塊間加入了一條長(zhǎng)程的跳接，用于保存先前階段信息，在有效抽取特征的同時(shí)將有助于網(wǎng)絡(luò)融合局部與全局特征，并得到有利于圖像重建的有效特征。

網(wǎng)絡(luò)架構(gòu)

在RDB和RDG的基礎(chǔ)上，研究人員構(gòu)建了基于殘差網(wǎng)絡(luò)的精煉模型，其中主要包含三個(gè)組成部分：低層級(jí)特征抽取LFE，殘差精煉組的操作RDGs以及最終進(jìn)行圖像重建的操作。

在這一網(wǎng)絡(luò)架構(gòu)中，除了進(jìn)行底層信息抽取和圖像重建的模塊外，最重要的就是n個(gè)殘差精煉的組操作RDGs，其中每個(gè)組操作中包含了K個(gè)殘差精煉模塊RDB。整個(gè)模型可以表達(dá)成下面的式子：

從內(nèi)到外分別表示了特征提取操作，殘差組操作和信息融合以及最后的圖像重建。針對(duì)每個(gè)組操作中的特征抽取模塊，可以看作是多個(gè)RDB模塊操作Fg的融合以及長(zhǎng)程跳接的銜接：

整個(gè)模型的結(jié)構(gòu)可以理解為多個(gè)殘差模塊的操作堆疊成殘差提煉組操作，而多個(gè)組操作又結(jié)合在一起實(shí)現(xiàn)了更有效的特征抽取和殘差提煉，最終層層疊加與與融合實(shí)現(xiàn)了最后的特征輸出。

基于這些特征研究人員利用pixelshuffle的方法進(jìn)行上采樣和圖像重建，并選擇了MAE作為損失函數(shù)進(jìn)行訓(xùn)練。

最終研究人員在DIV2K上進(jìn)行了充分地訓(xùn)練，并在Set5，Set14，Urban100，BSDB100，Manga109等基準(zhǔn)數(shù)據(jù)集上進(jìn)行了測(cè)試，分別在2x-3x-4x倍的超方便率尺度上進(jìn)行了實(shí)驗(yàn)。

結(jié)果表明，與其他先進(jìn)的方法相比，DRN系列方法在峰值信噪比和結(jié)構(gòu)相似性等方面均取得了較好的提升。

在使用更少參數(shù)的訓(xùn)練下能達(dá)到與先前的模型接近甚至更好地結(jié)果：

最后來看一下在數(shù)據(jù)集圖像上取得的顯著效果，可以看到DRN模型可以更好地克服人工恢復(fù)的模糊痕跡，并保留更多的細(xì)節(jié)信息。

恢復(fù)出的文字也較為清晰可辨：

此外對(duì)于線條的恢復(fù)能力也較強(qiáng)，去除模糊的同時(shí)，對(duì)于線條細(xì)節(jié)的恢復(fù)較好：