基于殘差精煉的新模塊提升圖像超分辨性能

近年來基于深度學習的單圖像超分辨技術得到飛速發(fā)展，從SRCNN到VDSR，從DRCN到MSRN深度學習模型，解決了一個又一個超分辨率領域的難題。但目前的研究結果也表明，盲目地使用殘差結構和稠密連接將導致模型過分地復用特征，使得網(wǎng)絡臃腫膨脹同時難以訓練。

為了解決這一問題，來自西安電子科技大學的研究人員基于殘差網(wǎng)絡提出了一種簡單高效的信息提煉方法DRN(distilling with residual network)用于單圖像超分辨率技術，利用高效獲取信息的殘差精煉單元(RDB,residual distilling block)及其堆疊的組操作(RDG, residual distilling group)，實現(xiàn)了對于信息更好的抽取和提煉，并平衡了模型的大小與性能，達到了非常好的圖像超分辨率效果。

殘差精煉模塊RDB

為了有效地抽取并提煉低分辨率圖像中的信息，研究人員提出了高效的殘差精煉單元RDB來對圖像進行操作。RDB中包含了兩個分支，其中一個分支用于進行基本的殘差操作；另一個分支則用于從輸入中提煉出有效的信息，在融合信息的同時保持了對于重要特征的抽取能力。

圖中顯示的殘差精煉單元的構造

其中的塊狀結構為每次操作輸出的張量輸出

上圖顯示了RDB模塊的基本構成，其中Di表示輸入，Di+1表示模塊的輸出。在模塊最開始的位置，輸入的Di 通過卷積的作用得到量兩個中間輸出(1*1，3*3，1*1的卷積)，其中Dout,i表示這一層級側殘差輸出，而d則表示第i層和第i+1層之間的信息精煉通道。

隨后輸入Di與殘差輸出Dout,i相加，并與d相接，構成的整個RDB模塊將從中抽取有效的信息輔助超分辨率中高頻信息的重建。此外在RDB的最后位置引入了1*1的卷積核用于特征融合。

基于RDB模塊，研究人員將RDB堆疊成組操作，并使得RDB模塊的輸出可以接入下一個RDB模塊的每一層，使特征可以進行連續(xù)的轉換。隨后研究人員還在多個堆疊的RDB模塊間加入了一條長程的跳接，用于保存先前階段信息，在有效抽取特征的同時將有助于網(wǎng)絡融合局部與全局特征，并得到有利于圖像重建的有效特征。

網(wǎng)絡架構

在RDB和RDG的基礎上，研究人員構建了基于殘差網(wǎng)絡的精煉模型，其中主要包含三個組成部分：低層級特征抽取LFE，殘差精煉組的操作RDGs以及最終進行圖像重建的操作。

在這一網(wǎng)絡架構中，除了進行底層信息抽取和圖像重建的模塊外，最重要的就是n個殘差精煉的組操作RDGs，其中每個組操作中包含了K個殘差精煉模塊RDB。整個模型可以表達成下面的式子：

從內(nèi)到外分別表示了特征提取操作，殘差組操作和信息融合以及最后的圖像重建。針對每個組操作中的特征抽取模塊，可以看作是多個RDB模塊操作Fg的融合以及長程跳接的銜接：

整個模型的結構可以理解為多個殘差模塊的操作堆疊成殘差提煉組操作，而多個組操作又結合在一起實現(xiàn)了更有效的特征抽取和殘差提煉，最終層層疊加與與融合實現(xiàn)了最后的特征輸出。

基于這些特征研究人員利用pixelshuffle的方法進行上采樣和圖像重建，并選擇了MAE作為損失函數(shù)進行訓練。

最終研究人員在DIV2K上進行了充分地訓練，并在Set5，Set14，Urban100，BSDB100，Manga109等基準數(shù)據(jù)集上進行了測試，分別在2x-3x-4x倍的超方便率尺度上進行了實驗。

結果表明，與其他先進的方法相比，DRN系列方法在峰值信噪比和結構相似性等方面均取得了較好的提升。

在使用更少參數(shù)的訓練下能達到與先前的模型接近甚至更好地結果：

最后來看一下在數(shù)據(jù)集圖像上取得的顯著效果，可以看到DRN模型可以更好地克服人工恢復的模糊痕跡，并保留更多的細節(jié)信息。

恢復出的文字也較為清晰可辨：

此外對于線條的恢復能力也較強，去除模糊的同時，對于線條細節(jié)的恢復較好：