一種新的算法StructureFlow重建新算法實現(xiàn)高性能圖像修復

圖像修復技術(shù)對于眾多修圖軟件來說十分重要，在深度學習的幫助下圖像修復算法的功能越來越強大，甚至對于大幅度污損的照片也能輕松修復。但目前的很多算法在進行圖像修復時卻面臨著結(jié)構(gòu)重建問題或細節(jié)問題修復問題的困難，修復結(jié)果不盡如人意。

為了解決這一問題，來自北大、鵬城實驗室和騰訊的研究人員提出了一種新的算法StructureFlow，將圖像修復的過程分為邊緣保持的低頻結(jié)構(gòu)重建和基于結(jié)構(gòu)的高分辨率紋理重建，并利用流的方法充分利用未受損像素的信息實現(xiàn)有效的紋理補全和圖像修復。

圖像修復的主要目的在于為圖像中的有效區(qū)域和污損區(qū)域生成出視覺效果完整的結(jié)構(gòu)和細節(jié)，用戶不僅可以利用這一技術(shù)修復圖像的缺失，還可以將它用于圖像編輯和物體去除等任務(wù)。圖像修復最大的難點在于生成正確完整的結(jié)構(gòu)和視覺效果較為真實的細節(jié)紋理。

已有的圖像修復方法

現(xiàn)存的方法主要可以分為兩大類——基于擴散的方法和基于圖像片的方法。

基于擴散的方法主要通過將領(lǐng)域的信息傳播到缺失的位置來實現(xiàn)紋理合成，然而這種方法只能處理一些較小的孔洞，對于較大范圍的結(jié)構(gòu)缺失則無法有效處理。

而基于圖像片的方法則不僅僅只利用缺失位置附近的像素點，這種方法可以有效利用更遠位置的信息來恢復缺失區(qū)域?；趫D像片的方法通過搜索與污損區(qū)域結(jié)構(gòu)相似的目標區(qū)域，并復制圖像片來重建缺失區(qū)域，這種方法可以為較大的缺失區(qū)域生成視覺效果真實紋理。這種方法一般基于雙線性相似性的方法來搜索合適的圖像片。

但基于片元的方法主要假設(shè)非污損區(qū)域包含了與污損區(qū)域語義相似的內(nèi)容，但如人臉檢測等任務(wù)中這種假設(shè)并不成立。這種方法在某些有重復性結(jié)構(gòu)的圖像中表現(xiàn)良好，但對于具有特殊結(jié)構(gòu)的圖像則無法有效處理。

近年來隨著深度學習的發(fā)展，很多方法將圖像修復問題視為一個條件生成問題，將污損圖像作為網(wǎng)絡(luò)輸入得到修復后的圖像?；谏疃葘W習方法的優(yōu)勢在于可以將圖像中的有效語義信息進行抽取，并生成新的圖像。

人們提出了包括基于自編碼器架構(gòu)、處理全局和局部內(nèi)容的判別器、構(gòu)建長程相關(guān)性、選擇性利用有效像素以及邊緣修復等方法來進行圖像修復但都存在著諸如長程相關(guān)性無法有效表示、邊緣信息無法有效攜帶紋理等問題，使得這些方法得到的結(jié)果都有這樣或那樣的不足。

StructureFlow

為了解決先前模型存在的問題，研究人員們提出了一種新穎的兩階段網(wǎng)絡(luò)模型倆實現(xiàn)高質(zhì)量的圖像修復。這一模型包含了兩個部分，分別是結(jié)構(gòu)生成器和紋理細節(jié)生成器。

研究人員認為圖像的修復過程是一個先生成有效結(jié)構(gòu)再補全真實細節(jié)的過程。所以網(wǎng)絡(luò)的第一部分用于生成有意義的結(jié)構(gòu)，研究人員采用了保邊平滑后的圖像來表示圖像場景的全局結(jié)構(gòu)。

保邊平滑方法的主要目標在于移除圖像中的高頻紋理，同時保持銳利邊緣和低頻信息（這些信息是圖像結(jié)構(gòu)的主要組成部分）。利用保邊平滑后的圖像進行訓練，結(jié)構(gòu)重建器可以集中于恢復全局結(jié)構(gòu)而無需考慮細節(jié)和紋理的干擾。

在重建出缺失細節(jié)后，紋理生成器就可以基于重建出的結(jié)構(gòu)圖來合成高頻的細節(jié)了。由于圖像領(lǐng)域的相似結(jié)構(gòu)具有很強的相關(guān)性，所有未被污損的區(qū)域可以用于修復缺失區(qū)域的紋理。

雖然卷積網(wǎng)絡(luò)對于長程相關(guān)性建模比較困難，但研究人員提出了基于圖像外觀流（appearance flow，AF）的方法來從相似結(jié)構(gòu)區(qū)域采樣，為不同區(qū)域構(gòu)建清晰關(guān)系。此外研究人員還利用了高斯采樣代替了雙線性采樣來拓展了采樣操作的感受野，并引入了新的采樣正確性損失函數(shù)來訓練采樣過程，以此得到了性能較高的圖像修復模型。

實現(xiàn)細節(jié)

在結(jié)構(gòu)重建器中，研究人員將最小化生成的低頻結(jié)構(gòu)圖像與平滑后原圖間的誤差。第一階段的監(jiān)督信號主要來自于GT圖的平滑結(jié)果，使用了保邊平滑算法RTV來得到保持圖像主要結(jié)構(gòu)的圖片作為標簽。模型的主要結(jié)構(gòu)基于自編碼器架構(gòu)得到，添加了一系列殘差塊用于特征的優(yōu)化提取。Gs和Gt分別代表了第一階段的結(jié)構(gòu)生成器和第二階段的紋理生成器，而判別器則使用了類似于BicycleGAN的架構(gòu)，利用了兩個不同尺度的PatchGAN來預測不同尺度生成圖像的真?zhèn)巍?/p>

值得一提的是，這一模型中使用了流的概念來將未受損區(qū)域的紋理信息賦予需要修復區(qū)域。但原始的AF方法是以一種非監(jiān)督的方法，網(wǎng)絡(luò)無法處理較大的運動和較差的局域最小值。

為了解決這一問題，研究人員提出了利用高斯采樣的方法來代替原先的雙線性采樣方法以擴展感受野，并提出了采樣正確性損失來約束可能的收斂結(jié)果。采樣過程通過輸入像素（特征）來計算梯度，如果感受野受限只能有少量像素參與計算。由于相鄰像素具有較強的相關(guān)性，所以較大的感受野有助于獲得較為正確和穩(wěn)定的梯度。雙線性采樣的感受野較小，不適合于長程相關(guān)性的采樣建模。而高斯相關(guān)性則可以在較大的感受野中進行采樣。下式中的權(quán)重aij便是可調(diào)整方差的高斯核。

而新提出的采樣正確性損失則用于衡量模型的采樣是否良好，并約束AF場的信息流動。在實際使用中，研究人員主要使用了VGG19層的特征來計基準特征和采樣特征之間的余弦距離，以判斷這一采樣是否合適。

實驗結(jié)果

研究人員分別在Place2，Celeba和Paris StreetView數(shù)據(jù)集上進行了實驗，并利用Irregular Masks數(shù)據(jù)集生成缺失污損的圖像。

利用客觀的SSIM，PSNR和FID進行客觀測評，同時也利用MTurk平臺進行了主觀質(zhì)量測試。下圖顯示了研究人員提出的方法與Contextual Attention（CA），Partial Convolution（PConv）和EdgeConnect等方法的比較。

下表中可以看到在多個數(shù)據(jù)集上本方法都獲得了明顯的指標提升。

研究人員還將這一算法用于圖像編輯任務(wù)中去，將圖中不希望出現(xiàn)的物體涂上掩膜，就可以修復出完整高質(zhì)量的清晰圖像。同時也可以在結(jié)構(gòu)圖上進行編輯為生成的圖像增加新的物體或內(nèi)容。