一款神器——GANpaint，竟然簡單幾筆就能成畫

GAN的神奇能力有目共睹。最近，朱俊彥等人在論文中提出了一款神器——GANpaint，竟然簡單幾筆就能成畫。這個神來之“工具”的驚艷效果，引來不少人的驚嘆。

有了這款神器，畫畫不能再簡單了！

自從GAN誕生以來，一次一次創(chuàng)造著奇跡：填充紋理、變臉易容。但這一次，這款名叫GANpaint的神器，簡單幾筆就能成畫。

話不多說，上結(jié)果：

也難怪網(wǎng)友驚呼：“以后拆樓都不用費(fèi)勁了！”

那么這款神器如何操作呢？先奉上傳送門：

http://gandissect.res.ibm.com/ganpaint.html?project=churchoutdoor&layer=layer4

GANpaint的界面也是十分的簡潔。

首先，在界面下方選擇底圖；其次，在左側(cè)選擇一個對象，如“草”、“門”、“天空”等等；然后選擇要進(jìn)行的操作，例如“繪畫”、“刪除”等；最后，只需要在圖片中想要更改的區(qū)域涂抹幾筆即可。

GANpaint憑什么如此神奇？

生成對抗網(wǎng)絡(luò)(GANs)最近在許多實(shí)際應(yīng)用中取得了令人印象深刻的結(jié)果，并且隨著樣本質(zhì)量和訓(xùn)練穩(wěn)定性的提高，出現(xiàn)了許多GAN的變體。然而，對GAN的可視化和理解在很大程度上是缺失的。

因此，來自MIT、香港中文大學(xué)、IBM等學(xué)校/機(jī)構(gòu)的David Bau、朱俊彥、Joshua B.Tenenbaum、周博磊等人發(fā)表論文，并在文中提出了GANpaint這款工具。

在這項(xiàng)工作中，研究人員提出了一個分析框架來在單元、對象和場景級別可視化和理解GAN：

首先，用基于分段的網(wǎng)絡(luò)剖分方法識別一組與對象概念密切相關(guān)的可解釋單元；

然后，通過測量“干預(yù)”的能力來量化可解釋單位的因果效應(yīng)；

最后，通過將發(fā)現(xiàn)的對象概念插入到新圖像中，以此來檢查這些單元與其周圍環(huán)境之間的關(guān)系。

研究人員的主要目標(biāo)是分析如何通過GAN生成器的內(nèi)部表征，來對“樹”等對象進(jìn)行編碼：

通過剖析（dissection）來表征單元

使用干預(yù)（intervention）測量因果關(guān)系

實(shí)驗(yàn)結(jié)果

工作人員研究了在LSUN場景數(shù)據(jù)集上訓(xùn)練的三種Progressive GAN的變體。為了對生成的圖像進(jìn)行分割，我們使用一個最近的模型 (Xiao et al., 2018) 在ADE20K場景數(shù)據(jù)集上訓(xùn)練。

該模型可以將輸入圖像分割為336個物體類，29個大物體和25個材質(zhì)類。為了進(jìn)一步識別專門用于對象部件的單元，我們將每個對象類c擴(kuò)展為另外的對象部件類ct，cb，cl和cr，分別表示連接組件的邊界框的頂部，底部，左半部分或右半部分。。

診斷和改進(jìn)GANS

框架不僅可以揭示GAN是如何成功地生成真實(shí)圖像的，也可以分析結(jié)果失敗的原因。

如圖8所示，圖8a顯示了幾個注釋單元，負(fù)責(zé)GAN結(jié)果中的visual artifacts；圖8b顯示了artifacts被成功移除，并且自由像素保持不變的改進(jìn)的生成結(jié)果。

圖8: (a)兩個負(fù)責(zé)GAN結(jié)果中 visual artifacts的示例單元?？偣灿?0個單元。通過消融這些單元，我們可以修復(fù)(b)中的artifacts，并顯著提高(c)中的視覺質(zhì)量。

通過消融定位因果單元

圖9：測量在會議室圖像訓(xùn)練的GAN中消融單元的效果

如圖10所示，雖然可以在會議室圖像中很好地移除窗戶，但是在其他場景中刪除窗戶則比較困難。

圖10：比較在五個場景類別訓(xùn)練的GAN中消融20個窗戶單位的效果。

通過插入表征上下文關(guān)系

也可以通過強(qiáng)制單元和插入這些功能到場景中的特定位置來學(xué)習(xí)GAN的操作。圖11顯示了在教堂場景中插入20層門單元的效果。

圖11：通過在表示中的一個像素處將20個causal units設(shè)置為固定的高值來插入 door units。