探索GAN的景觀，并討論常見的陷阱和可重復(fù)性等問題

隨著GAN越來越多的應(yīng)用到實(shí)際研究當(dāng)中，其技術(shù)中的缺陷與漏洞也隨之出現(xiàn)。從實(shí)際角度對(duì)GAN的當(dāng)前狀態(tài)進(jìn)行深入挖掘與理解就顯得格外重要。來自Google Brain的Karol Kurach等人重現(xiàn)了當(dāng)前的技術(shù)發(fā)展水平，探索GAN的景觀，并討論常見的陷阱和可重復(fù)性等問題。

從實(shí)際角度對(duì)GAN的當(dāng)前狀態(tài)進(jìn)行深入挖掘與理解對(duì)GAN的發(fā)展有著重要的意義。來自Google Brain的Karol Kurach等人重現(xiàn)了當(dāng)前的技術(shù)發(fā)展水平，探索GAN的景觀，并討論常見的陷阱和可重復(fù)性等問題。Lan Goodfellow等AI界大咖也對(duì)此成果表示贊同，并紛紛轉(zhuǎn)載。

深度生成模型可以應(yīng)用于學(xué)習(xí)目標(biāo)分布的任務(wù)。 他們最近在各種應(yīng)用程序中被利用，在自然圖像的背景下充分發(fā)揮其潛力。 生成對(duì)抗網(wǎng)絡(luò)（GAN）是以完全無監(jiān)督的方式學(xué)習(xí)這些模型的主要方法之一。 GAN框架可以被視為一個(gè)雙人游戲，其中第一個(gè)“玩家”，生成器(generator)，正在學(xué)習(xí)將一些簡單的輸入分布（通常是標(biāo)準(zhǔn)的多元正態(tài)或均勻）轉(zhuǎn)換為圖像空間上的分布，這樣第二個(gè)“玩家”，鑒別器(discriminator)，無法判斷樣本是屬于真實(shí)分布還是合成。 兩位“玩家”的目標(biāo)都是盡量減少自己的損失，而比賽的解決方案就是Nash均衡(equilibrium)，任何“玩家”都不能單方面改善他們的損失。 還可以通過最小化模型分布和真實(shí)分布之間的統(tǒng)計(jì)差異來導(dǎo)出GAN框架。

訓(xùn)練GAN需要解決發(fā)生器和鑒別器參數(shù)的最小極大(nimimax)問題。 由于發(fā)生器和鑒別器通常都被參數(shù)化為深度卷積神經(jīng)網(wǎng)絡(luò)，所以這種極小極大(minimax)問題在實(shí)踐中是非常困難的。 為此，提出了許多損失函數(shù)，正則化和歸一化以及神經(jīng)結(jié)構(gòu)的方案來做選擇。 其中一些是基于理論見解得出的，而另一些則是實(shí)際考慮角度出發(fā)的。

在這項(xiàng)工作中，我們對(duì)這些方法進(jìn)行了全面的實(shí)證分析。我們首先定義GAN landscape—損失函數(shù)集，歸一化和正則化方案以及最常用的體系結(jié)構(gòu)。我們通過超參數(shù)優(yōu)化(hyperparameter optimization)，在幾個(gè)現(xiàn)代大規(guī)模數(shù)據(jù)集以及高斯過程回歸(Gaussian Process regression)獲得的數(shù)據(jù)集上探索這個(gè)搜索空間。 通過分析損失函數(shù)的影響，我們得出結(jié)論，非飽和損失(non-saturating loss)在數(shù)據(jù)集、體系結(jié)構(gòu)和超參數(shù)之間足夠穩(wěn)定。然后，我們繼續(xù)分析各種歸一化和正則化方案以及不同的體系結(jié)構(gòu)的效果。我們表明，梯度抑制(gradient penaltyas)以及頻譜歸一化(spectral normalization)在高容量(high-capacity)結(jié)構(gòu)的背景下都是有用的。然后，我們發(fā)現(xiàn)人們可以進(jìn)一步受益于同時(shí)正規(guī)化和規(guī)范化。最后，我們討論了常見的陷阱，可重復(fù)性問題和實(shí)際考慮因素。

GAN Landscape

損失函數(shù)

令P表示目標(biāo)分布，Q表示模型分布。原始的GAN公式有兩種損失函數(shù):minimax GAN和非飽和(NS) GAN。前者，鑒別器最小化二分類問題的負(fù)對(duì)數(shù)似然（即樣本是真的還是假的），相當(dāng)于最小化P和Q之間的Jensen-Shannon（JS）偏差。后者，生成器最大化生成樣本是真實(shí)的概率。對(duì)應(yīng)的損失函數(shù)定義為：

在綜合考慮前人的研究后，我們考慮用最小平方損失（LS），相當(dāng)于最小化P和Q之間的Pearson卡方散度(divergence)。對(duì)應(yīng)的損失函數(shù)定義為：

鑒別器的歸一化和正則化

Gradient norm penalty

在訓(xùn)練點(diǎn)和生成的樣本之間的線性插值上評(píng)估梯度，作為最佳耦合的代理(proxy)。 還可以在數(shù)據(jù)流形周圍評(píng)估梯度損失，這促使鑒別器在該區(qū)域中成分段線性。梯度范數(shù)懲罰可以純粹被認(rèn)為是鑒別器的正則化器，并且它表明它可以改善其他損失的性能。計(jì)算梯度范數(shù)(gradient norms)意味著一個(gè)非平凡的運(yùn)行時(shí)間懲罰(penalty) - 基本上是運(yùn)行時(shí)間的兩倍。

鑒別器歸一化

從優(yōu)化角度（更有效的梯度流、更穩(wěn)定的優(yōu)化）以及從表示的角度來看，歸一化鑒別器是有用的 - 神經(jīng)網(wǎng)絡(luò)中層的表示豐富度取決于相應(yīng)權(quán)重的譜結(jié)構(gòu)矩陣。

從優(yōu)化角度來看，一些關(guān)于GAN的技術(shù)已經(jīng)成熟，例如： Batch normalization和Layer normalization (LN)；從表示的角度來看，必須將神經(jīng)網(wǎng)絡(luò)視為（可能是非線性）映射的組合并分析它們的光譜特性(spectral properties)。特別地，為了使鑒別器成為有界線性算子，控制最大奇異值(maximum singular value)就可以了。

生成器和鑒別器機(jī)構(gòu)

我們?cè)谶@項(xiàng)研究中探索了兩類架構(gòu)：深度卷積生成對(duì)抗網(wǎng)絡(luò)(DCGAN)和殘余網(wǎng)絡(luò)(ResNet)。ResNet19是一種架構(gòu)，在生成器中有五個(gè)ResNet塊，在鑒別器中有六個(gè)ResNet塊，可以在128×128圖像上運(yùn)行。我們?cè)诿總€(gè)鑒別器塊中進(jìn)行下采樣，并且第一個(gè)塊不包含任何自定義更改。 每個(gè)ResNet塊由三個(gè)卷積層組成，這使得鑒別器總共有19層。 表3a和表3b總結(jié)了鑒別器和發(fā)生器的詳細(xì)參數(shù)。 通過這種設(shè)置，我們能夠重現(xiàn)并改進(jìn)當(dāng)前已有的最好結(jié)果。

評(píng)估方法

我們專注于幾個(gè)最近提出的非常適合圖像域的指標(biāo)。

Inception Score (IS)

IS提供了一種定量評(píng)估生成樣本質(zhì)量的方法。 包含有意義對(duì)象的樣本的條件標(biāo)簽分布應(yīng)該具有低熵，并且樣本的可變性應(yīng)該高。 IS可以表示為：

來自P和Q的樣本首先嵌入到特征空間（InceptionNet的特定層）中。 然后，假設(shè)嵌入數(shù)據(jù)遵循多元高斯分布，估計(jì)均值和協(xié)方差。 最后，計(jì)算這兩個(gè)高斯之間的Fréchet距離：

圖像質(zhì)量（MS-SSIM）和多樣性的多尺度結(jié)構(gòu)相似性

GAN中的一個(gè)關(guān)鍵問題是模式崩潰和模式丟失 - 無法捕獲模式，或者從給定模式生成樣本的多樣性較低。MS-SSIM得分用于測(cè)量兩個(gè)圖像的相似度，其中較高的MS-SSIM得分表示更相似的圖像。

數(shù)據(jù)集

我們考慮三個(gè)數(shù)據(jù)集，即CIFAR10，CELEBA-HQ-128和LSUN-BEDROOM。LSUN-BEDROOM數(shù)據(jù)集[包含300多萬張圖像。 我們將圖像隨機(jī)分成訓(xùn)練集和測(cè)試集，使用30588張圖像作為測(cè)試集。 其次，我們使用30k張圖像的CELEBA-HQ數(shù)據(jù)集，將3000個(gè)示例作為測(cè)試集，其余示例作為訓(xùn)練集。 最后，為了重現(xiàn)現(xiàn)有結(jié)果，我們還采用了CIFAR10數(shù)據(jù)集，其中包含70K張圖像（32x32x3），60000個(gè)訓(xùn)練實(shí)例和10000個(gè)測(cè)試實(shí)例。 CELEBA-HQ-128的基線FID評(píng)分為12.6，LSUN-BEDROOM為3.8，CIFAR10為5.19。

實(shí)驗(yàn)結(jié)果

損失函數(shù)的影響

非飽和（NS）損失在兩個(gè)數(shù)據(jù)集上都是穩(wěn)定的

Gradient penalty和光譜(spectral)歸一化提高了模型質(zhì)量。 從計(jì)算預(yù)算的角度來看（即，需要訓(xùn)練多少個(gè)模型以達(dá)到某個(gè)FID），光譜歸一化和Gradient penalty都比基線表現(xiàn)更好，但前者更有效。

Gradient penalty和譜歸一化（SN）都表現(xiàn)良好，應(yīng)該被認(rèn)為是可行的方法，而后者在計(jì)算成本上更好。 可惜的是，沒有人能完全解決穩(wěn)定性問題。

歸一化和正則化的影響

Gradient penalty加上光譜歸一化(SN)或?qū)託w一化(LN)大大提高了基線的性能

生成器和鑒別器結(jié)構(gòu)的影響

鑒別器和發(fā)生器結(jié)構(gòu)對(duì)非飽和GAN損失的影響。光譜歸一化和Gradient penalty可以幫助改進(jìn)非正則化基線。