英偉達(dá)面目生成器升級至2.0 計算機視覺或許可以再突破

近期，由英偉達(dá)的AI團隊為GAN創(chuàng)造了一種新的生成器，連GAN之父Goodfellow也忍不住發(fā)出稱贊。從下圖我們可以看到很多的清晰的人像，但這些并不是照片，而是一組完全由計算機生成的圖片。

這個結(jié)構(gòu)不需要人類監(jiān)督，可以自動分離圖像中的各種屬性。這樣，在或粗糙或精細(xì)的不同尺度上，人類便能自如地控制GAN的生成。

英偉達(dá)研究人員在論文中寫道，他們提出的新架構(gòu)可以完成自動學(xué)習(xí)，無監(jiān)督地分離搞基屬性以及生成圖像中的隨機變化，并且可以合成進行更直觀且特定于比例的控制。也就是說，這種新的生成器在生成和混合圖像，特別是人臉圖像時，可以更好地感知圖像之間有意義的變化，并且在各種尺度上針對這些變化做出引導(dǎo)。

研究人員使用的舊系統(tǒng)可能產(chǎn)生兩個“不同”的面部，這兩個面部其實大致相同，只是一個人的耳朵被抹去了，兩個人的襯衫是不同的顏色，而這些并不是真正的面部特異性特征，不過系統(tǒng)并不知道這些是無需重點關(guān)注的變化，而當(dāng)成了兩個人來處理。

1.Generation

什么是生成（generation）？就是模型通過學(xué)習(xí)一些數(shù)據(jù)，然后生成類似的數(shù)據(jù)。讓機器看一些動物圖片，然后自己來產(chǎn)生動物的圖片，這就是生成。

以前就有很多可以用來生成的技術(shù)了，比如 auto-encoder（自編碼器），結(jié)構(gòu)如下圖：

你訓(xùn)練一個 encoder，把 input 轉(zhuǎn)換成 code，然后訓(xùn)練一個 decoder，把 code 轉(zhuǎn)換成一個 image，然后計算得到的 image 和 input 之間的 MSE（mean square error），訓(xùn)練完這個 model 之后，取出后半部分 NN Decoder，輸入一個隨機的 code，就能 generate 一個 image。

但是 auto-encoder 生成 image 的效果，當(dāng)然看著很別扭啦，一眼就能看出真假。所以后來還提出了比如VAE這樣的生成模型，我對此也不是很了解，在這就不細(xì)說。

上述的這些生成模型，其實有一個非常嚴(yán)重的弊端。比如 VAE，它生成的 image 是希望和 input 越相似越好，但是 model 是如何來衡量這個相似呢？model 會計算一個 loss，采用的大多是 MSE，即每一個像素上的均方差。

第一張，我們認(rèn)為是好的生成圖片，第二張是差的生成圖片，但是對于上述的人來說，這兩張圖片計算出來的 loss 是一樣大的，所以會認(rèn)為是一樣好的圖片。

這就是上述生成模型的弊端，用來衡量生成圖片好壞的標(biāo)準(zhǔn)并不能很好的完成想要實現(xiàn)的目的。于是就有了下面要講的 GAN。

2.GAN

GAN 是如何生成圖片的呢？首先大家都知道 GAN 有兩個網(wǎng)絡(luò)，一個是 generator，一個是 discriminator，從二人零和博弈中受啟發(fā)，通過兩個網(wǎng)絡(luò)互相對抗來達(dá)到最好的生成效果。流程如下：

主要流程類似上面這個圖。首先，有一個一代的 generator，它能生成一些很差的圖片，然后有一個一代的 discriminator，它能準(zhǔn)確的把生成的圖片，和真實的圖片分類，簡而言之，這個 discriminator 就是一個二分類器，對生成的圖片輸出 0，對真實的圖片輸出 1。

接著，開始訓(xùn)練出二代的 generator，它能生成稍好一點的圖片，能夠讓一代的 discriminator 認(rèn)為這些生成的圖片是真實的圖片。然后會訓(xùn)練出一個二代的 discriminator，它能準(zhǔn)確的識別出真實的圖片，和二代 generator 生成的圖片。以此類推，會有三代，四代。。。n 代的 generator 和 discriminator，最后 discriminator 無法分辨生成的圖片和真實圖片，這個網(wǎng)絡(luò)就擬合了。

3.GAN2.0到GAN3.0

使用基于風(fēng)格的生成器的GAN2.0，在各個方面都優(yōu)于傳統(tǒng)的GAN。英特爾團隊相信，對高階屬性與隨機效應(yīng)分離的研究，以及中間隱空間(intermediate latent space)的線性，將會對提高GAN合成的理解和可控性有很大的幫助。平均路徑長度度量可以很容易地用作訓(xùn)練中的正則化器，也許線性可分度量的某些變體也可以作為一個正則化器。

除了人像，GAN 2.0還可以生成房間、汽車等各種場景。有了這樣的技術(shù)，未來再也不用發(fā)愁圖像數(shù)據(jù)集。畢竟這些計算機生成的“人”，已經(jīng)如此的真實。總的來說，在訓(xùn)練期間直接塑造中間隱空間(intermediate latent space)的方法將為未來的工作提供有趣的途徑。而未來，GAN3.0將會突破瓶頸，達(dá)到更令人矚目的視覺成就。

4.結(jié)語

目前國內(nèi)做計算機視覺的以曠視科技Face++、商湯科技、極鏈科技Video++為代表的AI頭部企業(yè)為代表，以算法為核心競爭力的AI初創(chuàng)企業(yè)，扎根于技術(shù)，都在計算機視覺上做出了卓越的成就。計算機視覺的研究和發(fā)展具有極其重要的意義，不但滿足人工智能應(yīng)用的需要，如在計算機實現(xiàn)人工的視覺系統(tǒng)的需要。其次這些成果可以安裝在計算機和各種機器上，使計算機和機器人能夠具有“看”和創(chuàng)作圖像的能力。視覺計算模型的研究結(jié)果反過來對于我們進一步認(rèn)識和研究人類視覺系統(tǒng)本身的機理，甚至人腦的機理，也同樣具有相當(dāng)大的參考意義。