到底誰才是發(fā)明了GAN的男人？

一般認(rèn)為GAN是2014年由Ian Goodfellow等人提出的，但有人發(fā)現(xiàn)同樣的想法早在2010年，就被一位芬蘭的電氣工程師提出了，引發(fā)關(guān)于“怎樣才算是第一個發(fā)明者”的討論。

Ian Goodfellow于2014年提出的GAN，至今已經(jīng)是計算機(jī)視覺領(lǐng)域最重要、使用最廣泛的概念之一。

學(xué)術(shù)界流傳的一則GAN誕生的傳說。據(jù)說是因為一天晚上Ian Goodfellow在酒吧在喝高的狀態(tài)下與同事討論學(xué)術(shù)問題，突然靈光一閃，提出了GAN初步的想法，當(dāng)時并沒有得到同事的認(rèn)可。

后來從酒吧回去發(fā)現(xiàn)女朋友已經(jīng)睡了，于是熬夜寫了代碼，發(fā)現(xiàn)還真有效果。經(jīng)過一番研究后，GAN就誕生了。

GAN的主要靈感來源于博弈論中零和博弈的思想，由一個生成網(wǎng)絡(luò)與一個判別網(wǎng)絡(luò)組成，二者不斷博弈：生成網(wǎng)絡(luò)從潛在空間（latent space）中隨機(jī)采樣作為輸入，其輸出結(jié)果需要盡量模仿訓(xùn)練集中的真實樣本。判別網(wǎng)絡(luò)的輸入則為真實樣本或生成網(wǎng)絡(luò)的輸出，其目的是將生成網(wǎng)絡(luò)的輸出從真實樣本中盡可能分辨出來。而生成網(wǎng)絡(luò)則要盡可能地欺騙判別網(wǎng)絡(luò)。兩個網(wǎng)絡(luò)相互對抗、不斷調(diào)整參數(shù)，最終目的是使判別網(wǎng)絡(luò)無法判斷生成網(wǎng)絡(luò)的輸出結(jié)果是否真實。

有人比Ian Goodfellow早4年就提出了GAN？

正當(dāng)大家都已經(jīng)認(rèn)為GAN等于Ian Goodfellow的時候，Reddit上有人挖墳，稱其實早在Ian提出GAN這一概念的4年前，就已經(jīng)有人提出了非常類似的概念。

Reddit討論地址：

https://www.reddit.com/r/MachineLearning/comments/bnqm0p/d_gans_were_invented_in_2010/

這位叫做Olli Niemitalo的芬蘭電氣工程師，會在自己的博客上記錄他時不時冒出的一些想法。2010年2月24日，他記錄了一種訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)以在可變上下文內(nèi)、生成缺失數(shù)據(jù)的方法。

博客鏈接：

http://yehar.com/blog/?p=167#2010-02-24

在博客中他寫到：圖像可能丟失像素，那么如何通過周圍已知的像素，去恢復(fù)丟失的像素呢？

他提出的方法是一種叫做“生成器”的神經(jīng)網(wǎng)絡(luò)，在給定周圍像素作為輸入的情況下，生成缺失像素。（看，在2010年，Olli就已經(jīng)提到了generator這個概念！）

那么接下來的問題就是，該如何訓(xùn)練這樣的網(wǎng)絡(luò)呢？

比如一個草原的照片上有一塊污漬，我們知道被蓋住的部分（缺失的數(shù)據(jù)）也是草，那么我們就可以訓(xùn)練神經(jīng)網(wǎng)絡(luò)用草去修復(fù)，并可以根據(jù)生成的草，與原始數(shù)據(jù)之間的均方根差（RMSD），對神經(jīng)網(wǎng)絡(luò)的成果進(jìn)行評分。

但如果生成器遇到不屬于訓(xùn)練集的圖像，那么神經(jīng)網(wǎng)絡(luò)就不可能將所有葉子（尤其是缺失部分的中心位置的數(shù)據(jù)）放在恰當(dāng)?shù)奈恢谩Ｈ绻善鞯慕Y(jié)果看起來不理想，就會遭受懲罰。

看，生成/對抗，都有了！接下來，他還畫了一個流程圖：

解釋一下上圖。給定一個分類器網(wǎng)絡(luò)，使之同時和生成器進(jìn)行訓(xùn)練。分類器網(wǎng)絡(luò)以隨機(jī)、或交替順序給出生成的原始數(shù)據(jù)。

接著，分類器需要猜測在周圍圖像上下文的上下文中，輸入是原始數(shù)據(jù)or生成數(shù)據(jù)，并給猜測結(jié)果打分。原始數(shù)據(jù)給1分，生成數(shù)據(jù)給0分。

生成器網(wǎng)絡(luò)的目的就是獲得盡可能高的分?jǐn)?shù)。隨著生成器網(wǎng)絡(luò)不斷學(xué)會獲得高分，最終能夠生成逼真的、人眼區(qū)分不出真假的圖像。

看到這里，很多Reddit網(wǎng)友不淡定了，紛紛感慨“這個人是誰？”“可惜他不出名，要不然blahblah”：

MasterSama：Olli是數(shù)百萬領(lǐng)先他們時代卻籍籍無名的例子之一。但我仍然認(rèn)為雖然Ian可能不是第一個提出GAN的人，卻是第一個讓GAN火起來的。

whymauri：同意MasterSama。我上課的時候聽過一個說法，沒有任何一個科學(xué)發(fā)明是以最早發(fā)現(xiàn)它的那個科學(xué)家命名的。

alexmlamb：先入為主的感情來說，我并不想承認(rèn)兩者是相同的。但我可能不得不承認(rèn)兩者的相似度高的讓人不可思議。

GAN之父的頭銜從來不缺質(zhì)疑，其中就包括LSTM之父

中國古話說，文無第一武無第二。在學(xué)術(shù)領(lǐng)域，永遠(yuǎn)不缺乏爭論。

比如今年圖靈獎的歸屬，包括南京大學(xué)人工智能學(xué)院院長周志華教授在內(nèi)的許多學(xué)界人士，均發(fā)出質(zhì)疑為什么圖靈獎得主不是LSTM之父Jürgen Schmidhuber？他也是深度學(xué)習(xí)領(lǐng)域的大家啊。

LSTM之父Jürgen Schmidhuber聲稱，他在92年提出了一種PM（Predictability Minimization）模型，其與GAN有一些相似之處，所以稱Ian Goodfellow的“GAN之父”的說法是站不住腳的。

最后，無奈之下的Goodfellow只好在論文的最終版本里加入了GAN和PM不同之處的比較，這才有了第一篇GAN論文的誕生。

為此，Schmidhuber和Ian不僅在郵件中展開了激烈的爭論，甚至在2016 NIPS大會上，趁Ian正在做GAN的tutorial的時候，Schmidhuber站起來打斷演講。首先介紹了一下自己92年提出的PM模型，介紹了PM模型的原理和實現(xiàn)過程等等，然后反問Ian如何看待GAN和PM的相似點。

Ian當(dāng)場直接明說他們之前已經(jīng)在郵件里討論了這個問題，不想牽扯到NIPS大會上來浪費廣大聽眾的時間。

Ian的言論贏得了在場大佬的多次掌聲。一位五十多歲的長者試圖碾壓三十出頭的小伙子，但被小伙子反殺，場面一度十分尷尬。

點子一文不值，做出成果的人才有話語權(quán)？

人工智能、機(jī)器人、空間科學(xué)工程師John Cooper在Twitter闡述了他對此事的觀點：點子一文不值，做出成果的人才有話語權(quán)。

Ian也在下面回復(fù)，從側(cè)面認(rèn)可“做永遠(yuǎn)比說有價值”：如果你有確切的想法可行，并且領(lǐng)域知識能夠認(rèn)識到它應(yīng)該有效，那實際上就確實有價值。制作第一個能運作的GAN只花了大約1個小時，寫論文只花了2個星期。這絕對是一個“99％靈感，1％汗水”的故事。

言外之意就是“我做出來了，就這么一點工作量，你呢？”

Keras之父Fran?ois Chollet回復(fù)說：這對學(xué)術(shù)界來說是一個大問題。通常需要數(shù)十人（如果不是數(shù)百人），花費很多年心血才能正確地發(fā)展一個想法。然而，榮譽要歸功于第一篇學(xué)術(shù)論文的第一作者（無論學(xué)術(shù)界之外的現(xiàn)有技術(shù)如何）。

事實上，如果我們翻開維基百科對GAN的定義，就會看到其實Wiki提到了Olli Niemitalod在2010年的博客。不僅如此，還列舉了從1990年到2017年，所有和GAN相似的概念。

比如92年Schmidhuber的可預(yù)測性最小化；2012Yan Zhou等將對抗原理應(yīng)用于SVM；2013年Li、Gauci和Gross采用了在競爭環(huán)境中推斷模型提出“圖靈學(xué)習(xí)”；直到2014年，Ian Goodfellow向公眾介紹了GAN的概念，對今后的人工智能領(lǐng)域產(chǎn)生了巨大影響。

大神的成就總會被人記住。而即使一個默默無聞的人，也可能會在10年后被人提到進(jìn)行熱議。

Ian也好，Schmidhuber也好，科學(xué)家做出的成果的重要性和原創(chuàng)性，總會有人認(rèn)可、有人質(zhì)疑。但無論如何，大神們總有相似之處，那就是堅持！

正如Ian所說：我把整個GAN理念放在一起只需要大約30秒鐘。但這是建立在我花了4年時間攻讀相關(guān)領(lǐng)域的博士學(xué)位，加上在攻讀博士學(xué)位之前、用了2年作為業(yè)余愛好的基礎(chǔ)之上。

臺上30秒，臺下需6年！