GAN之父Goodfellow回顧自己當年的科研經(jīng)歷

編者按：近日，NeuroAscent聯(lián)合創(chuàng)始人、數(shù)據(jù)科學(xué)家Sanyam Bhutani對Ian Goodfellow博士進行了一次采訪。在他們的對話中，深度學(xué)習(xí)研究員、GAN之父Goodfellow回顧了自己當年的科研經(jīng)歷，簡要介紹了自己對于科研、行業(yè)和未來發(fā)展的一些看法。

Sanyam Bhutani：您好，GAN之父，感謝您愿意接受我的采訪。

Ian Goodfellow：非常歡迎！非常感謝你愿意采訪我，以及撰寫博客來幫助其他學(xué)生。

Sanyam Bhutani：作為Google AI的研究科學(xué)家，同時也是生成對抗網(wǎng)絡(luò)（GAN）的發(fā)明人，您能向我們的讀者透露一下自己的科研經(jīng)歷嗎？比如您是什么時候開始研究GAN的？是什么讓您對深度學(xué)習(xí)產(chǎn)生了興趣？

Ian Goodfellow：我從本科開始就已經(jīng)在研究人工智能了，只不過那時機器學(xué)習(xí)主要是SVM、boosted tree等。在課余，我也是游戲編程的業(yè)余愛好者，會用GLslang制作一些小項目。一次，我的朋友Ethan Dreyfuss（他現(xiàn)在在Zoox工作）告訴了我兩件事：Geoff Hinton在谷歌的技術(shù)演講上提到了深度信念網(wǎng)絡(luò)（DBN）；CUDA GPU。

我當即就意識到深度學(xué)習(xí)能彌補SVM帶給我的很多缺憾。一方面，SVM在設(shè)計模型上不夠自由，投入更多數(shù)據(jù)資源后，它不會直接變得更“智能”，但深度神經(jīng)網(wǎng)絡(luò)可以隨著投入數(shù)據(jù)的增加不斷提升性能。另一方面，CUDA GPU能允許我訓(xùn)練更大的神經(jīng)網(wǎng)絡(luò)，由于有游戲編程經(jīng)驗，我知道該怎么編寫GPU代碼。

就在那個寒假，我和Ethan在斯坦福大學(xué)搭好了第一臺CUDA計算機，并用它開始訓(xùn)練玻爾茲曼機。

Sanyam Bhutani：正如您所講的，你只花了一晚上就寫出了第一個GAN，但一般在研究上作出突破都至少需要幾個月甚至幾年。您能談?wù)勛约簽槭裁茨茉谝灰怪g就實現(xiàn)突破嗎？

Ian Goodfellow：如果你有一個和新想法相關(guān)的高質(zhì)量codebase（代碼庫），實現(xiàn)這個想法其實很容易。早在幾年前，我和同事就已經(jīng)圍繞Theano和Pylearn2的庫做了很多工作，它們都是第一個GAN的構(gòu)建基礎(chǔ)。早年有篇論文叫Maxout Networks，我們曾仿照它自己寫了個MNIST分類器，到訓(xùn)練GAN時，我們直接復(fù)制了分類器的代碼，論文的超參數(shù)在GAN里也很好用，所以我們基本沒做什么更新。再加上在MNIST上訓(xùn)練用時很短，我認為第一個MNIST GAN只花了我大約一小時的時間。

Sanyam Bhutani：自發(fā)明以來，我們在GAN上看到了很多可喜的進展，您最欣賞其中的哪一個呢？

Ian Goodfellow：這很難選。當Emily Denton和Soumith Chintala提出LAPGAN的時候，我第一次意識到GAN的廣大前景。當然，LAPGAN只是暴風(fēng)雨前的一朵小浪花。

Sanyam Bhutani：除了GAN，你最好看深度學(xué)習(xí)的哪個領(lǐng)域呢？

Ian Goodfellow：我在研究模型對于對抗樣本的穩(wěn)健性上花了不少時間。為了把機器學(xué)習(xí)用于實際應(yīng)用，確保它的安全性非常重要。我也希望這項研究能幫我們更好地理解什么是機器學(xué)習(xí)。

Sanyam Bhutani：對于那些有興趣從事深度學(xué)習(xí)的讀者和初學(xué)者，對于那些夢想著有一天能進入Google工作的人，您有什么好的建議嗎？

Ian Goodfellow：首先要學(xué)習(xí)基礎(chǔ)知識：編程、debug、線性代數(shù)、概率論。大多數(shù)高級研究項目最看重一個人的基礎(chǔ)知識掌握水平，而不是他對先進技術(shù)的了解程度。舉個例子，今天我就在調(diào)試內(nèi)存泄露，因為它讓我沒法實驗，我也在加快軟件庫的單元測試，以便嘗試更多研究思路。當我還在讀本科、讀博士的時候，我經(jīng)常會向吳恩達討教，他建議我一定要徹底掌握這些基礎(chǔ)知識。那時我覺得這些工作很無聊，希望他能多跟我說說超實數(shù)之類的東西，但現(xiàn)在幾年過去了，我覺得他的建議真的是正確的。

Sanyam Bhutani：您能跟我們說說您在Google的一天是什么樣的嗎？

Ian Goodfellow：對于不同人，甚至是同一個人的不同人生階段，這種體驗是非常不一樣的。有時候，我就是寫寫代碼、跑跑實驗、讀幾篇論文，或者寫寫書。有時候，我就需要花大多數(shù)時間參加幾個不同的會議，檢查許多不同的項目。現(xiàn)在我在檢查別人工作上花去的時間要占60%，處理自己的項目則占40%。

Sanyam Bhutani：有一種普遍想法是，如果想在深度學(xué)習(xí)中取得重大成果，一個必要前提是有大量資源。您是怎么看待這個觀點的呢？你是否覺得存在那么一個人，他沒有Google能提供的那么多資源，但他最終做出了突破性貢獻？

Ian Goodfellow：我同意，當然存在這么一個人，但他首先得選好合適的研究項目。比如證明一個有趣的理論結(jié)果可能不需要計算資源，設(shè)計一個只需極少數(shù)據(jù)但性能好、通用性強的算法也不需要超大型數(shù)據(jù)集。但是，如果你沒有足夠多的硬件做并行計算，你最好不要去挑戰(zhàn)構(gòu)建全世界訓(xùn)練速度最快的ImageNet分類器。

Sanyam Bhutani：鑒于研究成果的爆炸性增長，您是怎么讓自己與時俱進的？

Ian Goodfellow：不久前，我覺得自己已經(jīng)掌握了深度學(xué)習(xí)的所有知識，尤其是在我編書的時候。但現(xiàn)在我做不到了，我真的只能關(guān)注和自己的研究有關(guān)的主題，我甚至都說不清GAN發(fā)生了什么變化。

Sanyam Bhutani：您覺得機器學(xué)習(xí)被高估了嗎？

Ian Goodfellow：就其長期潛力而言，我實際上認為機器學(xué)習(xí)還是被低估了，因為外行人還沒有像我們一樣對它津津樂道。但我認為機器學(xué)習(xí)確實經(jīng)常被“錯誤炒作”：人們會夸大現(xiàn)階段這種技術(shù)的可能性，或者夸大個別項目的進展等。

Sanyam Bhutani：您認為非機器學(xué)習(xí)專業(yè)的博士/碩士能否為深度學(xué)習(xí)領(lǐng)域做出貢獻？

Ian Goodfellow：我認為培養(yǎng)專業(yè)知識很重要，但我不認為博士學(xué)位是獲得這種專業(yè)知識的唯一途徑。最優(yōu)秀的博士生往往都是自學(xué)型人才，只要有足夠時間學(xué)習(xí)，他們也能做到邊工作邊成長。

Sanyam Bhutani：最后，您能給那些對深度學(xué)習(xí)感到不知所措的初學(xué)者一些建議嗎？

Ian Goodfellow：從一個簡單項目開始，重新實現(xiàn)那些你已經(jīng)了解，而且知道肯定能成的東西，比如CIFAR-10分類器。很多人都會想一開始就直接去做一些新的事情，然后項目失敗了，你也不知道是項目本身行不通，是你自己的思路有問題，還是你對一些關(guān)鍵點的理解有誤。我覺得有一個可以實踐的項目很重要：深度學(xué)習(xí)有時就像開飛機，你可以讀很多東西，但你也要親自上手體驗并發(fā)現(xiàn)另一些直觀的經(jīng)驗。