圖靈獎為什么沒頒給LSTM之父Jürgen Schmidhuber？

圖靈獎為何不頒給LSTM之父Jürgen Schmidhuber？作為AI界特立獨行的人，Schmidhuber與深度學(xué)習(xí)三巨頭有過口水戰(zhàn)，并現(xiàn)場對質(zhì)GAN的提出者，可謂得罪了一圈人。

一個被遺忘的大神。

前幾天，2018圖靈獎獲得者公布，深度學(xué)習(xí)三巨頭：Yoshua Bengio、Geoffrey Hinton、Yann LeCun榮獲桂冠。

HLB（Hinton、LeCun、Bengio）三人獲圖靈獎實至名歸，消息一出，計算機界紛紛送上祝福。

不過，在恭賀之余，也有不少的網(wǎng)友發(fā)出了質(zhì)疑：圖靈獎為什么沒頒給LSTM之父Jürgen Schmidhuber？他也是深度學(xué)習(xí)領(lǐng)域的大家啊。

獲得圖靈獎的為什么是Yoshua Bengio、Geoffrey Hinton、Yann LeCun，而不是Jürgen Schmidhuber呢？

Yoshua Bengio、Geoffrey Hinton和Yann LeCun獲得了圖靈獎(計算機界的諾貝爾獎)，讓深度神經(jīng)網(wǎng)絡(luò)成為計算機中的重要環(huán)節(jié)。非?？?！但是Jürgen Schmidhuber呢？

就連南京大學(xué)人工智能學(xué)院院長周志華教授也發(fā)微博稱，LSTM是教科書級的貢獻(xiàn)。

Jürgen Schmidhuber是瑞士Dalle Molle人工智能研究所的聯(lián)合主任，他1997年提出的LSTM現(xiàn)在被廣泛應(yīng)用在谷歌翻譯、蘋果Siri、亞馬遜Alex等應(yīng)用中，可謂是深度學(xué)習(xí)領(lǐng)域最商業(yè)化的技術(shù)之一。

Jürgen Schmidhuber

除了LSTM之外，Jürgen Schmidhuber“引以為傲”的還有他在1992年提出的一種PM（Predictability Minimization）模型。

為什么“引以為傲要”打引號？

因為他堅持認(rèn)為現(xiàn)在大火的GAN就是PM的變種，兩者的區(qū)別就在于方向是反的，為此，Jürgen Schmidhuber還和GAN的提出者Ian Goodfellow有過線上線下激烈的交鋒，業(yè)界至今記憶猶新。

至于對深度學(xué)習(xí)三巨頭HLB，Jürgen Schmidhuber也打過幾輪口水仗，認(rèn)為HLB三人在自己的圈子里玩，對深度學(xué)習(xí)領(lǐng)域其他更早期先驅(qū)人物的貢獻(xiàn)則只字不提，之后LeCun發(fā)文反擊。

Jürgen Schmidhuber這個暴脾氣沒得獎，是因為得罪人了嗎？

LSTM之父交戰(zhàn)GAN之父

故事還得從五年前講起。

2014年，Ian Goodfellow第一篇GAN論文投到了NIPS大會，三位評審中，兩位直接通過，一位直接斃掉。

這位拒稿的評審就是Jürgen Schmidhuber。

Jürgen Schmidhuber為什么給出Goodfellow這位年輕的后輩如此截然相反的評審意見？

原來，Jürgen Schmidhuber認(rèn)為，GAN不能稱為第一個對抗網(wǎng)絡(luò)，他自己在1992年提出的PM模型才是。

在給Goodfellow的評審意見中，Jürgen Schmidhuber直接質(zhì)疑Goodfellow：GAN和PM在許多方面看起來很相似。這兩種方法都使用“對抗性”MLP來估計某些概率，并學(xué)習(xí)編碼分布。不同之處在于，新系統(tǒng)學(xué)會根據(jù)統(tǒng)計獨立的隨機輸入生成非平凡分布，而舊的PM學(xué)習(xí)生成統(tǒng)計獨立的隨機輸出以響應(yīng)非平凡分布(通過提取相互獨立的因子特征編碼分布)。

因此，GAN本質(zhì)上改變了PM的方向——這是主要的區(qū)別嗎？GAN應(yīng)該被稱為“反向PM”嗎?

最后，無奈之下的Goodfellow只好在論文的最終版本里加入了GAN和PM不同之處的比較，這才有了第一篇GAN論文的誕生。

然而Jürgen Schmidhuber依舊不依不饒，私下里通過郵件跟Goodfellow幾番爭論。

最激烈的事情發(fā)生在2016年。

當(dāng)時GAN已經(jīng)在學(xué)術(shù)界名氣日旺，2016年NIPS大會，Goodfellow在現(xiàn)場有個Tutorial，正當(dāng)他講到GAN與其他模型相比較時，被一個聽眾的提問打斷了。

這個聽眾就是Jürgen Schmidhuber。

Jürgen Schmidhuber向Goodfellow提問

JürgenSchmidhuber的問題很長，大概說了兩分鐘，主要內(nèi)容是強調(diào)說自己在1992年就已經(jīng)提出來PM，接著說了一大堆它的原理、實現(xiàn)過程等等，最后圖窮匕見：你說說你的GAN和我的PM有沒有相似之處？

Goodfellow也不示弱：你說的問題我們之前在郵件里已經(jīng)交流過很多次了，我也早就公開回應(yīng)過你了，不想在現(xiàn)在的場合浪費聽眾的耐心。（掌聲）

Ian Goodfellow在2016年NIPS上回應(yīng)Jürgen Schmidhuber

一位五十多歲的長者試圖碾壓三十出頭的小伙子，但被小伙子反殺，場面一度十分尷尬。

后來，Goodfellow在Quora上海透露，他聯(lián)系了NIPS的主辦方，詢問JürgenSchmidhuber是否有辦法向他提出投訴，并由NIPS代表委員會判斷Goodfellow的論文是否不公平。但主辦方說并沒有這樣的流程。

除此之外，JürgenSchmidhuber還提出和Goodfellow一起寫合一篇描述PM和GAN之間相同點和不同點的論文，但前提是兩人真正能達(dá)成一致。現(xiàn)在看起來，這是不太可能了。

交惡深度學(xué)習(xí)三巨頭

Ian Goodfellow是Bengio的得意門生，而在懟Goodfellow之前，Jürgen Schmidhuber已經(jīng)與Goodfellow的師傅Bengio以及HLB三人組合有過口水戰(zhàn)。

2015年5月，Bengio、Hinton和LeCun三位大神聯(lián)手在Nature上發(fā)了一篇review，題目直接就叫《Deep Learning》。此文從傳統(tǒng)的機器學(xué)習(xí)技術(shù)講起，總結(jié)了現(xiàn)代機器學(xué)習(xí)的主要架構(gòu)和方法，描述了訓(xùn)練多層網(wǎng)絡(luò)架構(gòu)的反向傳播算法，以及卷積神經(jīng)網(wǎng)絡(luò)的誕生，分布式表示和語言處理，以及遞歸神經(jīng)網(wǎng)絡(luò)及其應(yīng)用等等。

這篇文章堪稱是深度學(xué)習(xí)領(lǐng)域的經(jīng)典之作，Google學(xué)術(shù)統(tǒng)計的統(tǒng)計顯示，論文被引用數(shù)已接近14000次。

從這篇文章的行文風(fēng)格和內(nèi)容來看，相當(dāng)一部分內(nèi)容是三位作者賴以成名的劃時代成就，大有為深度學(xué)習(xí)“回顧歷史、展望未來”的意思，字里行間透露出“蓋棺定論”的豪邁之意擋也擋不住。

不過Nature上這篇文章發(fā)表后不到一個月，他就在自己的博客上發(fā)文，對這篇論文進(jìn)行了批評。

Schmidhuber在文中表示，這篇文章讓他非常不爽，因為全文多次引用三位作者自己的研究成果，而對于其他先驅(qū)人物對深度學(xué)習(xí)更早的貢獻(xiàn)則只字不提，比如：

三位作者儼然以AI先驅(qū)自居，在參考文獻(xiàn)信息中對深度學(xué)習(xí)之父Alexey GrigorevichIvakhnenko根本提都沒提，后者早在1965年就發(fā)表了第一篇面向深度網(wǎng)絡(luò)的通用深度學(xué)習(xí)算法的論文。1971年的論文中就提出了8層深度神經(jīng)網(wǎng)絡(luò)。

文章提到了反向傳播（BP），但引用的都是自己的論文，根本沒有提到反向傳播的發(fā)明者和早期開拓者的成果。實際上，最早的反向傳播模型誕生于上世紀(jì)60-70年代。

關(guān)于前饋神經(jīng)網(wǎng)絡(luò)，Review說是CIFAR實驗室的研究人員2006年努力導(dǎo)致FNN的再度復(fù)興，這里又是在自夸，而且是一種誤導(dǎo)。實際上，研究人員已經(jīng)使用Ivakhnenko幾十年了。

文章在提到無監(jiān)督預(yù)訓(xùn)練FNN時還是在引用作者自己的研究，但卻沒提Schmidhuber本人早在1992-1993年就提出的無監(jiān)督式預(yù)訓(xùn)練RNN，只不過那時候還不叫RNN，但原理和思想是一致的。

在說到非監(jiān)督學(xué)習(xí)對深度學(xué)習(xí)復(fù)興的深遠(yuǎn)影響時，仍然只引用了作者們自己的成果。

同樣，在卷積神經(jīng)網(wǎng)絡(luò)一節(jié)，文章提到了“池化”，但卻沒有提及提出最大池化技術(shù)的先驅(qū)人物等等。

總之，在Schmidhuber這篇文章中認(rèn)為，今年獲得圖靈獎的“深度學(xué)習(xí)三巨頭”儼然成了貪他人之功，以為己利的雞賊、借助江湖地位互相吹捧，壓制老前輩的學(xué)閥。這一篇文章的操作也真是剛的很。

并且，Schmidhuber還發(fā)表過Hinton、LeCun等人出名，是因為背后有谷歌、Facebook這樣的大公司在背后做宣傳的言論。

后來，LeCun在一封email回復(fù)中寫道：“Jürgen 對眾人的認(rèn)可過于癡迷，總是說自己沒有得到應(yīng)得的很多東西。幾乎是慣性地，他總是在別人每次講話結(jié)束時都要站起來，說剛剛提出的成果有他的功勞，大體上看，這種行為并不合理?！?/p>

由此看來，Schmidhuber和三巨頭這梁子算是結(jié)下了。

被圖靈獎遺忘的大神？

1997年，Jürgen Schmidhuber和Sepp Hochreiter發(fā)表了一篇關(guān)于一種遞歸神經(jīng)網(wǎng)絡(luò)的論文，就是大名鼎鼎的長短期記憶網(wǎng)絡(luò)（LSTM）。

2015年，LSTM被用于谷歌智能手機軟件中的語音識別新實現(xiàn)。谷歌也使用LSTM作為智能助手Allo和谷歌翻譯。后來蘋果在iPhone和Siri的“Quicktype”功能中使用了LSTM。Amazon的Alexa也使用了LSTM。在2017年，F(xiàn)acebook每天使用LSTM網(wǎng)絡(luò)進(jìn)行約45億次自動翻譯，LSTM可以說是商業(yè)化做廣泛的AI技術(shù)之一。

除了LSTM，2011年JürgenSchmidhuber還與他的博士后學(xué)生在GPU上實現(xiàn)CNN(卷積神經(jīng)網(wǎng)絡(luò))的顯著加速，現(xiàn)在這種方法已經(jīng)成為計算機視覺領(lǐng)域的核心。

當(dāng)今年的圖靈獎公布之后，有不少人認(rèn)為單純從貢獻(xiàn)上來講，提出LSTM的JürgenSchmidhuber也應(yīng)該獲獎。

祝賀三位，當(dāng)之無愧。但貢獻(xiàn)如此顯著的Jürgen Schmidhuber被排除在外的還是非常意外和錯誤的。

京東集團(tuán)副總裁、加拿大Simon Fraser大學(xué)計算科學(xué)學(xué)院教授、統(tǒng)計與精算系教授、加拿大一級研究講座教授、ACM Fellow、IEEE Fellow、ACM SIGKDD Chair裴健教授告訴新智元：圖靈獎揭曉后，經(jīng)常有人有疑問，那個誰誰誰對這個方向這個領(lǐng)域也作出了突出貢獻(xiàn)，甚至比其中某一位獲獎?wù)哓暙I(xiàn)還大，為什么沒有一起獲獎？然后就順理成章的地有各種揣測。

“我個人的理解是，每一屆圖靈獎是授予一個個人或一個團(tuán)隊，而不是給一個領(lǐng)域相對獨立的多位先驅(qū)?！癟he ACM A.M. Turing Award is an annual prize given by the Association for Computing Machinery (ACM) to an individual selected for contributions ‘of lasting and major technical importance to the computer field’.”

圖靈獎歷史上多次發(fā)生過在同一領(lǐng)域獨立作出突出貢獻(xiàn)的多位科學(xué)家和團(tuán)隊陸續(xù)獲獎的佳話，如計算復(fù)雜性理論和數(shù)據(jù)庫理論等都有多位獲獎?wù)摺?/p>

所以，各位看官不要著急，也不要以看宮廷戲的心態(tài)看圖靈獎。

OpenCV的創(chuàng)造者、AI科學(xué)家 Gary Bradski曾評價Schmidhuber：”他是做了很多開創(chuàng)性的工作，但他不是那個使這些成果流行起來的人。這就像最早發(fā)現(xiàn)美洲的是維京人，但千古留名的是哥倫布。”

大神總是孤獨的

Jürgen Schmidhuber和HLB各有各的成就，但大神們總有相似之處，那就是堅持。

Hinton在上大學(xué)時期堅信神經(jīng)網(wǎng)絡(luò)是未來，并為此堅持了三十年。

出生于1963年的Jürgen Schmidhuber，在他15歲時就堅信通用人工智能一定會實現(xiàn)，當(dāng)時那個年代中國剛剛改革開放。

嬰兒時期的Jürgen Schmidhuber，左邊是他父親

“作為一個少年，我意識到人們可以做的最重要的事情就是建立一種學(xué)會變得比人類聰明的東西?！?/p>

Jürgen Schmidhuber在年輕時候曾對他弟弟講，人類可以一個原子一個原子地重建大腦，可以用銅線代替我們緩慢的神經(jīng)元作為連接，想象力非常大膽。弟弟剛開始很反對哥哥這套人造大腦可以模仿人類情感和自由意志的觀點。但最終，”我意識到他是對的?！?/p>

高中畢業(yè)后，Schmidhuber從1981年開始學(xué)習(xí)計算機科學(xué)和數(shù)學(xué)，并在西德軍隊服役15個月，服兵役時就展現(xiàn)出他特立獨行的性格，他不喜歡被人頤指氣使，特別是被要求做一些他認(rèn)為沒用的事情。

他的在線簡歷精心編制了他在學(xué)術(shù)界的歷程，包括諸如“加州理工學(xué)院拒絕了他的博士后申請”等等，到現(xiàn)在，Schmidhuber的個人主頁也是頗有特色。

Schmidhuber對通用人工智能的追求一直持續(xù)了40多年，他還夢想建立一個智能機器勞動的烏托邦，因此在1988年，他捐贈了數(shù)百萬美元來創(chuàng)建瑞士的Dalle Molle人工智能研究所。它與當(dāng)?shù)卮髮W(xué)的合作，加上政府源源不斷的資助，幫助這座小鎮(zhèn)變成了人工智能的天堂中心。

通用AI將掌管并改變整個宇宙

《硅谷鋼鐵俠》的作者在2018年5月寫過一篇Jürgen Schmidhuber的特稿，題目是《這個人是AI圈想要忘記的教父》。

這篇文章提到，在大多數(shù)學(xué)術(shù)界之外，Schmidhuber仍然很不為人知。主要是因為學(xué)術(shù)圈里的同伴不喜歡他，不少同行評價他自私、狡猾，給人帶來痛苦。

由于Schmidhuber頻繁在學(xué)術(shù)期刊和會議上懟研究人員，打斷他人演講要求同行承認(rèn)他們借用甚至竊取了他的想法，后來業(yè)內(nèi)創(chuàng)造了一個動詞”Schmidhubered“，誰被別人攻擊了就可以用Schmidhubered。

Schmidhuber被邊緣化的另一部分原因是因為他的研究所位于阿爾卑斯山，位置孤立，遠(yuǎn)離科技大公司。

2013年，Schmidhuber還在瑞士創(chuàng)辦了一家創(chuàng)業(yè)公司Nnaisense，這家公司肩負(fù)著實現(xiàn)通用人工智能的使命，并影響到DeepMind。

Nnaisense公司主要成員

DeepMind聯(lián)合創(chuàng)始人Shane Legg以及首批員工之一Daan Wierstra就是Schmidhuber的學(xué)生，他的一些其他博士也加入了DeepMind。

JürgenSchmidhuber曾說，他從15歲起就決定，創(chuàng)造出比人類更聰明的機器人然后退休，并把這個觀點一致保持到了現(xiàn)在。

他認(rèn)為，擁有自我意識的（self-aware）或“有知覺的機器”（conscious machines）不久就將出現(xiàn)。這個觀點更加劇了同行對他的不屑。而對這場辯論需要提出一個問題：人工智能是一個工程學(xué)科，還是一場創(chuàng)造新的超智能生物的“造神運動”？

Schmidhuber堅定地站在造神的立場，他認(rèn)為這些技術(shù)的基本概念已經(jīng)存在，而且人類的意識并不神奇，認(rèn)為機器的意識將從更強大的計算機和算法中出現(xiàn)，而這些算法與他早已設(shè)計好的那些非常接近。

這種信念背后，是他堅定不移的認(rèn)為：我們生活在《黑客帝國》形式的(Matrix-style)計算機模擬中。

“在我的成長的過程中，我一直追問自己，我能產(chǎn)生的最大的影響是什么？”Schmidhuber 博士回憶道，“這個問題后來變得清楚了，就是我要造出比我自己更聰明的東西，而這個東西又將造出更聰明的東西，如此等等，最終它將掌管并改變整個宇宙，使整個宇宙變得智能?！?/p>

今天，他已經(jīng)不再困惑這樣的機器是否會出現(xiàn)，他說，只要計算能力得到大飛躍，很快就會出現(xiàn)。