圖靈獎(jiǎng)為什么沒(méi)頒給LSTM之父Jürgen Schmidhuber？

圖靈獎(jiǎng)為何不頒給LSTM之父Jürgen Schmidhuber？作為AI界特立獨(dú)行的人，Schmidhuber與深度學(xué)習(xí)三巨頭有過(guò)口水戰(zhàn)，并現(xiàn)場(chǎng)對(duì)質(zhì)GAN的提出者，可謂得罪了一圈人。

一個(gè)被遺忘的大神。

前幾天，2018圖靈獎(jiǎng)獲得者公布，深度學(xué)習(xí)三巨頭：Yoshua Bengio、Geoffrey Hinton、Yann LeCun榮獲桂冠。

HLB（Hinton、LeCun、Bengio）三人獲圖靈獎(jiǎng)實(shí)至名歸，消息一出，計(jì)算機(jī)界紛紛送上祝福。

不過(guò)，在恭賀之余，也有不少的網(wǎng)友發(fā)出了質(zhì)疑：圖靈獎(jiǎng)為什么沒(méi)頒給LSTM之父Jürgen Schmidhuber？他也是深度學(xué)習(xí)領(lǐng)域的大家啊。

獲得圖靈獎(jiǎng)的為什么是Yoshua Bengio、Geoffrey Hinton、Yann LeCun，而不是Jürgen Schmidhuber呢？

Yoshua Bengio、Geoffrey Hinton和Yann LeCun獲得了圖靈獎(jiǎng)(計(jì)算機(jī)界的諾貝爾獎(jiǎng))，讓深度神經(jīng)網(wǎng)絡(luò)成為計(jì)算機(jī)中的重要環(huán)節(jié)。非常酷！但是Jürgen Schmidhuber呢？

就連南京大學(xué)人工智能學(xué)院院長(zhǎng)周志華教授也發(fā)微博稱，LSTM是教科書級(jí)的貢獻(xiàn)。

Jürgen Schmidhuber是瑞士Dalle Molle人工智能研究所的聯(lián)合主任，他1997年提出的LSTM現(xiàn)在被廣泛應(yīng)用在谷歌翻譯、蘋果Siri、亞馬遜Alex等應(yīng)用中，可謂是深度學(xué)習(xí)領(lǐng)域最商業(yè)化的技術(shù)之一。

Jürgen Schmidhuber

除了LSTM之外，Jürgen Schmidhuber“引以為傲”的還有他在1992年提出的一種PM（Predictability Minimization）模型。

為什么“引以為傲要”打引號(hào)？

因?yàn)樗麍?jiān)持認(rèn)為現(xiàn)在大火的GAN就是PM的變種，兩者的區(qū)別就在于方向是反的，為此，Jürgen Schmidhuber還和GAN的提出者Ian Goodfellow有過(guò)線上線下激烈的交鋒，業(yè)界至今記憶猶新。

至于對(duì)深度學(xué)習(xí)三巨頭HLB，Jürgen Schmidhuber也打過(guò)幾輪口水仗，認(rèn)為HLB三人在自己的圈子里玩，對(duì)深度學(xué)習(xí)領(lǐng)域其他更早期先驅(qū)人物的貢獻(xiàn)則只字不提，之后LeCun發(fā)文反擊。

Jürgen Schmidhuber這個(gè)暴脾氣沒(méi)得獎(jiǎng)，是因?yàn)榈米锶肆藛幔?/p>

LSTM之父交戰(zhàn)GAN之父

故事還得從五年前講起。

2014年，Ian Goodfellow第一篇GAN論文投到了NIPS大會(huì)，三位評(píng)審中，兩位直接通過(guò)，一位直接斃掉。

這位拒稿的評(píng)審就是Jürgen Schmidhuber。

Jürgen Schmidhuber為什么給出Goodfellow這位年輕的后輩如此截然相反的評(píng)審意見？

原來(lái)，Jürgen Schmidhuber認(rèn)為，GAN不能稱為第一個(gè)對(duì)抗網(wǎng)絡(luò)，他自己在1992年提出的PM模型才是。

在給Goodfellow的評(píng)審意見中，Jürgen Schmidhuber直接質(zhì)疑Goodfellow：GAN和PM在許多方面看起來(lái)很相似。這兩種方法都使用“對(duì)抗性”MLP來(lái)估計(jì)某些概率，并學(xué)習(xí)編碼分布。不同之處在于，新系統(tǒng)學(xué)會(huì)根據(jù)統(tǒng)計(jì)獨(dú)立的隨機(jī)輸入生成非平凡分布，而舊的PM學(xué)習(xí)生成統(tǒng)計(jì)獨(dú)立的隨機(jī)輸出以響應(yīng)非平凡分布(通過(guò)提取相互獨(dú)立的因子特征編碼分布)。

因此，GAN本質(zhì)上改變了PM的方向——這是主要的區(qū)別嗎？GAN應(yīng)該被稱為“反向PM”嗎?

最后，無(wú)奈之下的Goodfellow只好在論文的最終版本里加入了GAN和PM不同之處的比較，這才有了第一篇GAN論文的誕生。

然而Jürgen Schmidhuber依舊不依不饒，私下里通過(guò)郵件跟Goodfellow幾番爭(zhēng)論。

最激烈的事情發(fā)生在2016年。

當(dāng)時(shí)GAN已經(jīng)在學(xué)術(shù)界名氣日旺，2016年NIPS大會(huì)，Goodfellow在現(xiàn)場(chǎng)有個(gè)Tutorial，正當(dāng)他講到GAN與其他模型相比較時(shí)，被一個(gè)聽眾的提問(wèn)打斷了。

這個(gè)聽眾就是Jürgen Schmidhuber。

Jürgen Schmidhuber向Goodfellow提問(wèn)

JürgenSchmidhuber的問(wèn)題很長(zhǎng)，大概說(shuō)了兩分鐘，主要內(nèi)容是強(qiáng)調(diào)說(shuō)自己在1992年就已經(jīng)提出來(lái)PM，接著說(shuō)了一大堆它的原理、實(shí)現(xiàn)過(guò)程等等，最后圖窮匕見：你說(shuō)說(shuō)你的GAN和我的PM有沒(méi)有相似之處？

Goodfellow也不示弱：你說(shuō)的問(wèn)題我們之前在郵件里已經(jīng)交流過(guò)很多次了，我也早就公開回應(yīng)過(guò)你了，不想在現(xiàn)在的場(chǎng)合浪費(fèi)聽眾的耐心。（掌聲）

Ian Goodfellow在2016年NIPS上回應(yīng)Jürgen Schmidhuber

一位五十多歲的長(zhǎng)者試圖碾壓三十出頭的小伙子，但被小伙子反殺，場(chǎng)面一度十分尷尬。

后來(lái)，Goodfellow在Quora上海透露，他聯(lián)系了NIPS的主辦方，詢問(wèn)JürgenSchmidhuber是否有辦法向他提出投訴，并由NIPS代表委員會(huì)判斷Goodfellow的論文是否不公平。但主辦方說(shuō)并沒(méi)有這樣的流程。

除此之外，JürgenSchmidhuber還提出和Goodfellow一起寫合一篇描述PM和GAN之間相同點(diǎn)和不同點(diǎn)的論文，但前提是兩人真正能達(dá)成一致?，F(xiàn)在看起來(lái)，這是不太可能了。

交惡深度學(xué)習(xí)三巨頭

Ian Goodfellow是Bengio的得意門生，而在懟Goodfellow之前，Jürgen Schmidhuber已經(jīng)與Goodfellow的師傅Bengio以及HLB三人組合有過(guò)口水戰(zhàn)。

2015年5月，Bengio、Hinton和LeCun三位大神聯(lián)手在Nature上發(fā)了一篇review，題目直接就叫《Deep Learning》。此文從傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)講起，總結(jié)了現(xiàn)代機(jī)器學(xué)習(xí)的主要架構(gòu)和方法，描述了訓(xùn)練多層網(wǎng)絡(luò)架構(gòu)的反向傳播算法，以及卷積神經(jīng)網(wǎng)絡(luò)的誕生，分布式表示和語(yǔ)言處理，以及遞歸神經(jīng)網(wǎng)絡(luò)及其應(yīng)用等等。

這篇文章堪稱是深度學(xué)習(xí)領(lǐng)域的經(jīng)典之作，Google學(xué)術(shù)統(tǒng)計(jì)的統(tǒng)計(jì)顯示，論文被引用數(shù)已接近14000次。

從這篇文章的行文風(fēng)格和內(nèi)容來(lái)看，相當(dāng)一部分內(nèi)容是三位作者賴以成名的劃時(shí)代成就，大有為深度學(xué)習(xí)“回顧歷史、展望未來(lái)”的意思，字里行間透露出“蓋棺定論”的豪邁之意擋也擋不住。

不過(guò)Nature上這篇文章發(fā)表后不到一個(gè)月，他就在自己的博客上發(fā)文，對(duì)這篇論文進(jìn)行了批評(píng)。

Schmidhuber在文中表示，這篇文章讓他非常不爽，因?yàn)槿亩啻我萌蛔髡咦约旱难芯砍晒?，而?duì)于其他先驅(qū)人物對(duì)深度學(xué)習(xí)更早的貢獻(xiàn)則只字不提，比如：

三位作者儼然以AI先驅(qū)自居，在參考文獻(xiàn)信息中對(duì)深度學(xué)習(xí)之父Alexey GrigorevichIvakhnenko根本提都沒(méi)提，后者早在1965年就發(fā)表了第一篇面向深度網(wǎng)絡(luò)的通用深度學(xué)習(xí)算法的論文。1971年的論文中就提出了8層深度神經(jīng)網(wǎng)絡(luò)。

文章提到了反向傳播（BP），但引用的都是自己的論文，根本沒(méi)有提到反向傳播的發(fā)明者和早期開拓者的成果。實(shí)際上，最早的反向傳播模型誕生于上世紀(jì)60-70年代。

關(guān)于前饋神經(jīng)網(wǎng)絡(luò)，Review說(shuō)是CIFAR實(shí)驗(yàn)室的研究人員2006年努力導(dǎo)致FNN的再度復(fù)興，這里又是在自夸，而且是一種誤導(dǎo)。實(shí)際上，研究人員已經(jīng)使用Ivakhnenko幾十年了。

文章在提到無(wú)監(jiān)督預(yù)訓(xùn)練FNN時(shí)還是在引用作者自己的研究，但卻沒(méi)提Schmidhuber本人早在1992-1993年就提出的無(wú)監(jiān)督式預(yù)訓(xùn)練RNN，只不過(guò)那時(shí)候還不叫RNN，但原理和思想是一致的。

在說(shuō)到非監(jiān)督學(xué)習(xí)對(duì)深度學(xué)習(xí)復(fù)興的深遠(yuǎn)影響時(shí)，仍然只引用了作者們自己的成果。

同樣，在卷積神經(jīng)網(wǎng)絡(luò)一節(jié)，文章提到了“池化”，但卻沒(méi)有提及提出最大池化技術(shù)的先驅(qū)人物等等。

總之，在Schmidhuber這篇文章中認(rèn)為，今年獲得圖靈獎(jiǎng)的“深度學(xué)習(xí)三巨頭”儼然成了貪他人之功，以為己利的雞賊、借助江湖地位互相吹捧，壓制老前輩的學(xué)閥。這一篇文章的操作也真是剛的很。

并且，Schmidhuber還發(fā)表過(guò)Hinton、LeCun等人出名，是因?yàn)楸澈笥泄雀?、Facebook這樣的大公司在背后做宣傳的言論。

后來(lái)，LeCun在一封email回復(fù)中寫道：“Jürgen 對(duì)眾人的認(rèn)可過(guò)于癡迷，總是說(shuō)自己沒(méi)有得到應(yīng)得的很多東西。幾乎是慣性地，他總是在別人每次講話結(jié)束時(shí)都要站起來(lái)，說(shuō)剛剛提出的成果有他的功勞，大體上看，這種行為并不合理?！?/p>

由此看來(lái)，Schmidhuber和三巨頭這梁子算是結(jié)下了。

被圖靈獎(jiǎng)遺忘的大神？

1997年，Jürgen Schmidhuber和Sepp Hochreiter發(fā)表了一篇關(guān)于一種遞歸神經(jīng)網(wǎng)絡(luò)的論文，就是大名鼎鼎的長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）。

2015年，LSTM被用于谷歌智能手機(jī)軟件中的語(yǔ)音識(shí)別新實(shí)現(xiàn)。谷歌也使用LSTM作為智能助手Allo和谷歌翻譯。后來(lái)蘋果在iPhone和Siri的“Quicktype”功能中使用了LSTM。Amazon的Alexa也使用了LSTM。在2017年，F(xiàn)acebook每天使用LSTM網(wǎng)絡(luò)進(jìn)行約45億次自動(dòng)翻譯，LSTM可以說(shuō)是商業(yè)化做廣泛的AI技術(shù)之一。

除了LSTM，2011年JürgenSchmidhuber還與他的博士后學(xué)生在GPU上實(shí)現(xiàn)CNN(卷積神經(jīng)網(wǎng)絡(luò))的顯著加速，現(xiàn)在這種方法已經(jīng)成為計(jì)算機(jī)視覺(jué)領(lǐng)域的核心。

當(dāng)今年的圖靈獎(jiǎng)公布之后，有不少人認(rèn)為單純從貢獻(xiàn)上來(lái)講，提出LSTM的JürgenSchmidhuber也應(yīng)該獲獎(jiǎng)。

祝賀三位，當(dāng)之無(wú)愧。但貢獻(xiàn)如此顯著的Jürgen Schmidhuber被排除在外的還是非常意外和錯(cuò)誤的。

京東集團(tuán)副總裁、加拿大Simon Fraser大學(xué)計(jì)算科學(xué)學(xué)院教授、統(tǒng)計(jì)與精算系教授、加拿大一級(jí)研究講座教授、ACM Fellow、IEEE Fellow、ACM SIGKDD Chair裴健教授告訴新智元：圖靈獎(jiǎng)揭曉后，經(jīng)常有人有疑問(wèn)，那個(gè)誰(shuí)誰(shuí)誰(shuí)對(duì)這個(gè)方向這個(gè)領(lǐng)域也作出了突出貢獻(xiàn)，甚至比其中某一位獲獎(jiǎng)?wù)哓暙I(xiàn)還大，為什么沒(méi)有一起獲獎(jiǎng)？然后就順理成章的地有各種揣測(cè)。

“我個(gè)人的理解是，每一屆圖靈獎(jiǎng)是授予一個(gè)個(gè)人或一個(gè)團(tuán)隊(duì)，而不是給一個(gè)領(lǐng)域相對(duì)獨(dú)立的多位先驅(qū)?！癟he ACM A.M. Turing Award is an annual prize given by the Association for Computing Machinery (ACM) to an individual selected for contributions ‘of lasting and major technical importance to the computer field’.”

圖靈獎(jiǎng)歷史上多次發(fā)生過(guò)在同一領(lǐng)域獨(dú)立作出突出貢獻(xiàn)的多位科學(xué)家和團(tuán)隊(duì)陸續(xù)獲獎(jiǎng)的佳話，如計(jì)算復(fù)雜性理論和數(shù)據(jù)庫(kù)理論等都有多位獲獎(jiǎng)?wù)摺?/p>

所以，各位看官不要著急，也不要以看宮廷戲的心態(tài)看圖靈獎(jiǎng)。

OpenCV的創(chuàng)造者、AI科學(xué)家 Gary Bradski曾評(píng)價(jià)Schmidhuber：”他是做了很多開創(chuàng)性的工作，但他不是那個(gè)使這些成果流行起來(lái)的人。這就像最早發(fā)現(xiàn)美洲的是維京人，但千古留名的是哥倫布?！?/p>

大神總是孤獨(dú)的

Jürgen Schmidhuber和HLB各有各的成就，但大神們總有相似之處，那就是堅(jiān)持。

Hinton在上大學(xué)時(shí)期堅(jiān)信神經(jīng)網(wǎng)絡(luò)是未來(lái)，并為此堅(jiān)持了三十年。

出生于1963年的Jürgen Schmidhuber，在他15歲時(shí)就堅(jiān)信通用人工智能一定會(huì)實(shí)現(xiàn)，當(dāng)時(shí)那個(gè)年代中國(guó)剛剛改革開放。

嬰兒時(shí)期的Jürgen Schmidhuber，左邊是他父親

“作為一個(gè)少年，我意識(shí)到人們可以做的最重要的事情就是建立一種學(xué)會(huì)變得比人類聰明的東西?！?/p>

Jürgen Schmidhuber在年輕時(shí)候曾對(duì)他弟弟講，人類可以一個(gè)原子一個(gè)原子地重建大腦，可以用銅線代替我們緩慢的神經(jīng)元作為連接，想象力非常大膽。弟弟剛開始很反對(duì)哥哥這套人造大腦可以模仿人類情感和自由意志的觀點(diǎn)。但最終，”我意識(shí)到他是對(duì)的?！?/p>

高中畢業(yè)后，Schmidhuber從1981年開始學(xué)習(xí)計(jì)算機(jī)科學(xué)和數(shù)學(xué)，并在西德軍隊(duì)服役15個(gè)月，服兵役時(shí)就展現(xiàn)出他特立獨(dú)行的性格，他不喜歡被人頤指氣使，特別是被要求做一些他認(rèn)為沒(méi)用的事情。

他的在線簡(jiǎn)歷精心編制了他在學(xué)術(shù)界的歷程，包括諸如“加州理工學(xué)院拒絕了他的博士后申請(qǐng)”等等，到現(xiàn)在，Schmidhuber的個(gè)人主頁(yè)也是頗有特色。

Schmidhuber對(duì)通用人工智能的追求一直持續(xù)了40多年，他還夢(mèng)想建立一個(gè)智能機(jī)器勞動(dòng)的烏托邦，因此在1988年，他捐贈(zèng)了數(shù)百萬(wàn)美元來(lái)創(chuàng)建瑞士的Dalle Molle人工智能研究所。它與當(dāng)?shù)卮髮W(xué)的合作，加上政府源源不斷的資助，幫助這座小鎮(zhèn)變成了人工智能的天堂中心。

通用AI將掌管并改變整個(gè)宇宙

《硅谷鋼鐵俠》的作者在2018年5月寫過(guò)一篇Jürgen Schmidhuber的特稿，題目是《這個(gè)人是AI圈想要忘記的教父》。

這篇文章提到，在大多數(shù)學(xué)術(shù)界之外，Schmidhuber仍然很不為人知。主要是因?yàn)閷W(xué)術(shù)圈里的同伴不喜歡他，不少同行評(píng)價(jià)他自私、狡猾，給人帶來(lái)痛苦。

由于Schmidhuber頻繁在學(xué)術(shù)期刊和會(huì)議上懟研究人員，打斷他人演講要求同行承認(rèn)他們借用甚至竊取了他的想法，后來(lái)業(yè)內(nèi)創(chuàng)造了一個(gè)動(dòng)詞”Schmidhubered“，誰(shuí)被別人攻擊了就可以用Schmidhubered。

Schmidhuber被邊緣化的另一部分原因是因?yàn)樗难芯克挥诎柋八股?，位置孤立，遠(yuǎn)離科技大公司。

2013年，Schmidhuber還在瑞士創(chuàng)辦了一家創(chuàng)業(yè)公司Nnaisense，這家公司肩負(fù)著實(shí)現(xiàn)通用人工智能的使命，并影響到DeepMind。

Nnaisense公司主要成員

DeepMind聯(lián)合創(chuàng)始人Shane Legg以及首批員工之一Daan Wierstra就是Schmidhuber的學(xué)生，他的一些其他博士也加入了DeepMind。

JürgenSchmidhuber曾說(shuō)，他從15歲起就決定，創(chuàng)造出比人類更聰明的機(jī)器人然后退休，并把這個(gè)觀點(diǎn)一致保持到了現(xiàn)在。

他認(rèn)為，擁有自我意識(shí)的（self-aware）或“有知覺(jué)的機(jī)器”（conscious machines）不久就將出現(xiàn)。這個(gè)觀點(diǎn)更加劇了同行對(duì)他的不屑。而對(duì)這場(chǎng)辯論需要提出一個(gè)問(wèn)題：人工智能是一個(gè)工程學(xué)科，還是一場(chǎng)創(chuàng)造新的超智能生物的“造神運(yùn)動(dòng)”？

Schmidhuber堅(jiān)定地站在造神的立場(chǎng)，他認(rèn)為這些技術(shù)的基本概念已經(jīng)存在，而且人類的意識(shí)并不神奇，認(rèn)為機(jī)器的意識(shí)將從更強(qiáng)大的計(jì)算機(jī)和算法中出現(xiàn)，而這些算法與他早已設(shè)計(jì)好的那些非常接近。

這種信念背后，是他堅(jiān)定不移的認(rèn)為：我們生活在《黑客帝國(guó)》形式的(Matrix-style)計(jì)算機(jī)模擬中。

“在我的成長(zhǎng)的過(guò)程中，我一直追問(wèn)自己，我能產(chǎn)生的最大的影響是什么？”Schmidhuber 博士回憶道，“這個(gè)問(wèn)題后來(lái)變得清楚了，就是我要造出比我自己更聰明的東西，而這個(gè)東西又將造出更聰明的東西，如此等等，最終它將掌管并改變整個(gè)宇宙，使整個(gè)宇宙變得智能?！?/p>

今天，他已經(jīng)不再困惑這樣的機(jī)器是否會(huì)出現(xiàn)，他說(shuō)，只要計(jì)算能力得到大飛躍，很快就會(huì)出現(xiàn)。