頻繁出現(xiàn)的深度學(xué)習(xí)“寒冬論”,榮耀屬于深度學(xué)習(xí)

ACM剛剛公布2018年圖靈獎(jiǎng)獲得者，深度學(xué)習(xí)三巨頭：Yoshua Bengio、Geoffrey Hinton、Yann LeCun獲獎(jiǎng)，深度學(xué)習(xí)獲得了最高榮譽(yù)。三巨頭獲獎(jiǎng)的背后，是一段經(jīng)歷了寒冬的艱辛之路。

榮耀屬于深度學(xué)習(xí)。

2018年圖靈獎(jiǎng)公布，深度學(xué)習(xí)三巨頭：Yoshua Bengio、Geoffrey Hinton、Yann LeCun獲獎(jiǎng)，三人瓜分100萬(wàn)美元獎(jiǎng)金。

Yann LeCun、Geoffrey Hinton、Yoshua Bengio

YoshuaBengio（58歲）是蒙特利爾大學(xué)教授，也是魁北克人工智能研究所的科學(xué)主任；

GeoffreyHinton（71歲）是谷歌副總裁和Engineering Fellow，Vector人工智能研究院首席科學(xué)顧問(wèn)，多倫多大學(xué)名譽(yù)教授；

YannLeCun（55歲）是紐約大學(xué)教授、Facebook副總裁兼首席AI科學(xué)家。

三位獲獎(jiǎng)?wù)咴跇I(yè)內(nèi)被稱為“當(dāng)代人工智能教父”，開(kāi)創(chuàng)了深度神經(jīng)網(wǎng)絡(luò)（deep neural network），而這項(xiàng)技術(shù)已經(jīng)成為計(jì)算科學(xué)的關(guān)鍵部分，為深度學(xué)習(xí)算法的發(fā)展和應(yīng)用奠定了基礎(chǔ)。

去年，”深度學(xué)習(xí)寒冬論“頻起，三位大神也在多個(gè)場(chǎng)合對(duì)”寒冬“做出了回應(yīng)。實(shí)際上，三人對(duì)“寒冬”早有抗體，在上世紀(jì)八十年代，Geoffrey Hinton等人坐了數(shù)年的冷板凳，直到本世紀(jì)AI的再度爆發(fā)。

不僅如此，Geoffrey Hinton還提出新的神經(jīng)網(wǎng)絡(luò)模型Capsule Network（膠囊網(wǎng)絡(luò)），試圖找到解決深度學(xué)習(xí)缺陷的新方法，這位71歲的老人熬過(guò)最冷的AI冬天，并且認(rèn)定下一個(gè)“冬天”不會(huì)到來(lái)。

挺過(guò)寒冬

Hinton早年的科研之路可謂坎坷至極。

他最開(kāi)始讀的是劍橋大學(xué)物理和化學(xué)專業(yè)，但只上了一個(gè)月就轉(zhuǎn)到了建筑專業(yè)，結(jié)果只在建筑系待了一天就受不了，重新注冊(cè)了物理和生理學(xué)，后來(lái)發(fā)現(xiàn)物理中的數(shù)學(xué)太難了，于是他又轉(zhuǎn)向了哲學(xué)，花一年時(shí)間學(xué)了兩年的課程。

雖然只有短短一年，但卻是非常有用的一年，因?yàn)樗麑?duì)哲學(xué)產(chǎn)生了非常強(qiáng)的抗體：“我想知道大腦是如何工作的”。

為了弄明白大腦的工作原理，Hinton轉(zhuǎn)而研究心理學(xué)，結(jié)果卻發(fā)現(xiàn)“心理學(xué)家對(duì)此毫無(wú)頭緒”。

1973年Hinton進(jìn)入愛(ài)丁堡大學(xué)研究生院，師從Christopher Longuet-Higgins學(xué)習(xí)人工智能。但當(dāng)時(shí)正值1970年代的人工智能寒冬出現(xiàn)，深度學(xué)習(xí)和AI都受到了學(xué)界輕視。

Christopher Longuet-Higgins

并且，Christopher是著名的理論化學(xué)家和認(rèn)知科學(xué)家，桃李滿天下，曾培養(yǎng)出諾貝爾獎(jiǎng)獲得者，但Hinton與導(dǎo)師的理念不同：導(dǎo)師堅(jiān)持傳統(tǒng)的邏輯人工智能理念，Hinton則堅(jiān)信基于神經(jīng)元理論的模擬神經(jīng)元，堅(jiān)信神經(jīng)網(wǎng)絡(luò)一定是未來(lái)的發(fā)展方向。

“我的畢業(yè)生涯充滿了坎坷，每周我們都會(huì)有一場(chǎng)爭(zhēng)吵?！盚inton后來(lái)回憶，他一直在和導(dǎo)師做“交易”：“讓我再做六個(gè)月的神經(jīng)網(wǎng)絡(luò)，我會(huì)向你證明它們是有效的?！钡诹鶄€(gè)月結(jié)束的時(shí)候，Hinton又說(shuō)：再給我六個(gè)月，之后又說(shuō)，“再給我五年時(shí)間”。

進(jìn)入八十年代，Hinton真的成功了。

1986年，Hinton等人完成著名的論文Experiments on Learning by Back Propagation，證明在神經(jīng)網(wǎng)絡(luò)中的反向傳播可以提供“有趣的”分布表示，提出了影響后世人工智能的新方法。

不過(guò)，當(dāng)時(shí)既沒(méi)有足夠的數(shù)據(jù)，也沒(méi)有足夠的算力，神經(jīng)網(wǎng)絡(luò)無(wú)法進(jìn)行大規(guī)模訓(xùn)練，業(yè)界對(duì)Hinton的神經(jīng)網(wǎng)絡(luò)依舊不感興趣。Hinton參加學(xué)術(shù)會(huì)議時(shí)，經(jīng)常坐在房間的最角落里，也得不到當(dāng)時(shí)學(xué)界大咖的重視。

深度學(xué)習(xí)三巨頭的誕生

好在還有一批跟Hinton一樣的“頑固派”。

Yann Lecun是Hinton的博士后學(xué)生，也是神經(jīng)網(wǎng)絡(luò)的堅(jiān)定信仰者。1989年，Yann LeCun在貝爾實(shí)驗(yàn)室提供了第一次反向傳播的實(shí)際演示。

1993年，Yann LeCun在電腦上展示識(shí)別手寫(xiě)字

他將卷積神經(jīng)網(wǎng)絡(luò)與反向傳播相結(jié)合閱讀“手寫(xiě)”數(shù)字，后來(lái)卷積神經(jīng)網(wǎng)絡(luò)大規(guī)模應(yīng)用，并在20世紀(jì)90年代末期處理了美國(guó)10％到20％支票的識(shí)別。

Yann LeCun在貝爾實(shí)驗(yàn)室是組長(zhǎng)，他的組員就包括今天或圖靈獎(jiǎng)的另一位大神Bengio。

Bengio雖然不是Hinton的直系弟子，但也是被認(rèn)為是和Hinton、LeCun一起推動(dòng)深度學(xué)習(xí)浪潮的三位旗手，他開(kāi)創(chuàng)了神經(jīng)網(wǎng)絡(luò)的語(yǔ)言模型language model先河。

從左至右：LeCun、Hinton、Bengio、吳恩達(dá)

2012年，Geoffrey Hinton和他的兩名學(xué)生發(fā)表論文，提出了深度卷積神經(jīng)網(wǎng)絡(luò)模型AlexNet，在當(dāng)年的ImageNet大規(guī)模圖像識(shí)別競(jìng)賽中獲得冠軍。后來(lái)Hinton加入谷歌大腦，AlexNet成為圖像識(shí)別中最經(jīng)典的模型之一，在產(chǎn)業(yè)界也得到普遍應(yīng)用，直到深度學(xué)習(xí)全面爆發(fā)。

更值得紀(jì)念的是，2015年，Geoffrey Hinton、Yann LeCun、Yoshua Bengio這三位深度學(xué)習(xí)巨頭曾在Nature上共同發(fā)表一篇名為《深度學(xué)習(xí)》的綜述文章，講述了深度學(xué)習(xí)為傳統(tǒng)機(jī)器學(xué)習(xí)帶來(lái)的變革。

不僅打臉知乎問(wèn)題，深度學(xué)習(xí)還革新工業(yè)與學(xué)術(shù)界協(xié)作

早在2015年，知乎上就出現(xiàn)問(wèn)題：Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得圖靈獎(jiǎng)嗎？

問(wèn)題地址：

https://www.zhihu.com/question/33911668

當(dāng)時(shí)不少網(wǎng)友認(rèn)為他們?nèi)穗m然貢獻(xiàn)很大，但是不能得圖靈獎(jiǎng)。于是今天紛紛跑到問(wèn)題下面自行打臉。

京東集團(tuán)副總裁、加拿大Simon Fraser大學(xué)計(jì)算科學(xué)學(xué)院教授、統(tǒng)計(jì)與精算系教授、加拿大一級(jí)研究講座教授、ACM Fellow、IEEE Fellow、ACM SIGKDD Chair裴健教授告訴新智元，今年圖靈獎(jiǎng)?lì)C發(fā)給Hinton、LeCun和Bengio三位深度學(xué)習(xí)的開(kāi)創(chuàng)者、堅(jiān)持者和布道者，眾望所歸。

“三四年前不少人就預(yù)測(cè)（或者說(shuō)是期望）Hinton老先生和深度學(xué)習(xí)能獲獎(jiǎng)。深度學(xué)習(xí)給我們?nèi)粘Ｉ顜?lái)的好處，是史無(wú)前例的。因此，說(shuō)Hinton的深度學(xué)習(xí)拿圖靈獎(jiǎng)之前別人大概都不太好意思拿這個(gè)獎(jiǎng)，也許不算太過(guò)分。我相信，深度學(xué)習(xí)已經(jīng)成為計(jì)算的一個(gè)基本元素。”

裴健說(shuō)，這三位大神的故事和各種花邊新聞已經(jīng)廣為流傳了，無(wú)須贅述。有三點(diǎn)感想，值得自己學(xué)習(xí)，也和同行共勉：

首先，這三位長(zhǎng)期聚精會(huì)神，榮辱不驚，是真正的學(xué)者。特別是Hinton老先生，他自八十年代初就開(kāi)始對(duì)這個(gè)幾度沉浮的領(lǐng)域作出了突出貢獻(xiàn) 。三十多年他集中精力研究一個(gè)方向，不分心，不居功自傲，不因以往成就好為人師。這種嚴(yán)謹(jǐn)治學(xué)的精神非常值得我們后輩學(xué)習(xí)。我個(gè)人感覺(jué)，ACM在評(píng)大至圖靈獎(jiǎng)小至Fellow上學(xué)術(shù)質(zhì)量至上，嚴(yán)謹(jǐn)嚴(yán)格。

其次，雖然三位都出身學(xué)術(shù)界，但為了推進(jìn)深度學(xué)習(xí)的應(yīng)用，他們不同程度上游走于工業(yè)界。他們給工業(yè)界帶來(lái)的重要貢獻(xiàn)不但是用深度學(xué)習(xí)方法解決了一批實(shí)際問(wèn)題，更重要的是在工業(yè)研發(fā)上推廣科學(xué)治學(xué)原則和方法。

這種真正在科學(xué)方法論上的產(chǎn)學(xué)研結(jié)合培養(yǎng)了一大批既具有扎實(shí)學(xué)術(shù)功底和研究方法又具有廣闊的工業(yè)界視野和實(shí)際問(wèn)題思維的新型年輕人才?？梢赃@么說(shuō)，深度學(xué)習(xí)的影響不但止在技術(shù)上，還包括對(duì)學(xué)術(shù)界和工業(yè)界協(xié)作方式以及未來(lái)人才培養(yǎng)模式的革新。（做一個(gè)廣告：4月10日澳門(mén)召開(kāi)的IEEE ICDE 2019大會(huì)上，我組織了一個(gè)panel，請(qǐng)到了著名的大學(xué)校長(zhǎng)、杰出的工業(yè)界研發(fā)負(fù)責(zé)人和成功的新技術(shù)創(chuàng)業(yè)投資者專門(mén)討論這個(gè)問(wèn)題。敬請(qǐng)關(guān)注。）

最后，他們的獲獎(jiǎng)?wù)f明了一個(gè)鼓勵(lì)持續(xù)性獨(dú)立研究的環(huán)境非常重要。在深度學(xué)習(xí)不太受待見(jiàn)的漫長(zhǎng)日子里，加拿大國(guó)家研究基金慷慨地支持了這幾位為代表的一批深度神經(jīng)網(wǎng)路研究者的持續(xù)深入研究，使得這個(gè)星星之火最終成就燎原之勢(shì)。我本身在加拿大學(xué)習(xí)工作多年，非常喜歡那種平等平淡的研究環(huán)境，能使學(xué)者靜心思考。盡管深度學(xué)習(xí)大熱，加拿大學(xué)術(shù)界也是持比較理性的態(tài)度。Bengio這么大的名氣，也是2017年才評(píng)上加拿大皇家院士的。

ACM主席Cherri M. Pancake說(shuō)，人工智能的發(fā)展以及人們對(duì)它的興趣，在很大程度上要?dú)w功于Bengio、Bengio和LeCun為之奠定基礎(chǔ)的深度學(xué)習(xí)的最新進(jìn)展。這些技術(shù)被數(shù)十億人使用。任何口袋里有智能手機(jī)的人都能實(shí)實(shí)在在地體驗(yàn)到自然語(yǔ)言處理和計(jì)算機(jī)視覺(jué)方面的進(jìn)步，這在10年前是不可能的。除了我們每天使用的產(chǎn)品，深度學(xué)習(xí)的新進(jìn)展也為醫(yī)學(xué)、天文學(xué)、材料科學(xué)等領(lǐng)域的科學(xué)家們提供了強(qiáng)大的新工具”。

“深度神經(jīng)網(wǎng)絡(luò)對(duì)現(xiàn)代計(jì)算機(jī)科學(xué)的一些重大進(jìn)步做出了貢獻(xiàn)，幫助在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別和自然語(yǔ)言理解等領(lǐng)域長(zhǎng)期存在的問(wèn)題上取得了實(shí)質(zhì)性進(jìn)展?！惫雀韪呒?jí)研究員、谷歌AI高級(jí)副總裁Jeff Dean表示：“這一進(jìn)步的核心是今年的圖靈獎(jiǎng)獲得者Yoshua Bengio、Geoffrey Hinton和Yann LeCun在30多年前開(kāi)發(fā)的基礎(chǔ)技術(shù)。通過(guò)大幅提高計(jì)算機(jī)理解世界的能力，深度神經(jīng)網(wǎng)絡(luò)不僅改變了計(jì)算領(lǐng)域，而且?guī)缀醺淖兞丝茖W(xué)和人類努力的每一個(gè)領(lǐng)域?！?/p>

頻繁出現(xiàn)的深度學(xué)習(xí)“寒冬論”

從去年開(kāi)始，關(guān)于深度學(xué)習(xí)“寒冬”、“至頂”的論調(diào)頻繁出現(xiàn)，不少人認(rèn)為深度學(xué)習(xí)似乎遇到了瓶頸，需要特別大、特別深的網(wǎng)絡(luò)以及大量數(shù)據(jù)訓(xùn)練。

對(duì)此，幾位獲圖靈獎(jiǎng)的深度學(xué)習(xí)大神在不同場(chǎng)合回應(yīng)過(guò)“寒冬論”。

LeCun:

LeCun曾直言深度學(xué)習(xí)寒冬論的作者缺乏常識(shí)，文章的觀點(diǎn)非常無(wú)知（very uninformed）

Hinton：

Hinton認(rèn)為，不會(huì)有人工智能的寒冬，因?yàn)锳I已經(jīng)在驅(qū)動(dòng)著手機(jī)了。在過(guò)去的人工智能寒冬，AI并不是人們?nèi)粘Ｉ畹囊徊糠?，但現(xiàn)在它已經(jīng)是了。

更可貴的是，大神Hinton，一直奮斗在深度學(xué)習(xí)第一線，一方面推倒重建，一方面更好地理解深度學(xué)習(xí)。

2017年，Hinton跟他在谷歌大腦兩個(gè)同事發(fā)表了《Dynamic Routing Between Capsules》，提出新的神經(jīng)網(wǎng)絡(luò)模型Capsule Network（膠囊網(wǎng)絡(luò)），在特定任務(wù)上比傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)取得了更好的效果。

Hinton認(rèn)為，Capsule網(wǎng)絡(luò)最終將超越視覺(jué)，推廣到更廣闊的應(yīng)用場(chǎng)景，盡管現(xiàn)在很多人還存在質(zhì)疑，但他確信現(xiàn)在就像5年前很多人對(duì)神經(jīng)網(wǎng)絡(luò)存疑一樣。

“歷史將會(huì)重現(xiàn)“。

全面認(rèn)識(shí)深度學(xué)習(xí)三巨頭

以下是ACM對(duì)三位大神的官方介紹，讀者若已熟悉，可跳過(guò)本部分。

Geoffrey Hinton

Geoffrey Hinton是谷歌副總裁兼Engineering Fellow，向量研究所首席科學(xué)顧問(wèn)、多倫多大學(xué)名譽(yù)教授。Hinton在劍橋大學(xué)獲得實(shí)驗(yàn)心理學(xué)學(xué)士學(xué)位，在愛(ài)丁堡大學(xué)獲得人工智能博士學(xué)位。他是CIFAR的神經(jīng)計(jì)算和自適應(yīng)感知（后來(lái)的“機(jī)器和大腦學(xué)習(xí)”）項(xiàng)目的創(chuàng)始主任。

Hinton曾獲加拿大最高榮譽(yù)勛章，英國(guó)皇家學(xué)會(huì)會(huì)員，美國(guó)國(guó)家工程院外籍院士，國(guó)際人工智能聯(lián)合會(huì)議（IJCAI）卓越研究獎(jiǎng)，NSERC Herzberg金牌獎(jiǎng)，及IEEE James Clerk Maxwell金牌。他還被“連線”雜志選為“2016年度最具影響力100人”之一，并被彭博社選為2017年“改變?nèi)蛏虡I(yè)格局的50人”之一。

Yann LeCun

Yann LeCun是紐約大學(xué)Courant數(shù)學(xué)科學(xué)研究所的Silver教授，F(xiàn)acebook的副總裁兼首席AI科學(xué)家。他在英國(guó)電子技術(shù)與電子學(xué)院（ESIEE）獲得高等英語(yǔ)學(xué)士學(xué)位，在瑪麗·居里·皮埃爾大學(xué)獲計(jì)算機(jī)科學(xué)博士學(xué)位。

LeCun是美國(guó)國(guó)家工程院院士，來(lái)自墨西哥IPN和洛桑聯(lián)邦理工學(xué)院（EPFL）的榮譽(yù)博士，賓夕法尼亞大學(xué)Pender獎(jiǎng)得主，埃因霍溫技術(shù)大學(xué)和飛利浦實(shí)驗(yàn)室Holst獎(jiǎng)?wù)芦@得者，諾基亞-貝爾實(shí)驗(yàn)室Shannon Luminary獎(jiǎng)、IEEE PAMI杰出研究員獎(jiǎng)、以及IEEE神經(jīng)網(wǎng)絡(luò)先鋒獎(jiǎng)。

他被《連線》雜志選為“2016最具影響力人物100人之一”以及“25位創(chuàng)造商業(yè)未來(lái)的天才”之一。LeCun是紐約大學(xué)數(shù)據(jù)科學(xué)中心的創(chuàng)始主任，也是CIFAR學(xué)習(xí)機(jī)器和腦力項(xiàng)目的負(fù)責(zé)人（與Yoshua Bengio共同擔(dān)任）。 此外，LeCun還是人工智能合作伙伴關(guān)系委員會(huì)的聯(lián)合創(chuàng)始人和前成員之一，該機(jī)構(gòu)是研究AI的社會(huì)后果的企業(yè)和非營(yíng)利組織的聯(lián)合體。

Yoshua Bengio

Yoshua Bengio是蒙特利爾大學(xué)的教授、魁北克人工智能研究所和IVADO（數(shù)據(jù)實(shí)驗(yàn)研究所）的科學(xué)總監(jiān)。他是CIFAR機(jī)器和腦力學(xué)習(xí)項(xiàng)目的聯(lián)合主任（與Yann LeCun共同擔(dān)任）。 Bengio擁有麥吉爾大學(xué)電子工程學(xué)士學(xué)位，計(jì)算機(jī)科學(xué)碩士和博士學(xué)位。

Bengio曾獲加拿大勛章，加拿大皇家學(xué)會(huì)會(huì)員和Marie-Victorin獎(jiǎng)。他創(chuàng)建魁北克人工智能研究所（Mila）和并擔(dān)任該所科學(xué)主任也被認(rèn)為是對(duì)AI領(lǐng)域的重大貢獻(xiàn)。 Mila是一家獨(dú)立的非營(yíng)利組織，目前擁有300名研究人員和35名教職員工，目前是世界上最大的深度學(xué)習(xí)研究學(xué)術(shù)中心，并使蒙特利爾成為一個(gè)充滿活力的AI生態(tài)系統(tǒng)，全球多家大公司和AI創(chuàng)業(yè)公司均在此設(shè)立研究實(shí)驗(yàn)室。

三位大神的成就

最后，送上本次獲圖靈獎(jiǎng)的三位大神的主要技術(shù)成就，這些成就對(duì)其后的深度學(xué)習(xí)研究產(chǎn)生了巨大的影響，值得后人銘記。

Geoffrey Hinton

反向傳播：

1986年，Hinton與David Rumelhart和Ronald Williams共同撰寫(xiě)了“Learning Internal Representations by Error Propagation”論文，Hinton等人在文中證明了反向傳播算法可以讓神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)自身的數(shù)據(jù)內(nèi)部表示，這一發(fā)現(xiàn)讓神經(jīng)網(wǎng)絡(luò)有可能解決以前被認(rèn)為不可解決的問(wèn)題。反向傳播算法已經(jīng)成為如今大多數(shù)神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)。

玻爾茲曼機(jī)：

1983年，Hinton與Terrence Sejnowski一起共同發(fā)明了玻爾茲曼機(jī)，這是第一個(gè)能夠?qū)W習(xí)不屬于輸入或輸出的神經(jīng)元內(nèi)部表示的神經(jīng)網(wǎng)絡(luò)之一。

對(duì)卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)：

2012年，Hinton與他的學(xué)生Alex Krizhevsky和Ilya Sutskever一起使用整流線性神經(jīng)元和退出正則化改進(jìn)了卷積神經(jīng)網(wǎng)絡(luò)。在著名的ImageNet圖像識(shí)別大賽中，Hinton和他的學(xué)生幾乎將對(duì)象識(shí)別的錯(cuò)誤率降低了一半，可以說(shuō)重塑了計(jì)算機(jī)視覺(jué)領(lǐng)域。

Yoshua Bengio

序列的概率模型：

20世紀(jì)90年代，Bengio將神經(jīng)網(wǎng)絡(luò)與序列的概率模型（如隱馬爾可夫模型）結(jié)合起來(lái)。這些思想被納入AT＆T / NCR用于讀取手寫(xiě)支票的系統(tǒng)中，成為20世紀(jì)90年代神經(jīng)網(wǎng)絡(luò)研究的巔峰之作，目前的深度學(xué)習(xí)語(yǔ)音識(shí)別系統(tǒng)正是這些概念的擴(kuò)展。

高維詞匯嵌入和注意力機(jī)制：

2000年，Bengio撰寫(xiě)了具有里程碑意義的論文“A Neural Probabilistic Language Model”，此文引入了高維詞嵌入作為詞義表示。Bengio的這個(gè)思想對(duì)日后的自然語(yǔ)言處理任務(wù)產(chǎn)生了巨大而深遠(yuǎn)的影響，其中包括語(yǔ)言翻譯、問(wèn)答和視覺(jué)問(wèn)答系統(tǒng)開(kāi)發(fā)等。Bengio的團(tuán)隊(duì)還引入了“注意力機(jī)制”，導(dǎo)致了機(jī)器翻譯研究的突破，并成為深度學(xué)習(xí)的順序處理的關(guān)鍵組成部分。

生成對(duì)抗網(wǎng)絡(luò)（GAN）：

自2010年以來(lái)，Bengio與Ian Goodfellow共同開(kāi)發(fā)的生成對(duì)抗網(wǎng)絡(luò)（GAN）引發(fā)了一場(chǎng)計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)的革命。GAN的一個(gè)引人注目應(yīng)用是，計(jì)算機(jī)實(shí)際上能夠生成原始圖像，這種創(chuàng)造力往往被認(rèn)為是機(jī)器具備人類智能的標(biāo)志。

Yann LeCun

卷積神經(jīng)網(wǎng)絡(luò)：

20世紀(jì)80年代，LeCun開(kāi)發(fā)了卷積神經(jīng)網(wǎng)絡(luò)，成為神經(jīng)網(wǎng)絡(luò)領(lǐng)域的基本模型。在20世紀(jì)80年代后期，LeCun在多倫多大學(xué)和貝爾實(shí)驗(yàn)室工作期間，首次在手寫(xiě)數(shù)字圖像上成功了訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)。如今，卷積神經(jīng)網(wǎng)絡(luò)是計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別，語(yǔ)音合成、圖像合成和自然語(yǔ)言處理領(lǐng)域的行業(yè)標(biāo)準(zhǔn)。已被用于自動(dòng)駕駛、醫(yī)學(xué)成像分析、語(yǔ)音助手和信息過(guò)濾等多個(gè)領(lǐng)域。

對(duì)反向傳播算法的改進(jìn)：

LeCun提出了反向傳播算法的早期版本（backprop），并根據(jù)變分原理對(duì)其進(jìn)行了簡(jiǎn)潔的推導(dǎo)。他表述了縮短學(xué)習(xí)時(shí)間的兩種簡(jiǎn)單方法，從而加快了反向傳播算法的速度。

拓寬神經(jīng)網(wǎng)絡(luò)的研究領(lǐng)域：

LeCun還拓寬了神經(jīng)網(wǎng)絡(luò)的研究領(lǐng)域，將神經(jīng)網(wǎng)絡(luò)作為一種計(jì)算模型應(yīng)用于更廣泛的任務(wù)上。他在早期研究中引入的許多思想和理念，現(xiàn)在已成為AI領(lǐng)域的基礎(chǔ)概念。例如，在圖片識(shí)別領(lǐng)域，他研究了如何讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)層次特征，這一方法現(xiàn)在已經(jīng)用于很多日常的識(shí)別任務(wù)。他們還提出了可以操作結(jié)構(gòu)數(shù)據(jù)（例如圖數(shù)據(jù)）的深度學(xué)習(xí)架構(gòu)。（轉(zhuǎn)自新智元）