人工智能深度學(xué)習(xí)未來應(yīng)該如何發(fā)展的詳細(xì)概述

多年來，深度學(xué)習(xí)一直處于所謂的人工智能革命的最前沿，許多人相信深度學(xué)習(xí)將帶領(lǐng)我們進(jìn)入通用AI時代。然而，從12，13年甚囂塵上，到如今的塵埃落地，浪潮一再的退去。面對疲軟的風(fēng)口，養(yǎng)肥的豬，人工智能將何去何從？

AI Winter Is Well On Its Way

多年來，深度學(xué)習(xí)一直處于所謂的人工智能革命的最前沿，許多人相信深度學(xué)習(xí)將帶領(lǐng)我們進(jìn)入通用AI時代。在2014，2015，2016年，很多事件每每推動人們對 Ai的理解邊界。例如Alpha Go等。特斯拉等公司甚至宣稱：全自動駕駛汽車正在路上。

但是現(xiàn)在，2018年中期，事情開始發(fā)生變化。從表面上看，NIPS會議仍然很火，關(guān)于AI的新聞也很多，Elon Mask仍然看好自動駕駛汽車，而Google CEO不斷重申Andrew Ng的口號，即AI比電力作出了更大的貢獻(xiàn)。但是這些言論已經(jīng)開始出現(xiàn)裂紋。裂紋最明顯的地方是自動駕駛- 這種現(xiàn)實(shí)世界中的實(shí)際應(yīng)用。

深度學(xué)習(xí)塵埃落定

當(dāng)ImageNet有了很好的解決方案（注意這并不意味著視覺問題得到已經(jīng)解決【1】），該領(lǐng)域的許多杰出研究人員（甚至包括一直保持低調(diào)的Geoff Hinton）都在積極地接受采訪，在社交媒體上發(fā)布內(nèi)容（例如Yann Lecun，吳恩達(dá)，李飛飛等）。他們的話，可以總結(jié)為：世界正處在一場巨大的AI革命中。然而，好幾年已經(jīng)過去了，這些人的Twitter信息變得不那么活躍了，比如 Andrew Ng：

2013年 - 每天0.413推文

2014 年- 每天0.605條推文

2015 -每天0.320條推文

2016 -每天0.802推文

2017 -每天0.668推文

2018 -每天0.263推文（至5月24日）

也許這是因?yàn)锳ndrew 的某些夸張言論，在當(dāng)下會被進(jìn)行更詳細(xì)的審查，如下面的推文【2】所示：

不可否認(rèn)，深度學(xué)習(xí)的熱度已經(jīng)大大下降，贊美深度學(xué)習(xí)作為AI終極算法的推文少得多了，而且論文正在變得不那么“革命”，現(xiàn)在大家換了個詞，叫：進(jìn)化。

自從Alpha Zero以來，DeepMind已經(jīng)許久沒有產(chǎn)出令人驚嘆的東西了。 OpenAI更是相當(dāng)?shù)牡驼{(diào)，他們最近一次出現(xiàn)在媒體的報道上，是他們做了一個自動打Dota 2【3】的機(jī)器人 [我一開始以為，這是跟 Alpha Go 一樣的偉大，然后后來證明，并不是]。

從某些文章來看【4】，貌似Google實(shí)際上并不知道如何處理Deepmind，因?yàn)樗麄兊慕Y(jié)果顯然不如原先預(yù)期的那么實(shí)際......至于杰出的研究人員，他們一般都為了funding 在各種政府機(jī)構(gòu)間游走，Yann Lecun甚至【5】從 Facebook的AI首席科學(xué)家的位置上下臺了。

像這種從富有的大公司向政府資助的研究機(jī)構(gòu)的逐漸轉(zhuǎn)變表明，這些公司對這類研究的興趣（我認(rèn)為是谷歌和Facebook）實(shí)際上正在慢慢消失。這些都是早期跡象，沒有人大聲的宣揚(yáng)，但這些行動就像肢體語言，也能傳達(dá)某種意思。

大規(guī)模深度學(xué)習(xí)（實(shí)際并沒有）

深度學(xué)習(xí)的一個重要口號是它可以輕松的擴(kuò)展。我們在2012年擁有60M參數(shù)的AlexNet，現(xiàn)在我們已經(jīng)有至少1000倍的數(shù)量的模型了嗎？好吧，我們可能會這樣做，但問題是 - 這些東西有1000x的能力提升嗎？ 100倍的能力？ openAI的研究派上用場：

因此，就視覺應(yīng)用而言，我們看到VGG和Resnets在計(jì)算資源應(yīng)用的一個數(shù)量級上飽和（就參數(shù)數(shù)量而言實(shí)際上較少）。Xception是谷歌Inception架構(gòu)的一種變體，實(shí)際上它在ImageNet上的表現(xiàn)只是略微優(yōu)于其他模型，因?yàn)锳lexNet基本上解決了ImageNet。

因此，在比AlexNet計(jì)算量提高100倍的情況下，我們在視覺方面已經(jīng)有了近乎飽和的體系結(jié)構(gòu)，換句話說，圖像分類的精確已經(jīng)提不動了。

神經(jīng)機(jī)器翻譯是所有大型網(wǎng)絡(luò)搜索玩家(google, baidu, yahoo 等)的一大努力，難怪它有多少機(jī)器就用多少機(jī)器（盡管谷歌翻譯仍然很糟糕，雖然已經(jīng)在變得更好了）。

該圖上的最新三點(diǎn)有趣地顯示了DeepMind和OpenAI應(yīng)用于游戲的強(qiáng)化學(xué)習(xí)相關(guān)項(xiàng)目。特別是AlphaGo Zero和稍微更通用的Alpha Zero需要大量計(jì)算，但不適用于真實(shí)世界的應(yīng)用程序，因?yàn)樾枰罅坑?jì)算來模擬和生成這些數(shù)據(jù)來供這些模型使用。

好的，現(xiàn)在我們可以在幾分鐘內(nèi)完成AlexNet的訓(xùn)練，但是我們可以在幾天內(nèi)訓(xùn)練一個比AlexNet大1000倍，質(zhì)量更好的模型嗎？顯然不是。

所以實(shí)際上，這張旨在表明深度學(xué)習(xí)規(guī)模的圖，表明了最終結(jié)果恰恰相反。我們不能僅僅擴(kuò)大AlexNet的規(guī)模來得到更好的結(jié)果——我們必須處理特定的體系結(jié)構(gòu)。有效的額外的計(jì)算, 不需要大量的數(shù)據(jù)樣本，才是努力的方向。

自動駕駛事故

迄今為止，對深度學(xué)習(xí)的聲譽(yù)打擊最大的事件來自自動駕駛領(lǐng)域。一開始人們認(rèn)為End-to-End的深度學(xué)習(xí)可以以某種方式解決自動駕駛問題 (Nvidia特別推崇這一理念)?，F(xiàn)在我覺得地球上應(yīng)該沒有人還相信這一點(diǎn)（盡管我可能是錯的）。

看看去年加州車輛管理局DMV給各個廠商的自動駕駛車輛人為干預(yù)報告，Nvidia的自動駕駛汽車在缺少人為干預(yù)的情況下，連開10英里都做不到。

自2016年以來，特斯拉自動駕駛系統(tǒng)發(fā)生了幾起事故[6,7,8]，其中一些事件是致命的[6,7]?？梢哉f，特斯拉的自動駕駛輔助技術(shù)不應(yīng)該與自動駕駛混淆起來雖然在核心上它依賴于同一種技術(shù)。

都到今天了，它仍然不能自動停在路口，不能識別交通信號燈，甚至不能通過環(huán)形交叉路口。那是在2018年5月，在承諾特斯拉將自動駕駛從西海岸開到東海岸的幾個月后（盡管傳言是他們已經(jīng)嘗試過但是在小于30次人工干預(yù)的情況下無法實(shí)現(xiàn)）。幾個月前（2018年2月），伊隆馬斯克（Elon Musk）在一次電話會議上被問及海岸到海岸的行駛問題時重復(fù)說到：

“我們本可以實(shí)現(xiàn)海岸到海岸的駕駛，但它需要太多的專門代碼來有效地進(jìn)行游戲；或者使代碼變得脆弱一些，這樣它只適用于一個特定的路線，這不是通用的解決方案。

我對神經(jīng)網(wǎng)絡(luò)方面取得的進(jìn)展感到非常興奮。但是看起來并沒有太多的進(jìn)展。它會覺得這是一個蹩腳的司機(jī)。就像…好吧，這是一個非常好的司機(jī)。像“Holy Cow！”

那么，看看上面的圖表（來自O(shè)penAI），我似乎沒有看到指數(shù)級的進(jìn)展。幾乎在這個領(lǐng)域的每一個科研人員在離開之前都沒有看到指數(shù)級的進(jìn)展。實(shí)質(zhì)上，上述說法應(yīng)該被解釋為：“我們目前沒有可以安全地驅(qū)使我們實(shí)現(xiàn)岸到岸駕駛的技術(shù)，盡管如果我們真的想要（也許......）我們可以偽造它。我們深深地希望神經(jīng)網(wǎng)絡(luò)領(lǐng)域的蓬勃發(fā)展盡快到來，并幫助我們免受恥辱和大規(guī)模的訴訟“。

但是迄今為止，人工智能泡沫中最大的刺點(diǎn)是Uber自駕車在亞利桑那州（Arizona）發(fā)生的撞死一名行人的事故。從NTSB的初步報告中，我們可以讀到一些令人驚訝的發(fā)言：

（自動駕駛系統(tǒng)會將行人識別為一個機(jī)器，或者說一個交通工具，對其運(yùn)動速度的判斷就會有問題，預(yù)留的減速時間就會出現(xiàn)問題，從而出現(xiàn)緊急情況）

在報告中，除了整體系統(tǒng)設(shè)計(jì)的明顯失敗，令人吃驚的是，系統(tǒng)花費(fèi)了很長時間去確定前方的物體到底是什么（行人、自行車、汽車或者其他），而不是作出判斷，保證不撞到它。主要有幾個原因：第一，人們通常會在事后表達(dá)他們當(dāng)時的決定，例如，“我看到一個騎自行車的人，所以我轉(zhuǎn)向左邊避開他”。

大量的心理學(xué)研究提供了截然不同解釋--：當(dāng)一個人遇到這種情況，會在很短的時間內(nèi)，通過神經(jīng)反饋，將前方物體識別為障礙，并迅速行動，避開他。稍長時間后，他意識到剛才發(fā)生了什么，并提供口頭解釋。我們的許多決定里，有很多都不是用語言表達(dá)的。語言表達(dá)的開銷很大，并且現(xiàn)實(shí)中通常沒有那么充裕的時間。這些機(jī)制為了保護(hù)我們的安全，已經(jīng)進(jìn)化了10億年的時間，雖然仍然可能導(dǎo)致錯誤，但我們對三維空間、速度、預(yù)測行為的理解能力，已經(jīng)通過進(jìn)化過程，磨練的相當(dāng)好了。

但是由于這些問題大多無法用語言來表達(dá)，并且很難測量，因此難以在這些方面對機(jī)器學(xué)習(xí)系統(tǒng)優(yōu)化。這種情況非常有利于基于Nvidia的端到端方法的發(fā)展，通過學(xué)習(xí)圖像到動作的映射，不考慮任何語言，從某種程度來說，這個方法沒有錯，但問題是，輸入空間的超高維變量和動作空間的低維標(biāo)簽之間的差距非常大。因此，與輸入的信息量相比，“標(biāo)簽”的數(shù)量非常小，在這種情況下，算法非常容易學(xué)習(xí)到虛假的關(guān)系，正如在深度學(xué)習(xí)中所舉得例子一樣，需要不同的范式，將對輸入空間的感知能力作為第一步，使得系統(tǒng)能夠提取真實(shí)世界的語義特征，而不是虛假的相關(guān)性。可以閱讀之前的文章【9】。

事實(shí)上，如果說我們從深度學(xué)習(xí)的爆發(fā)式增長中學(xué)到了什么的話，那就是高維圖像空間中含有非常多的偽模式，并在許多圖像中進(jìn)行了泛化，這就使分類器好像理解了它們所看到的圖片那樣。即使那些頂級研究人員亦不得不承認(rèn)，事實(shí)并非如此。

需要提到的是，更高層的人正在意識到這種問題，并開始公開的批評它。最為活躍的要數(shù)Gary Marcus。雖然我并不認(rèn)同Gary關(guān)于AI的所有觀點(diǎn)，但我們都認(rèn)同，它還沒有像宣傳的那么強(qiáng)大。他的博文Deeplearning: A critical appraisal【10】和In defense of skepticism about deep learning【11】中，詳細(xì)的解釋了深度學(xué)習(xí)的宣傳過程。我很尊重Gary，他表現(xiàn)的就像一個真正的科學(xué)家，而很多深度學(xué)習(xí)名人，卻像是廉價的明星一樣。

結(jié)論

預(yù)測人工智能的冬天就像是猜測股市崩盤一樣——不可能精確地知道發(fā)生的時間，但幾乎可以肯定會在某個時刻發(fā)生，就像股市崩盤之前，有跡象表明會發(fā)生危機(jī)，但在當(dāng)時的環(huán)境中，卻很容易被大家忽視。

在我看來，深度學(xué)習(xí)已經(jīng)出現(xiàn)了明顯的下降跡象。我并不知道這個冬天會有多“深度”，我也不知道接下來會發(fā)生什么，但我可以肯定，這個冬天一定會來臨，并且只會來的比想象的要早。