深度學(xué)習(xí)塵埃已落定 AI冬天只是時(shí)間問(wèn)題

處于所謂的 AI 革命的前沿至今已有好幾年；許多人過(guò)去認(rèn)為，深度學(xué)習(xí)是神奇的“銀彈”，會(huì)把我們帶到技術(shù)奇點(diǎn)（general AI）的奇妙世界。許多公司在 2014 年、2015 年和 2016 年紛紛下豪賭，那幾年業(yè)界在開(kāi)拓新的邊界，比如 Alpha Go 等。特斯拉等公司通過(guò)各自的門(mén)面（CEO）來(lái)宣布，完全自動(dòng)駕駛的汽車(chē)指日可待，以至于特斯拉開(kāi)始向客戶(hù)兜售這種愿景（有依賴(lài)于未來(lái)的軟件更新）。

我們現(xiàn)在進(jìn)入到 2018 年年中，情況已發(fā)生了變化。這表面上暫時(shí)還看不出來(lái)，NIPS 大會(huì)仍一票難求，許多公司的公關(guān)人員仍在新聞發(fā)布會(huì)上竭力鼓吹 AI，埃隆·馬斯克仍不斷承諾會(huì)推出自動(dòng)駕駛汽車(chē)，谷歌的首席執(zhí)行官仍不斷高喊吳恩達(dá)的口號(hào)（AI 比電力更具革命性）。但這種論調(diào)開(kāi)始站不住腳。正如我在之前的文章中預(yù)測(cè)，最站不住腳的地方就是自動(dòng)駕駛――即這項(xiàng)技術(shù)在現(xiàn)實(shí)世界中的實(shí)際應(yīng)用。

深度學(xué)習(xí)方面塵埃已落定

ImageNet 得到有效地解決（注意：這并不意味著視覺(jué)已得到解決）時(shí)，這個(gè)領(lǐng)域的杰出研究人員、甚至包括通常低調(diào)的杰夫·辛頓（Geoff Hinton）都在積極接受媒體采訪(fǎng)，在社交媒體上大造聲勢(shì)，比如雅恩·樂(lè)坤（Yann Lecun）、吳恩達(dá)和李飛飛等人。大意無(wú)非是，我們正面臨一場(chǎng)巨大的革命；從現(xiàn)在開(kāi)始，革命的步伐只會(huì)加快。多年過(guò)去了，這些人的推文變得不那么活躍了，下面以吳恩達(dá)的推文為例來(lái)說(shuō)明：

2013 年：每天 0.413 條推文

2014 年：每天 0.605 條推文

2015 年：每天 0.320 條推文

2016 年：每天 0.802 條推文

2017 年：每天 0.668 條推文

2018 年：每天 0.263 條推文（截至 5 月 24 日）

也許這是由于吳恩達(dá)的大膽言論現(xiàn)在受到了 IT 界會(huì)更嚴(yán)厲的拷問(wèn)，正如下面這條推文所示：

顯而易見(jiàn)，AI 方面的聲勢(shì)已大幅減弱，現(xiàn)在盛贊深度學(xué)習(xí)是終極算法的推文少多了，論文也少了“革命性”的論調(diào)，多了“演進(jìn)性”的論調(diào)。自推出 Alpha Go zero 以來(lái)，Deepmind 還沒(méi)有拿出任何激動(dòng)人心的成果。OpenAI 相當(dāng)安靜，它上一次在媒體上大放異彩是玩《刀塔2》（Dota2）游戲的代理，我想它原本是為了營(yíng)造與 Alpha Go 一樣大的聲勢(shì)，但很快就沒(méi)有了動(dòng)靜。實(shí)際上這時(shí)開(kāi)始出現(xiàn)了好多文章，認(rèn)為連谷歌實(shí)際上都不知道如何處理 Deepmind，因?yàn)樗鼈兊慕Y(jié)果顯然不如最初預(yù)期的那樣注重實(shí)際……至于那些聲名顯赫的研究人員，他們通常在四處會(huì)見(jiàn)加拿大或法國(guó)的政府官員，確保將來(lái)拿到撥款，雅恩·樂(lè)坤甚至辭去了 Facebook AI 實(shí)驗(yàn)室主任一職，改任 Facebook 首席 AI 科學(xué)家。從財(cái)大氣粗的大公司逐漸轉(zhuǎn)向政府資助的研究機(jī)構(gòu)，這讓我意識(shí)到，這些公司（我指谷歌和 Facebook）對(duì)此類(lèi)研究的興趣實(shí)際上在慢慢減弱。這些同樣是早期的征兆，不是大聲說(shuō)出來(lái)，只是肢體語(yǔ)言。

深度學(xué)習(xí)不具有擴(kuò)展性

深度學(xué)習(xí)方面老生常談的重要口號(hào)之一是，它幾乎毫不費(fèi)力就能擴(kuò)展。我們?cè)?2012 年有了約有 6000 萬(wàn)個(gè)參數(shù)的 AlexNet，現(xiàn)在我們可能擁有至少是參數(shù)是這個(gè)數(shù) 1000 倍的模型，是不是？也許我們有這樣的模型，可是問(wèn)題是，這種模型的功能強(qiáng) 1000 倍嗎？或者甚至強(qiáng) 100 倍？OpenAI 的一項(xiàng)研究派上了用場(chǎng)：

所以，從視覺(jué)應(yīng)用這方面來(lái)看，我們看到 VGG 和 Resnets 在運(yùn)用的計(jì)算資源大約高出一個(gè)數(shù)量級(jí)后趨于飽和（從參數(shù)的數(shù)量來(lái)看實(shí)際上更少）。Xception 是谷歌 Inception 架構(gòu)的一種變體，實(shí)際上只是在 ImageNet 方面比 Inception 略勝一籌，可能比其他各種架構(gòu)略勝一籌，因?yàn)閷?shí)際上 AlexNet 解決了 ImageNet。所以在計(jì)算資源比 AlexNet 多 100 倍的情況下，我們實(shí)際上在視覺(jué)（準(zhǔn)確地說(shuō)是圖像分類(lèi)）方面幾乎讓架構(gòu)趨于飽和。神經(jīng)機(jī)器翻譯是各大互聯(lián)網(wǎng)搜索引擎大力開(kāi)展的一個(gè)方向，難怪它獲取所能獲取的所有計(jì)算資源（不過(guò)谷歌翻譯仍很差勁，不過(guò)有所改進(jìn)）。上面圖中最近的三個(gè)點(diǎn)顯示了與強(qiáng)化學(xué)習(xí)有關(guān)的項(xiàng)目，適用于 Deepmind 和 OpenAI 玩的游戲。尤其是 Alpha Go Zero 和更通用一點(diǎn)的 Alpha Go 獲取的計(jì)算資源非常多，但它們并不適用于實(shí)際應(yīng)用，原因是模擬和生成這些數(shù)據(jù)密集型模型所需的數(shù)據(jù)需要這些計(jì)算資源中的大部分。OK，現(xiàn)在我們可以在幾分鐘內(nèi)、而不是幾天內(nèi)訓(xùn)練 AlexNet，但是我們可以在幾天內(nèi)訓(xùn)練大 1000 倍的 AlexNet，并獲得性質(zhì)上更好的結(jié)果嗎？顯然不能……。

所以實(shí)際上，旨在顯示深度學(xué)習(xí)擴(kuò)展性多好的這張圖恰恰表明了其擴(kuò)展性多差。我們不能簡(jiǎn)單地通過(guò)擴(kuò)展 AlexNet 來(lái)獲得相應(yīng)更好的結(jié)果，我們不得不調(diào)整特定的架構(gòu)，如果不能在數(shù)據(jù)樣本的數(shù)量上獲得數(shù)量級(jí)的提升，實(shí)際額外的計(jì)算資源無(wú)法換來(lái)太大的效果，而這種量級(jí)的數(shù)據(jù)樣本實(shí)際上只有在模擬游戲環(huán)境中才有。

自動(dòng)駕駛事故不斷

對(duì)深度學(xué)習(xí)名聲打擊最大的無(wú)疑是自動(dòng)駕駛車(chē)輛這個(gè)領(lǐng)域（我很早以前就預(yù)料到這一點(diǎn)，比如 2016 年的這篇文章：https://blog.piekniewski.info/2016/11/15/ai-and-the-ludic-fallacy/）。起初，人們認(rèn)為端到端深度學(xué)習(xí)有望以某種方式解決這個(gè)問(wèn)題，這是英偉達(dá)大力倡導(dǎo)的一個(gè)觀(guān)點(diǎn)。我認(rèn)為世界上沒(méi)有哪個(gè)人仍相信這一點(diǎn)，不過(guò)也許我是錯(cuò)的?？纯慈ツ昙永Ｄ醽喼蒈?chē)輛管理局（DMV）的脫離（disengagement）報(bào)告，英偉達(dá)汽車(chē)實(shí)際上開(kāi)不了 10 英里就脫離一次。

我在另一篇文章（https://blog.piekniewski.info/2018/02/09/a-v-safety-2018-update/）中討論了這方面的總體情況，并與人類(lèi)駕駛員的安全性進(jìn)行了比較（爆料一下情況不太好）。自 2016 年以來(lái)，特斯拉自動(dòng)駕駛系統(tǒng)已發(fā)生了幾起事故，幾起還是致命的。特斯拉的自動(dòng)駕駛系統(tǒng)不該與自動(dòng)駕駛混為一談，但至少它在核心層面依賴(lài)同一種技術(shù)。到今天為止，除了偶爾的嚴(yán)重錯(cuò)誤外，它還是無(wú)法在十字路口停車(chē)，無(wú)法識(shí)別紅綠燈，甚至無(wú)法繞環(huán)島正確行駛?，F(xiàn)在是 2018 年 5 月，離特斯拉承諾來(lái)一次西海岸到東海岸的自動(dòng)駕駛（這一幕沒(méi)有出現(xiàn)，不過(guò)傳聞稱(chēng)特斯拉有過(guò)嘗試，但無(wú)法成行）已有好幾個(gè)月。幾個(gè)月前（2018 年 2 月），被問(wèn)及西海岸到東海岸的自動(dòng)駕駛時(shí)，埃隆·馬斯克在電話(huà)會(huì)議上重申了這點(diǎn)：

“我們本可以進(jìn)行西海岸到東海岸的駕駛，但那需要太多專(zhuān)門(mén)的代碼來(lái)進(jìn)行有效地改動(dòng)，但這適用于一條特定的路線(xiàn)，但不是通用的解決方案。于是我認(rèn)為我們可以重復(fù)它，但如果它根本無(wú)法適用于其他路線(xiàn)上，那不是真正意義上的解決方案?！?/p>

“我為我們?cè)?a href="http://www.wenjunhu.com/tags/神經(jīng)網(wǎng)絡(luò)/" target="_blank">神經(jīng)網(wǎng)絡(luò)方面取得的進(jìn)展而感到激動(dòng)。它是很小的進(jìn)展，似乎不是多大的進(jìn)展，但突然讓人大為驚嘆?！?/p>

嗯，看一看上圖（來(lái)自 OpenAI），我似乎沒(méi)有看到那個(gè)長(zhǎng)足的進(jìn)步。對(duì)于這個(gè)領(lǐng)域的幾乎各大玩家來(lái)說(shuō)，出現(xiàn)脫離之前的英里數(shù)也沒(méi)有顯著增加。實(shí)際上，上述聲明可以理解為：“我們目前沒(méi)有能夠安全地將人們從西海岸載到東海岸的技術(shù)，不過(guò)如果我們真愿意的話(huà)，其實(shí)可以做手腳……我們熱切地希望，神經(jīng)網(wǎng)絡(luò)功能方面很快會(huì)出現(xiàn)某種突飛猛進(jìn)，好讓我們從恥辱和大堆訴訟中脫身出來(lái)?！?/p>

但是給 AI 泡沫最猛力一戳的是優(yōu)步（Uber）自動(dòng)駕駛汽車(chē)在亞利桑那州撞死行人的事故。從美國(guó)國(guó)家運(yùn)輸安全委員會(huì)（NTSB）的初步報(bào)告來(lái)看，我們可以看到一些令人震驚的聲明：

除了這份報(bào)告中明顯提到的總體系統(tǒng)設(shè)計(jì)失敗外，令人吃驚的是，系統(tǒng)花了好幾秒的時(shí)間來(lái)確定看到的前方到底是什么（無(wú)論是行人、自行車(chē)、汽車(chē)還是其他什么），而不是這種情形下做出唯一的合理決定，從而旨在確保沒(méi)有撞上。這有幾個(gè)原因：第一，人們常常會(huì)事后會(huì)用言語(yǔ)表達(dá)其決定。因此，一個(gè)人通常會(huì)說(shuō):“我看到了一個(gè)騎車(chē)的人，于是我轉(zhuǎn)向左邊以避開(kāi)他?！贝罅康木裆韺W(xué)文獻(xiàn)會(huì)給出一番截然不同的解釋?zhuān)阂粋€(gè)人看到了被其神經(jīng)系統(tǒng)的快速感知回路迅速理解成障礙物的東西后，迅速采取行動(dòng)來(lái)避開(kāi)它，過(guò)了好多秒后才　意識(shí)到所發(fā)生的事情，并提供口頭解釋?！蔽覀兠刻熳霾皇怯醚哉Z(yǔ)表達(dá)的眾多決定，而駕駛包括許多這樣的決定。用言語(yǔ)表達(dá)開(kāi)銷(xiāo)很大，又耗費(fèi)時(shí)間，實(shí)際情形常常很緊迫，不允許這么做。這種機(jī)制已進(jìn)化了 10 億年來(lái)確保我們的安全，而駕駛環(huán)境（盡管現(xiàn)代）利用了許多這樣的反射。由于這些反射沒(méi)有專(zhuān)門(mén)針對(duì)駕駛而進(jìn)化，可能會(huì)導(dǎo)致錯(cuò)誤。一只黃蜂在汽車(chē)?yán)镂宋俗黜?，引起駕駛員條件反射，可能會(huì)導(dǎo)致多起車(chē)禍和死亡。但是我們對(duì)于三維空間和速度的基本理解、預(yù)測(cè)代理的行為和路上迎面而來(lái)的實(shí)際物體的行為這種能力卻是很原始的技能，跟 1 億年前一樣，這些技能在今天一樣有用，它們因進(jìn)化而得到了顯著的增強(qiáng)。

但是由于這些東西大多不容易用言語(yǔ)表達(dá)，它們很難來(lái)測(cè)量，因而我們根本無(wú)法針對(duì)這些方面來(lái)優(yōu)化機(jī)器學(xué)習(xí)系統(tǒng)……現(xiàn)在這將認(rèn)同英偉達(dá)的端到端方法――學(xué)習(xí)圖像－＞動(dòng)作映射，跳過(guò)任何言語(yǔ)表達(dá)，在某些方面這是正確的做法，但問(wèn)題是，輸入空間是高維的，而動(dòng)作空間卻是低維的。因此，與輸入的信息量相比，“標(biāo)簽”（讀出）的“數(shù)量”極小。在這種情況下，極容易學(xué)習(xí)虛假關(guān)系（spurious relation），深度學(xué)習(xí)中的對(duì)抗樣本（adversarial example）就表明了這點(diǎn)。我們需要一種不同的范式，我假設(shè)預(yù)測(cè)整個(gè)感知輸入以及動(dòng)作是讓系統(tǒng)能夠提取現(xiàn)實(shí)世界語(yǔ)義的第一步，而不是提取虛假關(guān)系是第一步。欲知詳情，請(qǐng)參閱我的第一個(gè)提議的架構(gòu)：預(yù)測(cè)視覺(jué)模型（Predictive Vision Model，https://blog.piekniewski.info/2016/11/04/predictive-vision-in-a-nutshell/）。

實(shí)際上，如果說(shuō)我們從深度學(xué)習(xí)的大流行中學(xué)到什么東西，那就是（10k+ 維度）圖像空間里面有足夠多的虛假模式，它們實(shí)際上在許多圖像上具有共性，并留下印象，比如我們的分類(lèi)器實(shí)際上理解它們看到的東西。連在這個(gè)領(lǐng)域浸淫多年的頂尖研究人員都承認(rèn)，事實(shí)遠(yuǎn)非如此。

加里·馬庫(kù)斯對(duì)炒作說(shuō)不

我應(yīng)該提到一點(diǎn)，更多的知名人士認(rèn)識(shí)到了這種傲慢自大，有勇氣公開(kāi)炮轟。這個(gè)領(lǐng)域最活躍的人士之一是加里·馬庫(kù)斯（Gary Marcus）。雖然我并不同意加里在 AI 方面提出的每個(gè)觀(guān)點(diǎn)，但我們無(wú)疑一致認(rèn)為：AI 還沒(méi)有像深度學(xué)習(xí)炒作宣傳機(jī)器描繪的那么強(qiáng)大。實(shí)際上，相距甚遠(yuǎn)。他寫(xiě)過(guò)出色的博文/論文：

《深度學(xué)習(xí)：批判性評(píng)估》（https://arxiv.org/abs/1801.00631）

《為深度學(xué)習(xí)的質(zhì)疑聲辯護(hù)》（https://medium.com/@GaryMarcus/in-defense-of-skepticism-about-deep-learning-6e8bfd5ae0f1）

他非常深入細(xì)致地解析了深度學(xué)習(xí)炒作。我很敬重加里，他的表現(xiàn)像是真正的科學(xué)家，大多數(shù)被稱(chēng)為“深度學(xué)習(xí)明星”的人其表現(xiàn)就像三流明星。

結(jié)束語(yǔ)

預(yù)測(cè) AI 的冬天就像預(yù)測(cè)股市崩盤(pán)――不可能準(zhǔn)確地預(yù)測(cè)何時(shí)發(fā)生，但幾乎可以肯定的是，它會(huì)在某個(gè)時(shí)候點(diǎn)發(fā)生。就像股市崩盤(pán)之前，有跡象預(yù)示股市即將崩盤(pán)，但是對(duì)前景的描繪是如此的誘人，以至于很容易忽視這些跡象，哪怕這些跡象清晰可見(jiàn)。在我看來(lái)，已經(jīng)有這類(lèi)明顯的跡象表明，深度學(xué)習(xí)將大幅降溫（可能在 AI 行業(yè)，這個(gè)術(shù)語(yǔ)已被企業(yè)宣傳機(jī)器沒(méi)完沒(méi)了地濫用），這類(lèi)?ài)E象已經(jīng)清晰可見(jiàn)，不過(guò)大多數(shù)人被越來(lái)越誘人的描繪蒙蔽了雙眼。那個(gè)冬天會(huì)有多“深”？我不知道。接下來(lái)會(huì)發(fā)生什么？我也不知道。但我很肯定 AI 冬天會(huì)到來(lái)，也許更早到來(lái)，而不是更晚到來(lái)。