深度學(xué)習(xí)、CNN越來(lái)越火熱，這種熱度能夠持續(xù)多久？

本文介紹了LeCun和居里夫人、以及原子發(fā)展和AI發(fā)展的共通之處，試圖回答：人工智能處于何種發(fā)展階段、是否會(huì)有危險(xiǎn)、以及YannLeCun是新的RichardFeymann，還是新的MarieCurie，或兩者兼而有之？

深度學(xué)習(xí)、CNN越來(lái)越火熱，原因之一是它取得了很多令人矚目的成就。不過(guò)，這種熱度能夠持續(xù)多久？深度學(xué)習(xí)是否在未來(lái)幾年仍然能夠推動(dòng)人工智能呈指數(shù)級(jí)增長(zhǎng)？恐怕需要我們仔細(xì)去思考一下。

美國(guó)未來(lái)研究院主席羅伊·阿馬拉有一條著名的阿馬拉定律：“我們傾向于過(guò)高估計(jì)技術(shù)在短期內(nèi)的影響，而低估它的長(zhǎng)期效應(yīng)”。

所以，深度學(xué)習(xí)到底是被高估還是低估，就得搞清楚目前深度學(xué)習(xí)和人工智能發(fā)展到了什么程度，站在哪個(gè)階段上。

Gartner熱度循環(huán)曲線

上圖中的曲線反應(yīng)了一項(xiàng)技術(shù)在5到10年內(nèi)關(guān)注度的變化，可供企業(yè)用來(lái)評(píng)估該項(xiàng)技術(shù)的發(fā)展階段，從而決定是否采用該技術(shù)、何時(shí)使用等。不過(guò)人工智能不僅僅是一項(xiàng)應(yīng)用于企業(yè)的技術(shù)，同時(shí)是一個(gè)獨(dú)立的科學(xué)領(lǐng)域，它的熱度周期可能長(zhǎng)達(dá)50到100。

觀察人工智能發(fā)展走向的一種方法是將其看做是人類對(duì)自我認(rèn)知的理解，對(duì)人類學(xué)習(xí)系統(tǒng)的探索。從這個(gè)角度切入，就可以將我們?cè)谌斯ぶ悄茴I(lǐng)域的發(fā)現(xiàn)，與過(guò)去的科學(xué)發(fā)現(xiàn)進(jìn)行比較，特別是那些與復(fù)雜系統(tǒng)有關(guān)的發(fā)現(xiàn)：太陽(yáng)系，進(jìn)化，電力…以及，原子。

接下來(lái)，我們來(lái)通過(guò)解答一個(gè)有趣的問(wèn)題來(lái)嘗試揭開(kāi)當(dāng)前人工智能的發(fā)展階段，以及30年后我們的后代回顧歷史會(huì)對(duì)現(xiàn)在我們做的事情做出何種評(píng)價(jià)：天真？還是危險(xiǎn)？

這個(gè)問(wèn)題就是：深度學(xué)習(xí)大牛、CNN之父YannLeCun是AI領(lǐng)域的費(fèi)曼，還是居里夫人，或兩者兼而有之？

核物理簡(jiǎn)史

要解答上述問(wèn)題，需要對(duì)核物理的歷史做一個(gè)簡(jiǎn)單的梳理。

研究鈾鹽磷光現(xiàn)象的Becquerel于1897年偶然發(fā)現(xiàn)了鈾的放射性，鈾被光照后擁有了發(fā)射X射線的能力，接著他很快就發(fā)現(xiàn)鈾不需要外部能源也能發(fā)射X射線。之后居里夫人更精心地研究了放射性，并研究了除鈾以外的其他天然放射性化合物。

放射性的發(fā)現(xiàn)引起了公眾的熱情；與此同時(shí)，放射性是一種新的現(xiàn)象，需要通過(guò)理論研究和對(duì)原子本身的更好理解來(lái)解釋。

愛(ài)因斯坦在1905年提出了著名的質(zhì)能等價(jià)理論，盧瑟福在幾年后通過(guò)實(shí)驗(yàn)用電子轟擊金屬板，確定了原子的第一個(gè)模型：有核和電子軌道。

這個(gè)不完整的原子模型一直沿用了15年。直到1928年現(xiàn)代普遍接受的“自旋”模型的出現(xiàn)，以及1935年強(qiáng)核力理論的提出。

在強(qiáng)核力理論提出4年后，放射性元素第一次落地應(yīng)用，科學(xué)家使用同位素成功進(jìn)行了癌癥化療；隨后，1942年建立了第一個(gè)研究核反應(yīng)堆，1956年建成第一座全規(guī)模核能發(fā)電廠。

從1897年發(fā)現(xiàn)發(fā)射線元素，到成功實(shí)現(xiàn)落地應(yīng)用，歷時(shí)近半個(gè)世紀(jì)。

人工神經(jīng)網(wǎng)絡(luò)是如何開(kāi)始的

神經(jīng)網(wǎng)絡(luò)的概念很早就有了，最初的動(dòng)機(jī)是編寫一種模仿突觸行為的算法。在1957年討論了第一個(gè)感知器，1965年討論了第一個(gè)多層感知器。

而那個(gè)時(shí)候的計(jì)算機(jī)剛剛開(kāi)始發(fā)展，速度非常慢，最簡(jiǎn)單的網(wǎng)絡(luò)也得數(shù)天才能訓(xùn)練完畢，效率極其低下，因此在接下來(lái)的十幾年都沒(méi)有被大量使用。

第一個(gè)轉(zhuǎn)機(jī)出現(xiàn)在1974年，Werbos發(fā)現(xiàn)了反向傳播。反向傳播使用了神經(jīng)網(wǎng)絡(luò)操作具有差異性和可投射性的特點(diǎn)，當(dāng)網(wǎng)絡(luò)出錯(cuò)時(shí)，可以將錯(cuò)誤本身回溯到網(wǎng)絡(luò)的各層，以幫助它自我糾正。從某種意義上說(shuō)，它是我們今天稱之為深度學(xué)習(xí)的開(kāi)始。

幾年后，KunihikoFukushima推出了Neocognitron，靈感來(lái)自視覺(jué)皮層中感知細(xì)胞的工作模式。有了Neocognitron，才有了后來(lái)廣為人知的CNN。

神經(jīng)網(wǎng)絡(luò)的重大發(fā)展，源自算力的提升，這要感謝現(xiàn)代GPU、TPU等。

YannLeCun：讓人工智能看到了一束光

在YannLeCun將神經(jīng)網(wǎng)絡(luò)第一次落地之前，AI正在經(jīng)歷漫長(zhǎng)的寒冬期。

YannLeCun通過(guò)反向傳播和CNN來(lái)識(shí)別用于郵件路由的郵件上的郵政編碼，雖然結(jié)果喜人，然而距離深度學(xué)習(xí)成為主流還需要20年左右的時(shí)間。

三個(gè)G：Google，GAN和GPU

2014年，IanGoodfellow與蒙特利爾大學(xué)的同事們?cè)诰瓢衫锛ち覡?zhēng)吵。有關(guān)自動(dòng)生成逼真圖像的能力以及如何教導(dǎo)神經(jīng)網(wǎng)絡(luò)做到這一點(diǎn)。喝大了的Ian誕生了一個(gè)瘋狂想法，讓兩個(gè)神經(jīng)網(wǎng)絡(luò)互毆，第一個(gè)網(wǎng)絡(luò)生成圖像，第二個(gè)網(wǎng)絡(luò)“調(diào)教”第一個(gè)。

現(xiàn)在仍然不清為什么讓兩個(gè)神經(jīng)網(wǎng)絡(luò)并行運(yùn)行會(huì)有效，這個(gè)問(wèn)題仍然亟待解決。GAN是過(guò)去幾年出現(xiàn)的有關(guān)機(jī)器學(xué)習(xí)的一個(gè)例子，但其他包括：

學(xué)習(xí)（可解釋以及好奇心）人工智能系統(tǒng)本身缺乏好奇心，不會(huì)學(xué)到新東西，缺乏可解釋性

深度雙重Q-Learning（DDQN），深度學(xué)習(xí)網(wǎng)絡(luò)嘗試去學(xué)會(huì)一個(gè)策略（例如，玩AtariPong）。兩個(gè)網(wǎng)絡(luò)分別評(píng)估特定步驟是否智能和相互關(guān)聯(lián)的結(jié)果

YOLO（You Look Only Once）對(duì)象檢測(cè)算法，以奇怪的方式檢測(cè)圖像中的對(duì)象，但速度超快

回顧有關(guān)人工智能的各種概念的提出，例如反向傳播、CNN、GAN，RNN，LTSM等，可以和原子的發(fā)展歷程進(jìn)行類比。

Atom和DeepLearning/AI

30年后的人工智能

未來(lái)很難預(yù)測(cè)，不過(guò)可以通過(guò)根據(jù)過(guò)去的科學(xué)發(fā)現(xiàn)，嘗試做出一些假設(shè)，并找出真正在AI上取得重大進(jìn)展需要做些什么：

更多理論：人工智能現(xiàn)在階段，類似自旋模型出現(xiàn)之前的階段。

也許未來(lái)可能建立一個(gè)適用的學(xué)習(xí)理論，其中包含驅(qū)動(dòng)因素（如好奇心，概括能力等），并將這些概念融合在一起

更多工業(yè)化：工程領(lǐng)域需要通用以及可重用的組件。這一點(diǎn)已經(jīng)從核工業(yè)中得到證實(shí)。在深度學(xué)習(xí)中，嵌入和可重用的表示正在成為一種趨勢(shì)

更多落地商用：人工智能目前主要在虛擬世界、而非真實(shí)世界中運(yùn)行，這限制了它的一些實(shí)際應(yīng)用。一些新出現(xiàn)的概念，例如“數(shù)字孿生工廠”，人工智能可以在其上運(yùn)行并進(jìn)行優(yōu)化的見(jiàn)解

更多硬件：放射性是在建造靜電計(jì)的時(shí)候偶然發(fā)現(xiàn)的。而AI是在當(dāng)前硬件（包括GPU和TPU）上開(kāi)發(fā)的，所以，未來(lái)可能需要量子計(jì)算機(jī)

如果至少上述任何兩個(gè)“預(yù)測(cè)”都成為現(xiàn)實(shí)，30年后當(dāng)我們的后代回顧21世紀(jì)初的深度學(xué)習(xí)研究領(lǐng)域是，可能會(huì)說(shuō)：是的，也許YannLeCun是AI領(lǐng)域的居里夫人！