深度學習只是人類探索智能的歷史上的一個插曲

盡管深度學習讓人工智能進入了公眾的視線，但它只是人類探索智能的歷史上的一個插曲。在不到 10 年的時間里，它一直處于人工智能的最前沿。但當我們放大這個領域的整個歷史，我們很容易意識到，它可能很快就會從歷史舞臺上退場。

時至今日，幾乎你所有聽到的關于 AI 的重要進展，背后都離不開深度學習。

這類算法的工作原理是使用統(tǒng)計數(shù)據(jù)來發(fā)現(xiàn)數(shù)據(jù)中的模式。事實證明，它在模仿人類技能(如我們的視覺和聽覺能力)方面非常強大。在一些特殊情況或者是某些有限范圍內(nèi)，它甚至可以模仿我們的推理能力。深度學習為谷歌的搜索、Facebook 的新聞 Feed 和 Netflix 的推薦引擎提供了強大的支持，并正在改變醫(yī)療和教育等行業(yè)。

然而，盡管深度學習讓人工智能進入了公眾的視線，但它只是人類探索智能的歷史上的一個插曲。在不到 10 年的時間里，它一直處于人工智能的最前沿。但當我們放大這個領域的整個歷史，我們很容易意識到，它可能很快就會從歷史舞臺上退場。

華盛頓大學計算機科學教授兼主算法的作者佩德羅·多明戈斯就認為，長期以來，不同技術的突然興起和衰落一直是人工智能研究的特點。每十年都有不同觀點之間的激烈競爭。然后，每隔一段時間，一個新的技術就會興起，研究人員都會聚集起來研究這個新興的技術。

在對人工智能技術持續(xù)的報道和關注的基礎之上，《麻省理工科技評論》想把技術斷斷續(xù)續(xù)、起伏變化的過程形象化。當今最大的科學論文開源數(shù)據(jù)庫之“arXiv”是一個最佳選項，于是，本文作者下載了截止到 2018 年 11 月 18 日“人工智能”部分的 16625 篇論文的摘要，并對這些年來提到的詞匯進行了追蹤，以了解深度學習的發(fā)展究竟走到了哪一個階段？下一個十年最大的發(fā)展機會，又將屬于誰？

圖 截至2018年11月18日，arXiv“人工智能”板塊可獲得的所有論文（來源：麻省理工科技評論）

通過數(shù)據(jù)分析，作者發(fā)現(xiàn)了三個主要的變化趨勢：20 世紀 90 年代末到 21 世紀初，機器學習開始萌芽，從 21 世紀 10 年代初開始經(jīng)歷神經(jīng)網(wǎng)絡的加速普及，以及在過去的幾年迎來了強化學習的增長。

在這里，有幾點需要我們注意。首先，arXiv 的人工智能相關論文只能追溯到 1993 年，而“人工智能”一詞可以追溯到 20 世紀 50 年代，因此，該數(shù)據(jù)庫信息對應的時間，剛好處在人工智能發(fā)展的最新歷史階段。其次，該數(shù)據(jù)庫每年新增的論文，只是當時特定領域整體進展的一個局部。

不過，盡管如此，如果我們希望收集到更多的研究趨勢信息、觀察業(yè)內(nèi)正在產(chǎn)生的不同想法，arXiv 仍然不失為一個很好的來源。

機器學習使知識庫黯然失色

根據(jù)這 16625 篇論文，最大的轉變發(fā)生在 21 世紀初，以知識為基礎的系統(tǒng)開始式微，它們基于這樣一個設定：可以依據(jù)特定規(guī)則對所有人類知識進行編碼。取而代之的是，研究人員轉向研究包括深度學習在內(nèi)的機器學習算法。

在作者統(tǒng)計出來的詞匯出現(xiàn)概率中，與知識系統(tǒng)相關的詞匯，如“邏輯”、“約束”、“規(guī)則”等詞匯的跌幅最大。那些與機器學習相關的——如“數(shù)據(jù)”、“網(wǎng)絡”和“性能”——增長最快。

圖 每1000字詞頻（來源：麻省理工科技評論）

但這個巨大變化背后的原因卻很簡單。在 20 世紀 80 年代，人工智能的第一次浪潮專注于以人類知識為突破點，知識庫和專家?guī)煜到y(tǒng)的構建成為核心任務，國際上涌現(xiàn)了大量的知識系統(tǒng)工程。但隨著這些項目的展開，研究人員遇到了一個重大問題：系統(tǒng)要做任何有用的事情，需要對太多的規(guī)則進行編碼。這推高了成本，大大減緩了技術發(fā)展的預期進程。

而機器學習成為了解決這個問題的答案。這種方法不需要人們手動編碼數(shù)十萬條規(guī)則，而是讓機器自動從一堆數(shù)據(jù)中提取這些規(guī)則。就這樣，人工智能開始拋棄了知識庫系統(tǒng)，轉而將目光投向機器學習，第二次人工智能浪潮由此掀起。

神經(jīng)網(wǎng)絡走向繁榮，強化學習得到推動

不過，在當時機器學習開始受到大量關注的情況下，深度學習并沒有立刻受到熱捧。

正如作者對關鍵術語的分析所顯示的，研究人員還嘗試了除神經(jīng)網(wǎng)絡(深度學習的核心機制)之外的各種方法，其中一些技術也頗為流行，例如貝葉斯網(wǎng)絡、支持向量機和進化算法等，它們都采用不同的方法來尋找數(shù)據(jù)中的模式。

圖 提及每種方法的論文百分比，神經(jīng)網(wǎng)絡顯然取代了其他機器學習方法（來源：麻省理工科技評論）

在 20 世紀 90 年代和 21 世紀初，所有這些方法之間都保持著穩(wěn)定的競爭態(tài)勢。然后，在 2012 年，一個關鍵的突破打破了這個平衡，將其中一種方法——深度學習——帶向前所未有的高潮發(fā)展期：在一年一度的ImageNet 圖像分類競賽中，Geoffrey Hinton 和他在多倫多大學的同事們以驚人優(yōu)勢實現(xiàn)了當時的圖像識別最高準確率，團隊所使用的方法正是深度學習。

該標志性事件引發(fā)了人工智能一波新的研究浪潮——首先是在視覺研究上，然后其他領域也開始加入到這波深度學習浪潮中。隨著越來越多令人印象深刻的結果的涌現(xiàn)，深度學習（以及神經(jīng)網(wǎng)絡）的普及程度呈爆炸式增長。

分析顯示，在深度學習興起后的幾年里，人工智能研究發(fā)生了第三次也是目前最后一次變化：監(jiān)督學習、非監(jiān)督學習和強化學習受到越來越多的關注。其中，監(jiān)督學習即標注數(shù)據(jù)來訓練算法，這種方法是最常用的，也是目前為止最實用的方法。但在過去的幾年里，強化學習的風頭也很強勁，強化學習在論文摘要中被提及的次數(shù)迅速增加。這種方法旨在于 AI 學習過程是否正確執(zhí)行了指令實施正面獎勵或者負面獎勵。

這個想法并不新鮮，但幾十年來它并沒有真正奏效?！氨O(jiān)督學習的支持者會取笑強化學習的支持者”，佩德羅·多明戈斯說。

但，就像深度學習的發(fā)展遇到了 ImagNet 2012 年的成績一樣，強化學習同樣迎來了一個關鍵的歷史事件，自那以后人們對它的關注度突飛猛進。

那就是在 2015 年 10 月，經(jīng)過強化學習訓練的 DeepMind 的 AlphaGo 在古老的圍棋比賽中擊敗了歐洲圍棋冠軍、職業(yè)二段選手樊麾。那次成功對整個研究界的影響幾乎是立竿見影的。

圖 強化學習正在得到推動（來源：麻省理工科技評論）

下一個十年，兩個問號

事實上，我們認為，這一次對 arXiv 的分析只是提供了目前人工智能研究的某些趨勢的縮影，包括不同觀點之間競爭的最新消息。但這也在某種程度上說明了人類在追求智能的道路上是多么的“反復無?！薄?/p>

一個重要的線索是，在過去 25 年里，我們使用的許多人工智能技術大約同時起源于 20 世紀 50 年代，之后，各個技術隨著一個有一個十年的到來此起彼伏，例如，神經(jīng)網(wǎng)絡曾在 60 年代達到頂峰，80 年代也短暫地達到高潮，但在深度學習重新迎來春天之前，它幾乎走到了研究的邊緣地帶。

換句話說，每一個十年，本質(zhì)上是某種技術的統(tǒng)治時期：神經(jīng)網(wǎng)絡統(tǒng)治 50 年代和 60 年代，各種象征性的方法征服了 70 年代，知識庫系統(tǒng)在 80 年代走向巔峰，貝葉斯網(wǎng)絡引領 90 年代，支持向量機在 00 年代爆發(fā)，10 年代，我們再次回到神經(jīng)網(wǎng)絡。

對此，華盛頓大學計算機科學教授兼主算法作者佩德羅·多明戈斯說，“21 世紀 20 年代也不會例外”，這意味著深度學習的時代可能很快就會結束。但是，對于接下來會發(fā)生什么，已經(jīng)有兩個截然不同的走向擺在我們面前——究竟是一種舊技術會重新獲得青睞，還是 AI 領域?qū)⒂瓉硪粋€全新的范式？

“如果你能回答這個問題，”多明戈斯說，“我想為這個答案申請專利?！?/p>