科研工作者在漫漫寒夜中無(wú)畏的堅(jiān)守中，終于取得了重大的突破

科學(xué)研究需要靈感和激情，但偉大成果的誕生往往伴隨著科研工作者在漫漫寒夜中無(wú)畏的堅(jiān)守！

近日，萊斯大學(xué)教授 Moshe Vardi 發(fā)表在 ACM 計(jì)算機(jī)期刊《Communications of the ACM》上的一篇文章引起了極大的關(guān)注，他表示「要將研究視為一場(chǎng)漫長(zhǎng)的旅程，才能取得重大的突破。」2018 圖靈獎(jiǎng)得主 Yann LeCun 評(píng)論稱：「Moshe Vardi 以神經(jīng)網(wǎng)絡(luò)歷史興衰為例，告訴我們，研究是一場(chǎng)持久戰(zhàn)…」

位于美國(guó)加利福尼亞州帕羅奧多的未來研究所（IFTF，Institute for Future）是一個(gè)智庫(kù)，建立于 1968 年，是蘭德（RAND）公司的分支機(jī)構(gòu)，旨在幫助企業(yè)對(duì)長(zhǎng)遠(yuǎn)的未來進(jìn)行規(guī)劃。

曾于 1971 到 1990 年間任 IFTF 總裁的 Roy Amara 在 2007 年過世，他因提出了關(guān)于技術(shù)的影響的 Amara 定律而聞名：「人們總是高估一項(xiàng)技術(shù)所帶來的短期效益，卻低估了它的長(zhǎng)期影響」。Gartner 技術(shù)成熟度曲線就是最好的例證，該曲線的特點(diǎn)是在「期望膨脹期」后，會(huì)緊跟一個(gè)「泡沫化的底谷期」，然后是「穩(wěn)步爬升的光明期」，最后則是「實(shí)質(zhì)生產(chǎn)的高峰期」。

當(dāng)我聽說 Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun 因「在概念和工程上取得的突破，使深度神經(jīng)網(wǎng)絡(luò)成為計(jì)算的重要組成部分」而獲得 2018 年的圖靈獎(jiǎng)時(shí)，我又想起了 Amara 定律。

這條消息一點(diǎn)都不令人驚訝。畢竟，在過去十年間，再也沒有其它計(jì)算技術(shù)具有如此引人矚目的表現(xiàn)和影響。一如圖靈獎(jiǎng)公告所說：「近年來，深度學(xué)習(xí)方法一直是計(jì)算機(jī)視覺、語(yǔ)音識(shí)別、自然語(yǔ)言處理和機(jī)器人技術(shù)等領(lǐng)域取得驚人突破的重要原因」。

但為了在恰當(dāng)?shù)臍v史背景下討論他們的貢獻(xiàn)，還是要回顧一下神經(jīng)網(wǎng)絡(luò)的悠久歷史。

1943 年，神經(jīng)生理學(xué)家 Warren McCulloch 和年輕的數(shù)學(xué)家 Walter Pitts 寫了一篇關(guān)于大腦神經(jīng)元如何工作的文章。他們用電路模擬了一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)。

1958 年，康奈爾的一名神經(jīng)生物學(xué)家 Frank Rosenblatt 發(fā)明了感知機(jī)——它是只有一層的神經(jīng)網(wǎng)絡(luò)?！都~約時(shí)報(bào)》將感知機(jī)稱為「可以行走、說話、看、寫、自我再生，并能意識(shí)到自己的存在的電子計(jì)算機(jī)雛形。」不幸的是，在 Marvin Minskey 和 Seymour Papert 于 1969 年撰寫的《感知機(jī)》一書中，證明了感知機(jī)存在很大的局限性。

「期望膨脹期」之后將緊跟著「泡沫化的底谷期」。此時(shí)，「人工智能的第一個(gè)寒冬」出現(xiàn)了，這從人工智能的研究經(jīng)費(fèi)不斷減少就能體現(xiàn)出來，這樣的狀況一直持續(xù)到 20 世紀(jì) 80 年代初。

1982 年，加州理工的 John Hopfield 發(fā)表了一篇論文，其重點(diǎn)不是模擬大腦，而是要?jiǎng)?chuàng)造出有用的設(shè)備。他通過數(shù)學(xué)方法，清晰地向人們展示了這樣的網(wǎng)絡(luò)是如何工作的，以及這樣的網(wǎng)絡(luò)可以做些什么。

大約同一時(shí)間，日本東京舉辦了「合作/競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)美日聯(lián)合會(huì)議」。日本隨后宣布了第五代（the Fifth Generation）計(jì)算機(jī)計(jì)劃。美國(guó)的期刊刊登了這篇報(bào)道，人們開始擔(dān)心美國(guó)會(huì)落后。很快，資金再一次流入。

1987 年，神經(jīng)信息處理系統(tǒng)年會(huì)（NeurIPS）成功舉辦。但新的膨脹期后依然會(huì)跟隨著底谷期。

就像圖靈獎(jiǎng)的公告中所說：「到 21 世紀(jì)初，LeCun、Hinton 和 Bengio 是仍然堅(jiān)持研究這種方法的小部分人中的一員」。事實(shí)上，他們?cè)谥厝既斯ぶ悄苌鐓^(qū)對(duì)神經(jīng)網(wǎng)絡(luò)興趣方面所做出的努力，在一開始是遭到質(zhì)疑的。這段底谷期導(dǎo)致「人工智能的第二個(gè)寒冬」到來，這一直持續(xù)到了 20 世紀(jì) 90 年代。

直到本世紀(jì)初，人們將改進(jìn)的算法、硬件（GPU）和大數(shù)據(jù)集（ImageNet 有超過 1，400 萬(wàn)張有標(biāo)簽的圖像）組合在一起，取得了令人印象深刻的重大突破，而且無(wú)論是從效率角度還是從速度角度來講，深度（有許多層的）神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺方面都有著顯著的優(yōu)勢(shì)。

Hinton 和他同事的想法帶來了重大的技術(shù)進(jìn)步，他們的方法現(xiàn)在已經(jīng)成為該領(lǐng)域的主要范式，并因此獲得了 2018 年的圖靈獎(jiǎng)。

這個(gè)故事告訴我們，研究是一場(chǎng)持久戰(zhàn)，在該過程中，耐心和耐力是必要的組成部分。

但我還記得 20 世紀(jì) 90 年代早期，在一個(gè)工業(yè)研究實(shí)驗(yàn)室中曾舉辦過一個(gè)研究評(píng)估會(huì)議，會(huì)議上有人所做的數(shù)據(jù)挖掘的開創(chuàng)性工作并沒有得到認(rèn)可，因?yàn)椤高@一項(xiàng)工作已經(jīng)做了兩年了，但他竟然還不清楚這項(xiàng)工作未來將會(huì)走向何方」。我和普林斯頓大學(xué)高級(jí)研究所的創(chuàng)始人 Abraham Flexner 擔(dān)心的是同一件事，在 1939 年出版的《無(wú)用知識(shí)的有用性》一書中，F(xiàn)lexner 討論了為了支持所謂實(shí)用主義而放棄純粹的好奇心的危險(xiǎn)傾向。

沒有一個(gè)簡(jiǎn)公式可以簡(jiǎn)單地概括成功研究背后的規(guī)律。有時(shí)，在短期內(nèi)關(guān)注一些眼前的問題是可以的，但大多數(shù)時(shí)候，要將研究視為一場(chǎng)漫長(zhǎng)的旅程，才能取得重大的突破。