基于深度學(xué)習(xí)對在2018年的10個預(yù)測解析

我有一種預(yù)感：2018年，所有的事情都會發(fā)生巨變。我們在2017年看到的深度學(xué)習(xí)取得的驚人突破將會以一種強大的方式延續(xù)到2018年。2017年在深度學(xué)習(xí)領(lǐng)域的研究成果將會應(yīng)用于日常的軟件應(yīng)用中。

下面是我對2018年深度學(xué)習(xí)的10個預(yù)測：

1

大部分深度學(xué)習(xí)領(lǐng)域的硬件創(chuàng)業(yè)公司都將失敗

很多深度學(xué)習(xí)硬件創(chuàng)業(yè)公司將在2018年開始交付他們的硅產(chǎn)品（深度學(xué)習(xí)硬件的核心部件是由晶體硅構(gòu)成）。其中的大部分公司都將破產(chǎn)，因為他們忘了交付好的軟件來支持他們的新解決方案。這些創(chuàng)業(yè)公司的DNA是硬件。不幸的是，在深度學(xué)習(xí)領(lǐng)域，軟件與硬件同樣重要。這些初創(chuàng)公司大多不懂軟件，也不懂得開發(fā)軟件的成本。這些公司可能會交付硅產(chǎn)品，但是沒有任何東西能在這些產(chǎn)品上運行。

研究人員將開始使用這些張量計算核心，不僅用于推理，還會用于加速訓(xùn)練。英特爾的解決方案將繼續(xù)被推遲，很可能會讓人失望。記錄顯示，英特爾無法在2017年年中實現(xiàn)這一計劃，而且所有人都不知道該公司何時會發(fā)布這一消息。Google將繼續(xù)用機器學(xué)習(xí)芯片TPU來給世界帶來驚喜。也許GOogle通過將其IP授權(quán)給其他半導(dǎo)體廠商來進(jìn)入硬件行業(yè)。如果它能繼續(xù)成為除英偉達(dá)以外唯一的真正玩家，它這么做是有意義的。

2

元學(xué)習(xí)將會成為新的SGD

2017年，在元學(xué)習(xí)領(lǐng)域出現(xiàn)了很多有分量的研究成果。隨著研究群體對元學(xué)習(xí)有更好的理解，舊的隨機梯度下降法(SGD)將會被擱置，取而代之的是一種結(jié)合了開發(fā)和探索性的搜索方法的更有效的方法。無監(jiān)督學(xué)習(xí)的進(jìn)展將會出現(xiàn)遞增，但它主要是由元學(xué)習(xí)算法驅(qū)動的。

3

生成模型驅(qū)動一種新的建模方式

關(guān)于生成模型的科學(xué)研究將會越來越多。目前，大多數(shù)研究都是在生成圖像和語音領(lǐng)域開展的。但是，我們會發(fā)現(xiàn)這些方法將被集成到用于建模復(fù)雜系統(tǒng)的工具中，其中就包括深度學(xué)習(xí)在經(jīng)濟建模里的應(yīng)用。

4

自我博弈學(xué)習(xí)是自動化的知識創(chuàng)造

AlphaGo Zero和AlphaZero是從零開始通過自我博弈學(xué)習(xí)是一次巨大的飛躍。在我看來，它的影響與深度學(xué)習(xí)的出現(xiàn)帶來的影響是同等重要的。深度學(xué)習(xí)發(fā)現(xiàn)了通用的函數(shù)逼近器，強化式自我博弈學(xué)習(xí)發(fā)現(xiàn)了通用的知識創(chuàng)造方式。我期待看到更多與自我博弈學(xué)習(xí)相關(guān)的進(jìn)展。

5

直覺機器將縮小語義鴻鴻溝

這是我做的一個最雄心勃勃的預(yù)測。我們將會縮小直覺機器和理性機器之間的語義鴻溝。雙重過程理論（Dual process theory）（兩種認(rèn)知機器的概念，一種是無模型的，另一種是基于模型的）將會成為關(guān)于我們應(yīng)該如何構(gòu)建新的人工智能的更普遍的概念。在2018年，人工直覺的概念將不再是一個邊緣概念，而是一個被普遍接受的概念。

6

解釋能力是無法實現(xiàn)的——我們必須偽造它

解釋能力存在兩個問題。其中比較常見的一個問題是，這些解釋有太多的規(guī)則，人們通常無法完全掌握。第二個問題就不那么常見了，那就是機器會創(chuàng)造出一些完全陌生的、無法解釋的概念。我們已經(jīng)在AlphaGo Zero和Alpha Zero的策略中看到了這一點。人類會發(fā)現(xiàn)它們下棋時走的有些棋是違反常規(guī)的，但可能僅僅是因為人類沒有能力去理解它走這一步棋背后的邏輯。

在我看來，這是一個無法解決的問題。取而代之的是，機器將變得非常善于“偽造解釋”。簡而言之，可解釋機器的目的是理解讓人類感到舒服的解釋或者在人類直覺層面上能夠理解的解釋。然而，在大多數(shù)情況下，人類無法獲得完整的解釋。

我們需要通過創(chuàng)造虛假解釋來在深度學(xué)習(xí)中取得進(jìn)展。

7

深度學(xué)習(xí)領(lǐng)域的研究成果會成倍增加

2017年，人們已經(jīng)很難掌握全部的深度學(xué)習(xí)研究成果了。在2018年ICLR 大會上提交的論文數(shù)量約為4000份。為了趕上會議時間，一位研究人員每天必須要閱讀10篇論文。

這個領(lǐng)域的問題還在進(jìn)一步惡化，因為理論框架都在不斷變化中。為了在理論領(lǐng)域取得進(jìn)展，我們需要尋找能夠讓我們擁有更好的洞察力的更先進(jìn)的數(shù)學(xué)運算方法。這將是一個艱難的過程，因為大多數(shù)深度學(xué)習(xí)領(lǐng)域的研究人員都沒有相應(yīng)的數(shù)學(xué)背景來理解這些系統(tǒng)的復(fù)雜性。深度學(xué)習(xí)需要來自復(fù)雜性理論的研究人員，但這類研究人員是少之又少的。

由于研究論文太多和理論的欠缺，我們現(xiàn)在處在一種非常尷尬的境地。同樣缺失的是通用人工智能（artificial general intelligence）的一般路線圖。因為理論很薄弱，我們能做的最好的事情就是創(chuàng)建一個與人類認(rèn)知相關(guān)的里程碑路線圖。我們只有一個來源于認(rèn)知心理學(xué)的推測理論的框架。這是一個糟糕的情況，因為來自這些領(lǐng)域的經(jīng)驗證據(jù)是參差不齊的。

在2018年，深度學(xué)習(xí)方面的研究論文可能會增加三到四倍。

8

工業(yè)化是通過教學(xué)環(huán)境實現(xiàn)的

通往可預(yù)測性和可控制性更強的的深度學(xué)習(xí)系統(tǒng)的發(fā)展之路是通過具體的教學(xué)環(huán)境的發(fā)展來實現(xiàn)的。如果你想找到最原始的教學(xué)方法，你只需要看看深度學(xué)習(xí)網(wǎng)絡(luò)是如何訓(xùn)練的就行。我們將在這個領(lǐng)域看到更多的進(jìn)展。

預(yù)計會有更多的公司披露他們的內(nèi)部基礎(chǔ)設(shè)施，解釋他們是如何大規(guī)模地部署深度學(xué)習(xí)的。

9

會話認(rèn)知的出現(xiàn)

我們衡量通用人工智能（AGI）進(jìn)展的方式已經(jīng)過時了。需要有一種新的模式來解決現(xiàn)實世界的動態(tài)（即非平穩(wěn)）復(fù)雜性。我們在2018年將能看到更多關(guān)于這個全新領(lǐng)域的報道。

10

我們需要人工智能應(yīng)用于道德領(lǐng)域

對人工智能更多地應(yīng)用于道德領(lǐng)域的需求將會增加?，F(xiàn)在，人們越來越意識到自動化失控造成的意想不到后果所帶來的災(zāi)難性影響。我們今天在Facebook、Twitter、谷歌、亞馬遜等網(wǎng)站上發(fā)現(xiàn)的簡單的自動化可能會對社會產(chǎn)生副作用。

我們需要理解部署能夠預(yù)測人類行為的機器的倫理道德。面部識別是我們擁有的最危險的能力之一。作為一個社會，我們需要要求自己只為了社會的整體利益而使用人工智能，而不是將人工智能作為增加不平等的武器。

在接下來的一年里，我們將會看到更多關(guān)于道德的討論。然而，不要期望會有新的規(guī)定出臺。在理解人工智能對社會的影響方面，政策制定者往往是落后好幾年的。我不期望他們停止玩弄政治、去開始解決真正的社會問題。美國人民已經(jīng)成為眾多安全漏洞的受害者，但我們沒有看到政府通過新的立法或采取什么行動來解決這個嚴(yán)重的問題。所以我們自己也不要盲目樂觀期待。