研究三巨頭探討人工智能發(fā)展現(xiàn)狀和趨勢

概要：日前 AAAS 在 reddit 上組織了一場問答，F(xiàn)acebook 人工智能研究院 Yann LeCun，微軟研究院院長 Eric Horvitz，谷歌研究總監(jiān) Peter Norvig 共同出席此次活動，回答了觀眾提出的一系列問題。

日前 AAAS 在 reddit 上組織了一場問答，F(xiàn)acebook 人工智能研究院 Yann LeCun，微軟研究院院長 Eric Horvitz，谷歌研究總監(jiān) Peter Norvig 共同出席此次活動，回答了觀眾提出的一系列問題，包括如何研究更通用的人工智能，如何看待深度學習熱，AI 的下一個突破點，量子計算是否會對 AI 產(chǎn)生影響，用戶的安全隱私問題等。

Q：現(xiàn)在，為了讓 AI 在圍棋中戰(zhàn)勝人類選手，或者使用深度學習解決特定的科學任務(wù)，我們投入了很多人力物力。取得的成就雖然很棒，但 AI 能解決的問題極其有限。能否找到一種蘇格拉底式的 AI，能闡明它勝任的所有任務(wù)背后的原理。目前不將上百萬種特定的 AI 組合在一起，你沒法構(gòu)建一個通用的 AI 系統(tǒng)。如何將只能解決特定問題的人工智能轉(zhuǎn)為更通用的人工智能？

Yann LeCun：在我看來，讓機器通過觀察來學習預(yù)測模型是 AGI（通用人工智能）的最大障礙。這并不是唯一方法。人類嬰兒和許多動物似乎通過觀察世界、與其交互得到一種常識 (與我們的 RL 系統(tǒng)相比，需要的交互非常少)。我的直覺是，大腦中很大一部分相當于預(yù)測機器，它訓練自己去預(yù)測它所能預(yù)測的一切 (從觀測中預(yù)測出未觀測到的變量，例如通過過去和現(xiàn)在預(yù)測未來)。

可以用預(yù)測模型計劃和學習新的任務(wù)，這一過程中只需與世界進行極少的交互。目前的「無模型」RL 系統(tǒng)，像 AlphaGo Zero，需要與「世界」進行大量的交互來學習 (盡管他們確實學得很好)。這種系統(tǒng)在圍棋和象棋上都做得很好，因為這里的「世界」很簡單，是確定的，而且可以在多個電腦上同時高速運行。與這種「世界」進行互動是可行的，成本極低。但這在現(xiàn)實世界中行不通，你不可能為了讓系統(tǒng)只是學會不在懸崖邊開車，而讓它在懸崖邊開無數(shù)次車。大腦中的模型告訴我們，在懸崖邊開車是個壞主意。我們只需要一次就知道這個道理了。而如何讓機器來學習這樣的模型?

Eric Horvitz：是的，可以這樣形容最近一系列取得勝利的 AI 系統(tǒng)——聰明而又片面的「學者」。人類智力背后存在著無數(shù)的未解之謎，我們并沒有取得多大進展。包括「人工智能」，其背后也存在一系列亟待解決的問題。這些問題中，包括人們?nèi)绾卧陂_放的世界中以一種「無監(jiān)督」的方式學習，人類「常識」背后的機制和原理，以及人類是如何輕松將事情進行歸納總結(jié)的。

目前有幾個研究方向可以回答這些挑戰(zhàn)，其中包括不斷推動在特定領(lǐng)域和某些應(yīng)用領(lǐng)域的研究，那里一定會出現(xiàn)突破。然而，我認為我們需要追求更通用的人工智能。

方法之一是采用綜合人工智能：我們是否能將多種能力 (如語音識別、自然語言、視覺、規(guī)劃和推理) 整合起來，探究整合過程中的需要解決的難題。

另一種方法是不斷推動 DNNs 這種核心方法的發(fā)展，并追求更通用的解決問題的方法。我認為這一領(lǐng)域的突破很難實現(xiàn)，但將非常有價值。

下面這篇文章是關(guān)于通用 AI 框架的一些有意思的發(fā)展方向：

Q：目前，很多關(guān)于機器學習的研究都轉(zhuǎn)向了深度學習。

（1）這會減少機器學習研究的多樣性嗎？

（2）為了支持深度學習研究，其他的范式如概率圖模型、支持向量機等的研究會被拋棄嗎？正如 90 世紀的深度學習一樣，也許現(xiàn)在這些表現(xiàn)不好的模型在未來會表現(xiàn)得很好。

Yann LeCun：隨著我們在 AI 上取得進步，我的感覺是深度學習只是解決方案的一部分。在復雜的（可能是動態(tài)的）圖形中集成參數(shù)化模塊并從數(shù)據(jù)中優(yōu)化參數(shù)的想法并沒有過時。從這個意義上說，只要我們還沒有找到不需要使用梯度來優(yōu)化參數(shù)的好辦法，深層學習就不會消失。也就是說，正如我們今天所知道的那樣，深度不足以構(gòu)成「完整」的人工智能。我一直喜歡說定義動態(tài)深層結(jié)構(gòu)的能力（即按照程序定義計算圖，其結(jié)構(gòu)隨著新的輸入而改變）的能力可以將深度學習推廣為可微編程方法。

但事實上，我們至少遺漏了兩件事：（1）可以推理的機器，而不僅僅是感知和分類，（2）機器可以通過觀察世界來學習，而不需要人類策劃的訓練數(shù)據(jù)，不需要與世界進行太多次交互。有些人稱之為無監(jiān)督學習，但這個短語太模糊了。

我們需要機器學習的一種方式是學習人類的嬰兒和動物：他們主要通過觀察來建立世界模型，并且有非常少量的交互作用。這是下一個十年的挑戰(zhàn)。

至于問題（2）深度學習和圖形模型之間沒有對立。你可以這樣使用圖形模型，比如因子圖，其中的因子是整個神經(jīng)網(wǎng)絡(luò)。這些是正交概念。人們曾經(jīng)在深度學習框架的基礎(chǔ)上建立了概率規(guī)劃框架。例如 Uber 的 Pyro，它是通過 PyTorch 建立的（概率編程可以看作圖形模型的推廣、類似可微編程是深度學習的泛化推廣）。事實證明，在圖模型中使用反向傳播進行推理是非常有用的。當數(shù)據(jù)匱乏并且可以手動特征化時，SVM、核方法、樹模型等更好用。

Eric Horvitz：人們對于深度神經(jīng)網(wǎng)絡(luò)在預(yù)測任務(wù)和分類的能力感到很興奮。將其應(yīng)用于對象識別、語音識別、翻譯（結(jié)合強化學習思想）等的準確率不斷提高。然而，AI 是一個寬廣的領(lǐng)域，有著大量有前途的分支學科——并且 AI 的機器學習分支也還有著大量的分支。

我們需要繼續(xù)開發(fā)有潛力的 AI 技術(shù)，包括概率圖模型、決策理論分析、邏輯推理、規(guī)劃、算法博弈論、元推理和控制論等已有的豐富成果。我們還需要將領(lǐng)域進行擴展，例如將有限理性模型推廣到開放世界中研究智能體。

在微軟研究室，我們在 DNNs 上付出了不少努力，投資更廣泛的 AI 項目。我們也對如何結(jié)合邏輯推理、DNNs 和其他的機器學習感興趣。例如，你可以看看我們用 DNNs+邏輯來自動編程的例子。

Q：你認為深度深度學習只是一時的潮流，還是長期的趨勢？雖然我了解到基于深層學習的模型使得計算機視覺和 NLP 方面有了巨大的改進。你認為深度學習是解決視覺和 NLP 問題的模式嗎？或者，不久就會有新的范式出現(xiàn)？

Peter Norvig：我認為「深度學習」這個品牌已經(jīng)創(chuàng)造了很大的價值，因此不管基礎(chǔ)技術(shù)有多大變化，它還會維持很長一段時間。即使 CNNs 和 Relus 興起，我認為「深度學習」這個名字還將持續(xù)。

至于基本概念或方法，我認為我們在模式匹配問題上做得很好，但在關(guān)系推理和規(guī)劃方面做得并不好。我們可以做一些抽象的形式，所以我們需要大量的新思想。

Q：我想知道是否有人試圖設(shè)計一種模仿情感的獎勵系統(tǒng)。我相信人工智能系統(tǒng)必須與世界有某種聯(lián)系，「情感」是真正把我們與環(huán)境結(jié)合在一起的粘合劑。我正在想象 AI 通過完成一項任務(wù)能達到的某種狀態(tài)。例如，我們有可以打敗國際象棋大師的計算機，但我們能擁有想要贏的計算機嗎？一個想法可能是分割數(shù)據(jù)，如果完成了一個任務(wù)，就會打開一個分區(qū)。所有的生命形式都通過一種獎勵制度進化。

Peter Norvig：事實上，阿爾法狗等系統(tǒng)在圍棋對弈以及其他游戲中取得的成果，主要來源于：一個系統(tǒng)的獎勵，我們稱之為「強化學習」。Alpha Zero 只從輸?shù)粢槐P游戲或者贏得一盤游戲中獲益，沒有任何預(yù)先的專家知識，有的只是游戲的規(guī)則和「嘗試更多能獲得積極獎勵的行為，更少獲得消極反饋的行為」。所以，從某種意義上說，Alpha Zero 唯一「想要」的是贏。在另一個意義上說，它不想任何東西，它沒有感受或好或壞的事情的感覺，它只是想從計算上獲得最大的比分。

Q：很多傳統(tǒng)統(tǒng)計模型的價值在于：我們能清楚地知道模型在做什么，它們是如何得出結(jié)論的，在推斷/預(yù)測時的不確定因素。深度學習的方法在預(yù)測方面也很不錯，但它們往往是「黑箱子」。對于 ANNs 等模型的內(nèi)部機制，我們有哪些了解？了解模型的內(nèi)部機制是否重要？我認為在做重大決策（例如自動駕駛、臨床決策）時，了解模型的內(nèi)部機制極其重要。

Peter Norvig：這是當前研究的一個重要領(lǐng)域。你可以從 Big Picture blog 或 Chris Olah 的博客中看到谷歌是如何來進行這一研究的。我認為理解上的困難更多的是來自于問題本身，而不是解決方案。當然，二維線性回歸極易理解，但它不適用于非良好線性模型問題。同樣地，隨機森林或者標準的 Python/Java 代碼中「if/then」規(guī)則很容易理解，但是如果這些規(guī)則真的是一目了然的話，代碼中就不會有 bug 了。

我想說的不僅僅是「理解」，還有「可信度」。我們什么時候可以信任一個系統(tǒng)？特別是當系統(tǒng)做出重大決策的時候。有很多方面：

是否可以理解代碼/模型；

模型是否長期在很多案例上得到過驗證；

是否能確信世界沒有發(fā)生變化，將我們帶入模型從未見過的狀態(tài)；

模型能否抵抗對抗性攻擊；

模型能否抵抗 degradation 測試，即故意削弱模型的一部分，看其他部分如何工作；

過去是否有成功的相似技術(shù)；

模型是否被持續(xù)監(jiān)控、驗證和更新；

模型外部采取了哪些檢查措施？有其他系統(tǒng)檢查輸入和輸出系統(tǒng)嗎；

采取什么語言與系統(tǒng)通信？能問系統(tǒng)正在做什么嗎；

我能給它一些建議嗎？如果它出錯了，我只能給它成千上萬個新的訓練案例嗎？是否可以直接對它說：「不，你得出的 X 是錯誤的，因為你忽略了 Y?！?/p>

……

這是一個很偉大的研究領(lǐng)域，希望未來看到更多的工作。

Q：你認為 Capsule 網(wǎng)絡(luò)怎么樣？除了 MultiMNIST，你們在其他數(shù)據(jù)集上有成功應(yīng)用過它嗎？當輸入更多數(shù)據(jù)時，CNN 和它相比如何？

Yann LeCun：將膠囊網(wǎng)絡(luò)應(yīng)用于大規(guī)模的數(shù)據(jù)集是個不錯的想法，Geoff Hinton 已經(jīng)思考了幾十年。他一直在尋找將其成功用于 MNIST 上的方法，如果想要將其成功用于 ImageNet 或其他數(shù)據(jù)集上，也需要花費很多的精力。此外，也不知道其在性能上是否存在優(yōu)勢。膠囊網(wǎng)絡(luò)可以看成是一種具備特殊池化方式的卷積網(wǎng)絡(luò)。

Q：你們在研究 AI 時發(fā)現(xiàn)最嚇人的事情是什么？

Yann LeCun:這項研究沒有什么可怕的（與一些小報有時聲稱的相反）。

可怕的事情只發(fā)生在人們試圖過早地部署 AI 系統(tǒng)時。特斯拉自動駕駛儀功能超酷，但是，作為一個司機，你必須理解它的局限性，以便安全地使用它（它使用的是卷積網(wǎng)?。?。

Eric Horvitz:對于如何在安全關(guān)鍵領(lǐng)域部署人工智能，我們有一些自己的理解——例如，當機器和人員協(xié)同工作時，我們努力實現(xiàn)「人工智能協(xié)作」。

我們在 AAAS 會議上有討論這個話題：

https://aaas.confex.com/aaas/2018/meetingapp.cgi/session/17970

Q：當人工智能機器人能夠比任何一個團隊更好地預(yù)測/引起市場波動，然后以閃電般的方式買賣股票、產(chǎn)品、土地等，會發(fā)生什么？我們能采取什么樣的保障措施來防止 AI 的一些先驅(qū)者稱霸世界市場？

Peter Norvig：多年來，有大量交易者將先進的統(tǒng)計模型運用到股票市場，取得了不錯的成果。無論你有多聰明，你始終不知道還有多少空間，能讓你把事情做的更好。就我個人而言，我認為我們應(yīng)該提前幾年就采取行動，通過控制交易的速度/或在交易上施加更高的成本，來抑制定量交易的效果。比我更了解交易的人或許有更好的保障辦法，但我不認為 AI 從根本上改變了規(guī)則。

Yann LeCun：你越能準確地預(yù)測的市場，你就使得市場越難預(yù)測。完全有效的市場是完全不可預(yù)測的。因此，如果市場完全由一系列完美的（或準完美的）自動交易系統(tǒng)組成，每個人都會得到完全相同的回報（這與市場指數(shù)的表現(xiàn)相同）。

Q：量子計算的進步驅(qū)動了 AI 研究嗎？如何看待二者在未來的融合？

Peter Norvig：目前我想做的很多事情量子計算都幫不上忙。我經(jīng)常想要通過一個相對簡單的算法來處理海量文本，而量子計算對此并無幫助。不過，量子計算可能有助于更高效地搜索深度網(wǎng)絡(luò)的參數(shù)空間。我不知道是否有人做出了這樣的量子算法，不需要考慮如何用硬件來實現(xiàn)，如果在理論上可行也可能會有所幫助。

Yann LeCun：驅(qū)動？當然不是，量子計算對于 AI 的影響如何，說實話，我目前還不清楚。我認為，它在短期內(nèi)不可能對 AI 產(chǎn)生影響。

Q：許多人在使用搜索引擎和 Siri，Google Home 等語音助手時都會擔心隱私泄露。當 AI 成為我們生活中密不可分的一部分時，有什么措施可以使得用戶在使用 AI 的同時保護其行為數(shù)據(jù)？

Eric Horvitz：我能理解這種擔心，我們公司的員工對于終端用戶數(shù)據(jù)采取了嚴格的匿名措施，數(shù)據(jù)短暫停留后就會被刪除，并且為用戶提供了多種方法來觀察，控制和刪除數(shù)據(jù)。我相信 Google 和 Facebook 也采用了同樣嚴格的方法，對此我沒有什么不滿。

隨著歐盟發(fā)布的「一般數(shù)據(jù)保護條例」(GDPR) 開始實施，對于用戶數(shù)據(jù)的把控會越來越嚴格。在保護用戶隱私方面的努力讓人覺得很棒，例如私下訓練 AI 系統(tǒng)和為用戶提供更多選擇。在幾年前 IAPP 的會議上曾討論過后者的解決方案，可以在這里查看：http://erichorvitz.com/IAPP_Eric_Horvitz.pdf

Q：這些發(fā)展 AI 的公司（特別是 Facebook）背后的動機是什么呢？在我看來用戶并不像 AI 公司那樣關(guān)心 AI。一些公司借助 AI 來手機用戶數(shù)據(jù)來盈利，更是激化了用戶與公司之間的矛盾。如何讓像我這樣的用戶相信這些產(chǎn)品不是打著 AI 的旗號，實際上是為了收集用戶數(shù)據(jù)？

Peter Norvig：你提到了數(shù)字助手，我認為這個技術(shù)明顯是站在用戶一邊的，你的數(shù)字助理將是你的——你可以訓練它去做你想做的事情；在某些情況下，它只會在你的設(shè)備上運行你的私人數(shù)據(jù)，沒有其他人可以訪問它的內(nèi)部工作。它將作為你的代理人，你不用直接去一家大公司的網(wǎng)站，希望他們能提供給你有用的東西，而你的代理人會整理這些產(chǎn)品，確保你得到你想要的東西。

Yann LeCun：這對于我們科學家來說不成問題。真正的問題是「你信任你的數(shù)據(jù)嗎？」你相信你的手機公司，你的 ISP，你的手機/操作系統(tǒng)制造商，你最喜歡的搜索或社交網(wǎng)絡(luò)服務(wù)，你的信用卡公司，你的銀行，你使用的每一個移動應(yīng)用程序的開發(fā)者嗎？看看它們的數(shù)據(jù)政策，選擇你可以信任的產(chǎn)品，確認他們不向第三方銷售（或泄露）你的數(shù)據(jù)。在數(shù)據(jù)上遵從倫理并不會帶給公司利益沖突，因為從長遠來看，遵從數(shù)據(jù)倫理是唯一的好政策。

Eric Horvitz：我同意彼得的觀點。在構(gòu)建個人代理方面，存在著一些有趣的可能性，這些代理只根據(jù)他們所服務(wù)的人的偏好共享數(shù)據(jù)，并且這些代理只會根據(jù)所有者的指令行事。這是一個不錯的研究領(lǐng)域。

Q： 我是本科新生，幾年前我就想在 AI 領(lǐng)域工作，但是除了我的教授們我沒有任何的資源。我的學校很小，要參加招聘會都得去別的城市，我如何能與 AI 領(lǐng)域產(chǎn)生更多的聯(lián)系呢？

Peter Norvig：我建議你自己通過課程或討論論壇在線交友繼續(xù)學習。明顯地，要憑借小學校的項目，找到 AI 方面的工作很難。但是，你可以在一家大公司獲得軟件工程師的職位，一旦你到了那里，表達你對 AI 的興趣，在工作中學習，密切關(guān)注你所能從事的與 AI 相關(guān)的項目，并且很有可能在更短的時間內(nèi)取得博士學位，你將成為公司中一個公認的人工智能專家。

Q：我是一名學習核工程/等離子體物理學研究生，正計劃轉(zhuǎn)向 AI 研究。

關(guān)于 AI 領(lǐng)域：AI 研究的下一個里程碑會是什么？目前需要攻克哪些挑戰(zhàn)來達到這些里程碑？

關(guān)于專業(yè)技能：我需要具備哪些關(guān)鍵技能/知識？剛?cè)腴T的人該如何學習？

Yann LeCun：深度無監(jiān)督學習、可以進行推理的深度學習系統(tǒng)是下一個里程碑。無監(jiān)督學習需要面臨的挑戰(zhàn)：學習世界的層次化表征，以理解變化的解釋因素。如何在不完全可預(yù)測的世界中進行預(yù)測，這是機器需要學習的。關(guān)鍵技能：良好掌握數(shù)學（線性代數(shù)、多變量微積分、概率統(tǒng)計、優(yōu)化學等）、熟練的編程技能、科學方法論?？偟膩碚f，創(chuàng)造力和知覺也很重要。

Peter Norvig：我對能真正理解人類語言、能進行實際對話的助理很感興趣，這將是很重要的里程碑事件。其中挑戰(zhàn)是結(jié)合抽象推理和規(guī)劃將模式匹配，目前我們只能在非常形式化的領(lǐng)域，如圍棋中才能做的很好，而在現(xiàn)實世界中還遠遠不夠。

作為物理學家是你的一大優(yōu)勢，你的數(shù)學背景、實驗、建模和處理不確定性、誤差的思維很適合學習 AI。我見到過很多物理學家在 AI 領(lǐng)域做得不錯。