先天結(jié)構(gòu)或是人工智能發(fā)展的下一個方向

人工智能從神經(jīng)科學領(lǐng)域吸收了大量養(yǎng)分，并由此催生了深度學習和強化學習等智能處理方法。以色列魏茨曼科學研究學院計算機科學系教授 Shimon Ullman 相信神經(jīng)科學還能為人工智能發(fā)展提供進一步的助力，比如先天結(jié)構(gòu)的采用也許能為人工智能帶來高效且靈活的學習能力。Ullman 教授這篇觀點文章發(fā)表在最新一期 Science 雜志上。

數(shù)學家阿蘭·圖靈 1950 年的開創(chuàng)性論文引領(lǐng)了人類對人工智能（AI）的探索，他在這篇論文中提出了一個問題：「機器能否思考？」，那時候唯一已知的能夠進行復(fù)雜計算的系統(tǒng)是生物神經(jīng)系統(tǒng)。因此，毫不奇怪那時候這個新興的 AI 領(lǐng)域的科學家都將大腦回路作為引導(dǎo)。

其中一條道路是通過類腦回路執(zhí)行智能計算，這個方向的早期嘗試近來已經(jīng)創(chuàng)造出了巨大的成功，并可被描述成一種用于建模皮層回路的高度還原論（reductionist）的方法。

其當前的基本形式被稱為「深度網(wǎng)絡(luò)」架構(gòu)，這種腦啟發(fā)模型是通過類神經(jīng)元件組成的連續(xù)層構(gòu)成的；這些元件按照生物學中類似作用的組件而被稱為「突觸」，它們通過可調(diào)節(jié)的權(quán)重相連。

深度網(wǎng)絡(luò)和相關(guān)方法在 AI 系統(tǒng)中的應(yīng)用已經(jīng)帶來了變革。研究證明它們在 AI 研究的核心領(lǐng)域優(yōu)于之前已知的方法，包括計算機視覺、語音識別和生成、玩復(fù)雜的游戲。它們也已經(jīng)取得了廣泛的實際應(yīng)用，涉及很多領(lǐng)域，包括計算機視覺、語音和文本翻譯，其它還有很多領(lǐng)域也存在大規(guī)模的努力。

我將在這里討論大腦回路中的其它方面將可能如何引導(dǎo)網(wǎng)絡(luò)模型的發(fā)展，從而讓我們了解認知和通用人工智能的更多方面。

差 異

深度網(wǎng)絡(luò)的核心問題是學習（learning），這是對突觸的調(diào)整，從而得到針對其輸入模式的期望輸出。這樣的調(diào)整是基于訓練樣本集自動執(zhí)行的，而訓練樣本集中包含輸入模式以及配套的期望輸出。然后，學習過程通過調(diào)整權(quán)重得到訓練輸入模式的期望輸出。成功的學習會讓網(wǎng)絡(luò)超越記憶訓練樣本的情況，而且使其能夠泛化，為學習過程中從沒見過的新輸入模式提供正確的輸出。

研究者將深度網(wǎng)絡(luò)模型與實際得到的生理學、功能性磁共振成像和行為數(shù)據(jù)進行了比較，結(jié)果表明大腦與這類新模型之間存在一些有趣的相似性，但同時也存在一些不相似的地方（見圖）。對比靈長類動物的視覺系統(tǒng)，生理學響應(yīng)與模型響應(yīng)在神經(jīng)元響應(yīng)過程的早期階段比后期階段更為近似，這說明深度網(wǎng)絡(luò)模型也許能更好地體現(xiàn)早期的處理過程，而不是后期的更涉及認知的過程。

大腦回路與學習，來自 C. BICKEL/SCIENCE

除了深度網(wǎng)絡(luò)，AI 模型近來還融合了類腦計算的另一個重要方面：強化學習（RL），其中使用了大腦中的獎勵信號來修改行為。

這種形式的學習中涉及的大腦機制已經(jīng)得到了廣泛的研究，而且其計算模型也已經(jīng)在 AI 領(lǐng)域得到了使用，尤其是在機器人應(yīng)用中。強化學習可用于在世界中運作的智能體（人、動物或機器人）中，通過接收的獎勵信號作為回報。強化學習的目標是學習一個最優(yōu)「策略」，這是從狀態(tài)到動作的一個映射，以便最大化隨時間獲得的一個整體度量的獎勵。

在近期的一些 AI 算法中，強化學習方法已經(jīng)與深度網(wǎng)絡(luò)方法結(jié)合到了一起，并且在游戲領(lǐng)域的應(yīng)用尤其突出，涵蓋的范圍包括流行的視頻游戲到高度復(fù)雜的游戲，比如國際象棋、圍棋和將棋。深度網(wǎng)絡(luò)與強化學習的結(jié)合在玩游戲方面取得了驚人的成果，包括令人信服地擊敗了世界頂級的圍棋棋手、在大約 4 小時的訓練之后達到了國際象棋世界冠軍的水平；這些都是僅從游戲規(guī)則開始，通過內(nèi)部自我對抗進行學習而達成的。

從使用神經(jīng)科學引導(dǎo) AI 發(fā)展的角度看，因為相比于皮層回路，這些網(wǎng)絡(luò)的形式是經(jīng)過高度簡化的，所以這樣的成功很讓人驚訝。一些其它的腦啟發(fā)方面（比如跨神經(jīng)元組歸一化或使用空間注意）也已經(jīng)被整合進了深度網(wǎng)絡(luò)模型中。但一般而言，我們所知的有關(guān)神經(jīng)元的幾乎一切（它們的結(jié)構(gòu)、類型、互連性等等）都被排除在了深度網(wǎng)絡(luò)模型的當前形式之外。

我們目前仍不清楚生物回路的哪些方面在計算上是關(guān)鍵的，并且也可用于基于網(wǎng)絡(luò)的 AI 系統(tǒng)，但結(jié)構(gòu)中的差異很顯著。比如，生物神經(jīng)元在它們的形態(tài)學、生理學和神經(jīng)化學方面都非常復(fù)雜和多樣。

典型的受到激勵的錐體神經(jīng)元的輸入分布在復(fù)雜的、高度分支的底和頂樹突樹上。抑制型皮層神經(jīng)元具有多種不同的形態(tài)，它們很可能執(zhí)行著不同的功能。典型的深度網(wǎng)絡(luò)模型都沒有包含這種異質(zhì)性和其它復(fù)雜性，而是使用了有限種類的高度簡化的同質(zhì)的人工神經(jīng)元。在網(wǎng)絡(luò)中單元之間的連接性上面，大腦中皮層回路也比當前的深度網(wǎng)絡(luò)模型更復(fù)雜，并且在同一層的神經(jīng)元之間具有豐富的橫向連接，其中既有局部連接，也有長程連接，而且還有從皮層區(qū)域的高層區(qū)域到低層區(qū)域的從上到下的連接，而且可能會組織在典型的局部「規(guī)范回路（canonical circuits）」中。

基于深度網(wǎng)絡(luò)的學習方法主要在與現(xiàn)實世界的感知數(shù)據(jù)（比如視覺和語音）相關(guān)的問題上取得了顯著的成功，近來研究者已經(jīng)將越來越多努力投入到了自然界中更涉及認知的問題上。比如在視覺領(lǐng)域，網(wǎng)絡(luò)模型最早是為處理目標分類和分割等感知問題而開發(fā)的。類似的方法經(jīng)過某些擴展后現(xiàn)在已經(jīng)被用在了圖像描述（任務(wù)目標是生成一張圖像的簡短語言描述）和視覺問答（任務(wù)目標是為以自然語言提出的有關(guān)圖像內(nèi)容的查詢提供恰當?shù)拇鸢福┑雀邔用娴膯栴}上。其它還有一些非視覺任務(wù)，比如評價幽默程度、檢測諷刺、獲取直觀的物理知識或社會理解的一些方面。研究者們也為一些高難度的真實世界應(yīng)用開發(fā)出了類似的方法，包括在線翻譯、靈活的個人助理、醫(yī)療診斷、先進機器人學、自動駕駛。

有了這些重大的研究努力以及投入到未來 AI 應(yīng)用中的大量資金，需要解決的重要問題是：當前的方法能在何種程度上生成「真實」和類似人類的理解，或者是否還需要其它的（也許非常不同的）方向來處理認知和通用人工智能（AGI）的眾多不同方面。我們還不知道這個問題的答案，但不管是科學上還是商業(yè)上，這都非常重要。

先天結(jié)構(gòu)

如果事實證明當前深度網(wǎng)絡(luò)模型在產(chǎn)生類人認知能力方面的成功是有限的，那么我們很自然又會向神經(jīng)科學尋求指引。

當前 AI 模型忽視的大腦回路的那些方面是否會是 AGI 的關(guān)鍵？大腦的哪些方面可能是尤其重要的？

目前我們還沒有顯而易見的答案，因為我們對皮層回路的理解仍然還很有限，但我會簡要討論一下大腦和深度網(wǎng)絡(luò)模型看起來根本上不同的一個一般性方面，而且這個方面很可能在我們追尋類人 AGI 之路上發(fā)揮重要的功用。

這一差異的核心是一個老生常談的問題，關(guān)乎認知中經(jīng)驗主義（empiricism）與先天主義（nativism）之間的平衡，即先天的認知結(jié)構(gòu)與通用的學習機制之間的相對重要程度。

當前的 AI 建模方法嚴重傾向于經(jīng)驗主義一方，會使用大型的訓練數(shù)據(jù)集。相對而言，生物系統(tǒng)往往僅需少量訓練就能完成復(fù)雜的行為任務(wù)，它們基于特定的預(yù)先存在的網(wǎng)絡(luò)結(jié)構(gòu)，而且該結(jié)構(gòu)在學習之前就已被編碼在了回路之中。

比如，針對復(fù)雜的導(dǎo)航任務(wù)，包括昆蟲、魚類和鳥類在內(nèi)的不同動物物種都能部分地依靠一套先天固有的特定用途的復(fù)雜精細的機制外加精妙的計算能力來完成。

對于人類，嬰兒會在生命的最初幾個月開始發(fā)展出復(fù)雜的感知和認知技能，且僅需很少或無需明確的訓練。比如，他們能夠自發(fā)地識別出人手等復(fù)雜的目標、跟隨其他人的注視方向、通過視覺分辨動畫角色是在幫助其他角色還是妨礙其他角色，還能完成其它很多不同的任務(wù)，能表現(xiàn)出他們對物理交互和社會交互的初級理解。

大量發(fā)展中的研究都表明這種快速的無監(jiān)督學習之所以是可能的，原因是人類的認知系統(tǒng)通過進化而配備了先天的基礎(chǔ)結(jié)構(gòu)，這些結(jié)構(gòu)能夠促進對意義概念和認知技能的習得。

與已有的深度網(wǎng)絡(luò)模型相比，人類認知學習和理解的優(yōu)越性可能很大程度上源自人類認知系統(tǒng)具備的豐富且復(fù)雜很多的先天結(jié)構(gòu)。近來對嬰兒期視覺學習的建模研究已經(jīng)表明學習與先天機制的結(jié)合是有用的，其中有意義的復(fù)雜概念既非先天固有，也不是靠自己學習得到。

從這個居中的角度看，先天的那部分不是已經(jīng)發(fā)展好的概念，而是更簡單的「原型概念」，這能提供內(nèi)部的教學信號，引導(dǎo)學習系統(tǒng)，從而僅需少量或無需明確的訓練就能逐漸習得和組織復(fù)雜概念。

比如，研究已經(jīng)表明一種特定的圖像運動模式可以為人手識別提供可靠的內(nèi)部教學信號。對人手以及它們在操作物體中的參與情況的檢測可以引導(dǎo)學習系統(tǒng)學習檢測注視方向，而檢測注視目標又在學習推理人的目標中發(fā)揮著重要作用。這樣的先天結(jié)構(gòu)可以通過在局部皮層區(qū)域中布置特定的初始連接，再將輸入和誤差信號提供給特定的目標來實現(xiàn)。

人工網(wǎng)絡(luò)模型也可以采用有用的預(yù)設(shè)結(jié)構(gòu)來使其學習和理解更接近人類。發(fā)現(xiàn)有用的預(yù)設(shè)結(jié)構(gòu)這一難題的解決方法可以是理解和模仿相關(guān)的大腦機制，或開發(fā)從頭開始的計算學習方法來發(fā)現(xiàn)支持智能體、人類或人工智能的結(jié)構(gòu)，使其能以高效且靈活的方式學習理解自己的環(huán)境。

這一方向上已有一些嘗試，但一般而言，「學習先天結(jié)構(gòu)」這一計算問題不同于當前的學習過程，而且我們的了解還很少。長期來看，將經(jīng)驗主義方法與計算方法結(jié)合起來處理這一問題很可能對神經(jīng)科學和 AGI 都有利，并最終可能會成為可應(yīng)用于這兩個領(lǐng)域的智能處理理論的一部分。