DeepMind訓(xùn)練出了一個AI智能體，學(xué)會了類 似哺乳動物一樣的“抄近路”能力

近日，DeepMind又有新Nature論文發(fā)布!這次他們又訓(xùn)練出了一個AI智能體，學(xué)會了類 似哺乳動物一樣的“抄近路”能力，這次研究的目的，就是設(shè)法模仿人類大腦，用復(fù)雜的方式在周圍空間里導(dǎo)航。這是一個前所未有的探索，被認(rèn)為是理解大腦的一次重大進(jìn)步。

近日，DeepMind又有新Nature論文發(fā)布!

這次他們又訓(xùn)練出了一個AI智能體，學(xué)會了類似哺乳動物一樣的“抄近路”能力，這次研究的目的，就是設(shè)法模仿人類大腦，用復(fù)雜的方式在周圍空間里導(dǎo)航。這是一個前所未有的探索，被認(rèn)為是理解大腦的一次重大進(jìn)步。

空間感知，對已經(jīng)輕松成為圍棋大師的AI來說，還是一件難事。

當(dāng)你沿著熟悉的街道前進(jìn)，繞過障礙，找到最快抵達(dá)目的地的捷徑時，大腦里發(fā)生了什么?這是一個非常復(fù)雜的事情。

科學(xué)家們在動物和人類大腦中找到了三種跟認(rèn)路相關(guān)的細(xì)胞，分別是位置細(xì)胞、方向細(xì)胞和網(wǎng)格細(xì)胞。

位置細(xì)胞能在主體到達(dá)特定地點(diǎn)時放電，從而賦予對過往地點(diǎn)的記憶;方向細(xì)胞能感應(yīng)前進(jìn)的方向;網(wǎng)格細(xì)胞則是最神秘的一種：它們能將整個空間環(huán)境劃分成蜂窩狀的六邊形網(wǎng)格，仿佛地圖上的坐標(biāo)系。

發(fā)現(xiàn)網(wǎng)格細(xì)胞的的莫索爾夫婦因此獲得了2014年的諾貝爾生理學(xué)或醫(yī)學(xué)獎。不過，網(wǎng)格細(xì)胞僅僅是在空間環(huán)境中提供GPS定位服務(wù)嗎?

一些科學(xué)家猜測，它們也會參與矢量計(jì)算，輔助動物規(guī)劃路徑。

DeepMind團(tuán)隊(duì)決定用人工神經(jīng)網(wǎng)絡(luò)檢驗(yàn)上述猜想。

人工神經(jīng)網(wǎng)絡(luò)是一種利用多層處理模擬大腦神經(jīng)網(wǎng)絡(luò)的運(yùn)算結(jié)構(gòu)。團(tuán)隊(duì)首先用深度學(xué)習(xí)算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)哺乳動物的覓食運(yùn)動路徑，利用線速度、角速度等信號在視覺環(huán)境中進(jìn)行定位。

研究人員隨后發(fā)現(xiàn)，一種類似于網(wǎng)格細(xì)胞活動特征的結(jié)構(gòu)自動誕生了!在此前的訓(xùn)練中，研究人員并未刻意引導(dǎo)神經(jīng)網(wǎng)絡(luò)產(chǎn)生此種結(jié)構(gòu)。

DeepMind團(tuán)隊(duì)隨后利用強(qiáng)化學(xué)習(xí)檢驗(yàn)這種網(wǎng)格結(jié)構(gòu)是否能夠進(jìn)行矢量導(dǎo)航。強(qiáng)化學(xué)習(xí)被普遍用于訓(xùn)練游戲AI，人類告訴AI一種游戲的得分獎懲機(jī)制，但卻不教授游戲方法，由AI在反復(fù)進(jìn)行游戲、努力爭取更高分的過程中自我進(jìn)化。

研究人員將之前自動出現(xiàn)的網(wǎng)格結(jié)構(gòu)與一個更大型的神經(jīng)網(wǎng)絡(luò)架構(gòu)結(jié)合成了人工智能體，置于虛擬現(xiàn)實(shí)的游戲環(huán)境中。經(jīng)歷強(qiáng)化學(xué)習(xí)后，該人工智能在游戲迷宮中向目的地前進(jìn)的導(dǎo)航能力超越了一般人，達(dá)到了職業(yè)游戲玩家水平。它能像哺乳動物一樣尋找新路線和抄近路。

最關(guān)鍵的是，當(dāng)研究人員“靜默”原來的網(wǎng)格結(jié)構(gòu)后，人工智能體的導(dǎo)航能力就會變?nèi)酰袛嗄繕?biāo)的距離和方向都更不準(zhǔn)確了。

論文作者之一Dharshan Kumaran說道：“我們證明了網(wǎng)格細(xì)胞遠(yuǎn)不只是給我們提供GPS定位信號，也是一種大腦賴以計(jì)算兩個地點(diǎn)間的最短距離的核心導(dǎo)航機(jī)制。”

哈薩比斯說，要證明我們能構(gòu)建出來我們想做的那種通用智能，大腦的存在就是一個證據(jù)。所以從神經(jīng)科學(xué)中為新的算法尋找靈感，是很有道理的。但我們同時也相信這種啟發(fā)應(yīng)該是雙向的，人工智能研究的見解也能為神經(jīng)科學(xué)中的開放問題提供靈感。

“這項(xiàng)工作就是一個很好的例子：通過構(gòu)建一個能在復(fù)雜環(huán)境中導(dǎo)航的人工智能體，我們強(qiáng)調(diào)了生物網(wǎng)格細(xì)胞在哺乳動物導(dǎo)航中的重要性，也拓寬了這方面的理解。”哈薩比斯表示。

DeepMind團(tuán)隊(duì)相信，類似的研究方法還可以用來探索大腦聽覺和控制四肢的機(jī)制。在更遠(yuǎn)的將來，神經(jīng)科學(xué)家們甚至可以用人工智能代替小白鼠來做實(shí)驗(yàn)。

同時也用人工智能體驗(yàn)證了哺乳動物大腦中的“網(wǎng)格細(xì)胞”對基于向量的導(dǎo)航有支持作用。

這還有兩篇研究人員的視頻訪談，更細(xì)致的進(jìn)行解讀。

論文

這篇論文題目為：Vector-based navigation using grid-like representations in artificial agents 。

論文作者20多人，其中也包括哈薩比斯本人。