0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

AI的定位和導(dǎo)航類似于大腦的位置細(xì)胞和網(wǎng)格細(xì)胞

DPVg_AI_era ? 來源:未知 ? 作者:李倩 ? 2018-05-13 10:43 ? 次閱讀

近日,DeepMind 在 Nature 上發(fā)表的一篇論文引起 AI 領(lǐng)域和神經(jīng)科學(xué)領(lǐng)域的極大震撼:AI 展現(xiàn)出與人腦 “網(wǎng)格細(xì)胞” 高度一致的空間導(dǎo)航能力。甚至有些學(xué)者認(rèn)為,憑著這篇論文,DeepMind 的作者有可能問鼎諾貝爾獎。本文作者鄧侃博士對這篇突破性的論文進行了解讀。

Google 麾下的 DeepMind 公司,不僅會下圍棋,而且寫的論文也頂呱呱。

2018/5/10,今天的微信朋友圈,被DeepMind 一篇論文刷屏了。論文發(fā)表在最近一期 Nature 雜志上,題目是Vector-based navigation using grid-like representations in artificial agents [1]。

有些學(xué)者認(rèn)為,憑著這篇論文,DeepMind 的作者有可能問鼎諾貝爾獎[2]。

重要意義:AI的定位和導(dǎo)航類似于大腦的位置細(xì)胞和網(wǎng)格細(xì)胞

其實這篇論文是DeepMind 人工智能團隊,與 University College of London(UCL) 的生物學(xué)家,合作的產(chǎn)物。

對空間的定位和導(dǎo)航能力,是生物的本能。早在 1971 年,UCL 的生理學(xué)教授 John O'Keefe 在大腦海馬體中,發(fā)現(xiàn)了位置細(xì)胞(Place Cell)。隨后 O'Keefe 的學(xué)生,Moser 夫婦于 2005 年發(fā)現(xiàn),在大腦內(nèi)嗅皮層,存在一種更為神奇的神經(jīng)元,網(wǎng)格細(xì)胞(Grid Cell)。在運動過程中,生物的網(wǎng)格細(xì)胞,把空間分割為蜂窩那樣的六邊形,并且把運動軌跡記錄在蜂窩狀的網(wǎng)格上。

2014 年的諾貝爾生理學(xué)/醫(yī)學(xué)獎,頒發(fā)給了John O'Keefe 和Moser 夫婦。

人工智能深度學(xué)習(xí)模型,經(jīng)常被詬病的一大軟肋,是缺乏生理學(xué)理論基礎(chǔ)。深度學(xué)習(xí)模型中的隱節(jié)點的物理意義,也無法解釋。

DeepMind 和 UCL 合著的 Nature 論文,發(fā)現(xiàn)深度學(xué)習(xí)模型中隱節(jié)點,與腦內(nèi)的位置細(xì)胞和網(wǎng)格細(xì)胞,這兩者的激活機制和數(shù)值分布,非常相似,幾乎呈一一對應(yīng)的關(guān)系。

Extended Data Fig 3.d:第一行,深度學(xué)習(xí)模型的隱節(jié)點的激活機制和數(shù)值分布。第二行,Moser 夫婦發(fā)現(xiàn)的網(wǎng)格細(xì)胞的蜂窩狀數(shù)值分布。深度學(xué)習(xí)隱節(jié)點與網(wǎng)格細(xì)胞的數(shù)值分布,極為相似。第三行,數(shù)值分布所揭示的空間定位及運動方向。

這篇論文,之所以引起學(xué)界轟動,原因在于證明了,把深度學(xué)習(xí)模型用于空間的定位和導(dǎo)航,其隱節(jié)點的物理意義,類似于大腦的位置細(xì)胞和網(wǎng)格細(xì)胞。進一步猜想,深度學(xué)習(xí)模型的定位和導(dǎo)航的計算過程,很可能與大腦的定位和導(dǎo)航的生理機制,也極為相似。

為什么DeepMind 熱衷于玩游戲?

面向空間定位和導(dǎo)航的深度學(xué)習(xí)模型,有哪些應(yīng)用場景呢?DeepMind 把這個技術(shù)用于玩電子游戲,類似于 “反恐精英”(Counter Strike)那樣的走迷宮射殺***的游戲。

DeepMind 下完圍棋以后,玩初級電子游戲,現(xiàn)在升級了,改玩高級游戲了。為什么DeepMind 那么熱衷于游戲呢?

游戲是仿真系統(tǒng),一切盡在掌控之中,想要什么數(shù)據(jù),就能獲取什么數(shù)據(jù)。所以,每條數(shù)據(jù),都很全面,不會有數(shù)據(jù)丟失。

同時,只要多雇一些玩家,多花一點時間,要多少訓(xùn)練數(shù)據(jù),就有多少訓(xùn)練數(shù)據(jù)。

用游戲來驗證深度學(xué)習(xí)模型,非常方便。這是 DeepMind 熱衷于玩游戲的原因。同時,因為能夠快速地獲取數(shù)據(jù),DeepMind 對于深度學(xué)習(xí)和強化學(xué)習(xí)研究,領(lǐng)先世界。

Figure 3. DeepMind 把基于深度學(xué)習(xí)的空間定位和導(dǎo)航技術(shù),應(yīng)用于反恐精英(Counter Strike)游戲。

問題是,把適用于游戲的深度學(xué)習(xí)模型,移用到真實世界,解決實際問題,是否仍然有效?

同是 Google 麾下兄弟,Google Brain 更注重解決實際問題,兄弟倆各有千秋。Google Brain 開發(fā)的 Tensorflow成為工程利器,而 DeepMind 的論文,提供新方法,引領(lǐng)研究前沿。

深度學(xué)習(xí)仿真位置和網(wǎng)格細(xì)胞的論文,技術(shù)上有什么創(chuàng)新?

短的答案,沒有獨特的創(chuàng)新。

長的答案,得先講講馬爾科夫和強化學(xué)習(xí)。

強化學(xué)習(xí)(Reinforcement Learning)是機器學(xué)習(xí)的一個重要分支,它試圖解決決策優(yōu)化的問題。所謂決策優(yōu)化,是指面對特定狀態(tài)(State,S),采取什么行動方案(Action,A),才能使收益最大(Reward,R)。很多問題都與決策優(yōu)化有關(guān),從下棋,到投資,到課程安排,到駕車,到走迷宮等等。

AlphaGo 的核心算法,就是強化學(xué)習(xí)。AlphaGo不僅穩(wěn)超勝券地戰(zhàn)勝了當(dāng)今世界所有人類高手,而且甚至不需要學(xué)習(xí)人類棋手的棋譜,完全靠自己摸索,在短短幾天內(nèi),發(fā)現(xiàn)并超越了一千多年來人類積累的全部圍棋戰(zhàn)略戰(zhàn)術(shù)。

最簡單的強化學(xué)習(xí)的數(shù)學(xué)模型,是馬爾科夫決策過程(Markov Decision Process,MDP)。之所以說 MDP 是一個簡單的模型,是因為它對問題做了很多限制。

1. 面對的狀態(tài) s_{t},數(shù)量 t = 1... T,T 是有限的。

2. 采取的行動方案 a_{t},數(shù)量t = 1... T,T也是有限的。

3.對應(yīng)于特定狀態(tài) s_{t},當(dāng)下的收益 r_{t} 是明確的。

4. 在某一個時刻 t,采取了行動方案 a_{t},狀態(tài)從當(dāng)前的 s_{t} 轉(zhuǎn)換成下一個狀態(tài) s_{t+1}。下一個狀態(tài)s_{t+1}有多種可能,從當(dāng)前狀態(tài) s_{t}轉(zhuǎn)換到下一個狀態(tài)中的某一種狀態(tài)的概率,稱為轉(zhuǎn)換概率。但是轉(zhuǎn)換概率,只依賴于當(dāng)前狀態(tài) s_{t},而與先前的狀態(tài),s_{t-1}, s_{t-2} ... 無關(guān)。

解決馬爾科夫決策過程問題的常用的算法,是動態(tài)規(guī)劃(Dynamic Programming)。

對馬爾科夫決策過程的各項限制,不斷放松,研究相應(yīng)的算法,是強化學(xué)習(xí)的目標(biāo)。

例如對狀態(tài) s_{t}放松限制,

1. 假如狀態(tài) s_{t} 的數(shù)量t = 1... T,T雖然有限,但是數(shù)量巨大,或者有數(shù)量無限,如何改進算法?

2.假如狀態(tài) s_{t} 不能完全確定,只能被部分觀察到,剩余部分被遮擋或缺失,如何改進算法?

3. 假如轉(zhuǎn)換概率,不僅依賴于當(dāng)前狀態(tài),而且依賴于先前的運動軌跡,如何改進算法?

4. 假如遇到先前沒有遇見過的新狀態(tài)s_{t},有沒有可能在以往遇見過的狀態(tài)中,找到相似狀態(tài),從而估算轉(zhuǎn)換概率,估算收益?

Extended Data Fig 5. 用GridLSTM 來總結(jié)以往的運動軌跡,并加上神經(jīng)網(wǎng)絡(luò) g 來判別當(dāng)前的空間定位和運動方向。然后基于對當(dāng)前的空間定位和導(dǎo)航的判斷,用另一個 LSTM 來估算狀態(tài)轉(zhuǎn)換概率,從而決定導(dǎo)航策略。

這篇論文用深度學(xué)習(xí)模型,來仿真位置和網(wǎng)格細(xì)胞。具體來說,

1.用 CNN 來處理圖像,找到周邊環(huán)境中的標(biāo)志物,用于識別當(dāng)前的空間位置。

2. 把圖像處理的結(jié)果,與以往的運動軌跡相結(jié)合,用GridLSTM 來估算當(dāng)前的狀態(tài)。

3. 把GridLSTM 估算出的當(dāng)前狀態(tài),經(jīng)過一個神經(jīng)網(wǎng)絡(luò) g 的再加工,得到類似于位置細(xì)胞和網(wǎng)格細(xì)胞的隱節(jié)點。

4. 把當(dāng)前的位置和運動方向,以及目標(biāo)的位置,作為第二個 LSTM 模型的輸入,確定導(dǎo)航?jīng)Q策。

上述所有模塊,都是現(xiàn)成技術(shù)的集成,并無顯著創(chuàng)新。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 導(dǎo)航
    +關(guān)注

    關(guān)注

    7

    文章

    547

    瀏覽量

    42995
  • 人工智能
    +關(guān)注

    關(guān)注

    1804

    文章

    48677

    瀏覽量

    246260
  • 深度學(xué)習(xí)
    +關(guān)注

    關(guān)注

    73

    文章

    5554

    瀏覽量

    122451

原文標(biāo)題:專家解讀DeepMind最新論文:深度學(xué)習(xí)模型復(fù)現(xiàn)大腦網(wǎng)格細(xì)胞

文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦
    熱點推薦

    人類首創(chuàng)能生成神經(jīng)細(xì)胞的“迷你大腦”,更精確模擬神經(jīng)網(wǎng)絡(luò)!

    `近日,凱斯西儲大學(xué)醫(yī)學(xué)院、紐約干細(xì)胞基金會(NYSCF)研究所和喬治華盛頓大學(xué)的研究人員聯(lián)合提出了一種新方法,通過人類胚胎干細(xì)胞培育生成3D版的“迷你大腦”。這些“迷你大腦”名為“
    發(fā)表于 08-21 09:26

    人工智能可助辨識細(xì)胞結(jié)構(gòu)

    美國艾倫細(xì)胞科學(xué)研究所的科學(xué)家使用機器學(xué)習(xí)技術(shù)訓(xùn)練計算機,使其可在不使用熒光標(biāo)記的情況下較為準(zhǔn)確地辨認(rèn)出細(xì)胞結(jié)構(gòu)。傳統(tǒng)的熒光顯微法使用發(fā)光分子標(biāo)記來確定細(xì)胞結(jié)構(gòu),但價格昂貴且每次只能觀察一部分結(jié)構(gòu)
    發(fā)表于 10-15 05:21

    細(xì)胞的同時AFM熒光成像應(yīng)用簡報

    細(xì)胞的同時AFM /熒光成像 - 應(yīng)用簡報
    發(fā)表于 10-23 10:39

    Eversipn STT-MRAM的MJT細(xì)胞介紹

    Eversipn STT-MRAM的MJT細(xì)胞
    發(fā)表于 02-24 07:28

    細(xì)胞融合與單克隆抗體

    細(xì)胞融合(cell fusion),又稱體細(xì)胞雜交(somatic hybridiazation),是指兩個或更多個相同或不同細(xì)胞通過膜 融合形成單個細(xì)胞的過程。Muller
    發(fā)表于 02-17 10:02 ?0次下載

    總線細(xì)胞陣列中空閑細(xì)胞冗余數(shù)量研究

    總線細(xì)胞陣列中空閑細(xì)胞冗余數(shù)量研究_王濤
    發(fā)表于 01-07 21:39 ?0次下載

    細(xì)胞的產(chǎn)生與美國科學(xué)家成功制造出具有造血干細(xì)胞功能的細(xì)胞

    英國《自然》雜志 16 日發(fā)表了兩項干細(xì)胞研究重要進展,美國科學(xué)家成功將人體多能干細(xì)胞和小鼠內(nèi)皮細(xì)胞轉(zhuǎn)化為具有造血干細(xì)胞功能的細(xì)胞。最新成果
    發(fā)表于 09-22 15:27 ?8次下載

    首次創(chuàng)造出能生成神經(jīng)細(xì)胞的3D版“迷你大腦

    由胚胎干細(xì)胞發(fā)育而來的“迷你大腦”,能夠模擬與實際大腦相仿的細(xì)胞和神經(jīng)間交互的過程,讓研究人員更準(zhǔn)確地觀察到與脫髓鞘相關(guān)疾病的機理和發(fā)病過程,并探尋與這些疾病的新療法,加速對相關(guān)疾病的
    的頭像 發(fā)表于 08-01 09:10 ?3250次閱讀

    T 細(xì)胞打入腫瘤細(xì)胞要先對好“暗號”

    具有腫瘤清除作用的免疫 T 細(xì)胞需要與腫瘤細(xì)胞對好“暗號”后,才能打入腫瘤組織內(nèi)部
    的頭像 發(fā)表于 06-19 09:20 ?3983次閱讀

    無人機集群類腦導(dǎo)航系統(tǒng)的應(yīng)用特點及發(fā)展現(xiàn)狀研究

    隨著網(wǎng)格細(xì)胞、位置細(xì)胞及頭朝向細(xì)胞等類腦認(rèn)知導(dǎo)航細(xì)胞
    發(fā)表于 07-31 11:54 ?2830次閱讀

    “解碼”單細(xì)胞測序的故事

    有別傳統(tǒng)的基因芯片,從超過混合數(shù)萬個細(xì)胞中提取的DNA或者RNA進行測序,得出平均值。單細(xì)胞測序可以在單個細(xì)胞層面解析基因組及其表達調(diào)控特征,能更全面掌握
    的頭像 發(fā)表于 03-17 11:02 ?2292次閱讀

    基于CNN和LSTM的蛋白質(zhì)亞細(xì)胞定位研究對比

    基于CNN和LSTM的蛋白質(zhì)亞細(xì)胞定位研究對比
    發(fā)表于 06-11 14:16 ?15次下載

    基于人類乳腺細(xì)胞圖譜中各細(xì)胞亞型之間的位置關(guān)系和空間聯(lián)系

    ? 人類細(xì)胞圖譜計劃(Human Cell Atlas,HCA)旨在描述人體中每個細(xì)胞(約37萬億個)的詳細(xì)特征,呈現(xiàn)不同類型細(xì)胞在人體組織的三維結(jié)構(gòu),勾勒他們在人體系統(tǒng)內(nèi)的聯(lián)系,揭示圖譜變化與健康
    的頭像 發(fā)表于 07-23 15:02 ?1029次閱讀
    基于人類乳腺<b class='flag-5'>細(xì)胞</b>圖譜中各<b class='flag-5'>細(xì)胞</b>亞型之間的<b class='flag-5'>位置</b>關(guān)系和空間聯(lián)系

    細(xì)胞細(xì)胞注釋詳解之singleR細(xì)胞注釋

    除了對每個細(xì)胞的所屬細(xì)胞類型進行評分外,singleR還會對seuret聚類結(jié)果中每個cluster中各細(xì)胞類型比例進行分析,評估每個cluster所屬的細(xì)胞類型。結(jié)果由
    的頭像 發(fā)表于 09-21 17:34 ?2943次閱讀
    單<b class='flag-5'>細(xì)胞</b><b class='flag-5'>細(xì)胞</b>注釋詳解之singleR<b class='flag-5'>細(xì)胞</b>注釋

    細(xì)胞的“聚光燈”——前沿活細(xì)胞成像的案例分享

    細(xì)胞是一切生命的基本單位,構(gòu)成了各式各樣的生命體。因此研究細(xì)胞的結(jié)構(gòu)以及內(nèi)部生命活動過程可以幫助我們更深入地探究生命的奧秘,了解生命體是如何構(gòu)建和運作的。傳統(tǒng)的細(xì)胞顯微術(shù)只能通過觀察固定的細(xì)胞
    的頭像 發(fā)表于 10-24 08:04 ?720次閱讀
    活<b class='flag-5'>細(xì)胞</b>的“聚光燈”——前沿活<b class='flag-5'>細(xì)胞</b>成像的案例分享

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學(xué)習(xí)
    • 獲取您個性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品