詳談深度學(xué)習(xí)系統(tǒng)中實(shí)現(xiàn)記憶能力的唯一技術(shù)NTM

在計(jì)算機(jī)科學(xué)中，沒(méi)有一門學(xué)科比深度學(xué)習(xí)更能從人類的記憶系統(tǒng)中受益。

自早期以來(lái)，在深度學(xué)習(xí)領(lǐng)域，人們就一直致力于對(duì)模擬人類記憶的一些關(guān)鍵特征系統(tǒng)進(jìn)行建模。然而，想要為機(jī)器系統(tǒng)建立起類人的記憶結(jié)構(gòu)，并非易事。

近日，區(qū)塊鏈分析公司IntoTheBlock CEO、Invector Labs首席科學(xué)家、哥倫比亞大學(xué)客座教授Jesus Rpdriguez發(fā)表文章，談?wù)搹纳窠?jīng)科學(xué)和認(rèn)知心理學(xué)的角度理解機(jī)器的記憶建模。

他認(rèn)為，神經(jīng)科學(xué)的記憶理論為我們理解智能存儲(chǔ)體系結(jié)構(gòu)的一些主要組成部分提供了基礎(chǔ)，同時(shí)，人類的記憶不僅僅是大腦物理結(jié)構(gòu)的副產(chǎn)品，而且還深受周圍環(huán)境的影響。

關(guān)記憶的神經(jīng)科學(xué)理論：綁定問(wèn)題

現(xiàn)代神經(jīng)科學(xué)的記憶理論涉及大腦的三個(gè)基本區(qū)域：丘腦（the thalamus）、前額葉（the prefrontal）、皮層和海馬體（cortex ＆the hippocampus）。

丘腦可以被認(rèn)為是一個(gè)路由器，它負(fù)責(zé)處理感官信息（視覺(jué)、觸覺(jué)、語(yǔ)言等），并將其傳遞到大腦的感覺(jué)皮層進(jìn)行評(píng)估。經(jīng)過(guò)評(píng)估的信息最終到達(dá)前額葉皮層，進(jìn)入我們的意識(shí)中，形成短期記憶。同時(shí)，這些信息也被傳送到海馬體，海馬體將不同的片段分布到不同的皮質(zhì)中，形成長(zhǎng)期記憶。

而當(dāng)今神經(jīng)科學(xué)面臨的最大挑戰(zhàn)之一就是，我們?nèi)绾螌⒎稚⒌挠洃浰槠匦陆M合起來(lái)，使其在人們回憶時(shí)構(gòu)成連貫的記憶。這就是“綁定問(wèn)題（the binding problem）”的主要內(nèi)容。

假設(shè)您曾經(jīng)歷一場(chǎng)考試，那么關(guān)于這一事件的記憶將被分解并儲(chǔ)存在大腦的不同區(qū)域中。然而，只需要小小的提示，例如聽到考試提示音或見到當(dāng)時(shí)的同伴，您就能回憶起關(guān)于這堂考試的各種記憶。

這是如何做到的呢？

一種理論認(rèn)為，記憶碎片是由不斷流過(guò)大腦的電磁振動(dòng)聯(lián)系在一起的。這些振動(dòng)在記憶碎片之間創(chuàng)造了一個(gè)時(shí)間（而非空間）聯(lián)系，允許它們同時(shí)被激活，因而最后成為凝聚一體的記憶。

關(guān)記憶的認(rèn)知心理學(xué)理論：?jiǎn)?dòng)與聯(lián)想

此外，為了解釋綁定問(wèn)題，我們還需要一些超越大腦的結(jié)構(gòu)，以評(píng)估能夠影響記憶方式的各種心理背景因素。在認(rèn)知心理學(xué)中，試圖解釋聯(lián)想記憶本質(zhì)的主要理論之一被稱為啟動(dòng)效應(yīng)（the Priming Effect）。

設(shè)想一下，當(dāng)您聽到“考試”這個(gè)詞的時(shí)候，首先想到的是什么？可能是“書籍”，可能是某個(gè)日期，甚至可能是“興奮感”（手動(dòng)狗頭）。由此可見，僅僅是一個(gè)簡(jiǎn)單的詞語(yǔ)，就可以喚起人的一系列復(fù)雜情緒甚至是其他相關(guān)的詞語(yǔ)。而這個(gè)過(guò)程實(shí)際就是：我們正在有效地想起相關(guān)的事物，或者說(shuō)，我們正在“啟動(dòng)”其他記憶。

這一實(shí)驗(yàn)中最引人注目的其實(shí)是，人們根據(jù)提示檢索出相關(guān)單詞或記憶的速度有多快。在心理學(xué)中，這種現(xiàn)象也被稱為聯(lián)想一致化（Associatively Coherent）。

而且，啟動(dòng)效應(yīng)不僅適用于詞匯，還適用于情緒、身體反應(yīng)、本能等認(rèn)知現(xiàn)象。啟動(dòng)效應(yīng)告訴我們，記憶不僅是由主動(dòng)聯(lián)想方法來(lái)回憶的，而且是由“被啟動(dòng)的想法”來(lái)回憶的。

認(rèn)知心理學(xué)的另一個(gè)重要內(nèi)容則是我們回憶起特定事件的頻率。

例如，如果我問(wèn)你“在過(guò)去的十年里參加了多少場(chǎng)考試？” 如果你剛好最近就參加過(guò)一次考試或者特別快地得出答案者，那么這個(gè)數(shù)字很能被高估。相反，如果你并不喜歡上一次的考試經(jīng)歷，那么這個(gè)數(shù)字可能被低估。這個(gè)認(rèn)知過(guò)程被稱為可得性捷思法（the Availability Heuristic），它解釋了我們的記憶是如何被快速獲得的答案所深深影響。

深度學(xué)習(xí)的記憶機(jī)制：神經(jīng)圖靈機(jī)

那么深度學(xué)習(xí)算法具體該如何模仿上述這些理論從而形成類人記憶呢？答案其實(shí)不難得出：

a） 把一個(gè)內(nèi)存分成若干段，不同片段描述不同的知識(shí)領(lǐng)域

b） 將分散的片段重新組合成連貫的信息結(jié)構(gòu)

c） 根據(jù)上下文和不直接相關(guān)的信息以及外部數(shù)據(jù)引用來(lái)檢索數(shù)據(jù)

同時(shí)，為了了解深度學(xué)習(xí)算法中的記憶相關(guān)性，我們應(yīng)該區(qū)分內(nèi)隱記憶implicit memory和外顯記憶Explicit Memory。隱性知識(shí)通常是潛意識(shí)的，因此很難解釋，例如識(shí)別圖片中的猴子或口語(yǔ)句子中的語(yǔ)氣和情緒。顯性知識(shí)則很容易以陳述性方式建模。例如，“猴子是一種動(dòng)物”或“某些形容詞具有攻擊性”，這都是顯性知識(shí)的典型例子。

再想象一下傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它們往往有數(shù)百萬(wàn)個(gè)相互連接的節(jié)點(diǎn)，卻缺乏一個(gè)工作記憶系統(tǒng)，用來(lái)存儲(chǔ)已推斷出的知識(shí)片段及其相互關(guān)系，以便從網(wǎng)絡(luò)的不同層加入新信息。

而在這一領(lǐng)域，最流行的技術(shù)之一是神經(jīng)圖靈機(jī)（Neural Turing Machines，NTM），由DeepMind于2014年引入。NTM也屬于深層神經(jīng)網(wǎng)絡(luò)， 但是它擴(kuò)展出一個(gè)具有存儲(chǔ)完整向量的記憶單元，并使用直觀推斷（heuristics）來(lái)讀寫信息。

例如，NTM實(shí)現(xiàn)了一種稱為基于內(nèi)容的尋址機(jī)制，它可以根據(jù)輸入信息來(lái)檢索向量，這與人類基于文字經(jīng)驗(yàn)來(lái)回憶相關(guān)記憶的方式相似。

此外，NTM還包括一種機(jī)制，能夠根據(jù)內(nèi)存單元被尋址的頻率來(lái)增加其顯著性。

NTM并不是在深度學(xué)習(xí)系統(tǒng)中實(shí)現(xiàn)記憶能力的唯一技術(shù)，但它無(wú)疑是最受歡迎的技術(shù)之一。

模仿人類記憶的生理和心理功能并不是一件容易的事，這已經(jīng)成為深度學(xué)習(xí)領(lǐng)域中最重要的研究領(lǐng)域之一。
責(zé)編AJX