一個(gè)擁有100多萬臺相變存儲器器件的脈沖神經(jīng)網(wǎng)絡(luò)中對多記憶突觸結(jié)構(gòu)進(jìn)行了實(shí)驗(yàn)演示

眾所周知，目前將深度神經(jīng)網(wǎng)絡(luò)和生物神經(jīng)網(wǎng)絡(luò)進(jìn)行匹配的研究正處于瓶頸期。而近期，IBM公司Irem Boybat等人在《Nature Communication》中發(fā)表的文章，有望改善此難題：他們設(shè)計(jì)了多記憶突觸結(jié)構(gòu)(multi-memristive synaptic architecture)，能夠在不增加功率密度的情況下提高突觸的精度，并在一個(gè)擁有100多萬臺相變存儲器(PCM)器件的脈沖神經(jīng)網(wǎng)絡(luò)(SNN)中對多記憶突觸結(jié)構(gòu)進(jìn)行了實(shí)驗(yàn)演示。

我們?nèi)祟惖拇竽X可以用低于20瓦的能量來驅(qū)動，再想想我們的筆記本電腦，大約需要消耗80瓦的能量。在能源效率和體積方面，我們的大腦比最先進(jìn)的超級計(jì)算機(jī)要多出幾個(gè)數(shù)量級。自然，最先進(jìn)的神經(jīng)網(wǎng)絡(luò)與生物的神經(jīng)網(wǎng)絡(luò)是完全無法抗衡的。造成這個(gè)結(jié)果的其中一個(gè)原因是現(xiàn)今的計(jì)算機(jī)的架構(gòu)還是依照馮·諾依曼的思想，即內(nèi)存和處理工作是分開的。這意味著數(shù)據(jù)需要不斷來回穿梭，產(chǎn)生熱量并且需要大量的能量——這是一個(gè)效率瓶頸。當(dāng)然，大腦是不存在這個(gè)問題的。那么這便是改善該問題的一個(gè)突破口。

多記憶突觸(Multi-Memristive Synapse)

多記憶突觸的結(jié)構(gòu)如下圖所示：

多記憶突觸概念

a.一個(gè)多記憶突觸的突觸凈權(quán)重(net synaptic weight)是由多記憶設(shè)備(multiple memristive devices)電導(dǎo)累加和()表示。為了實(shí)現(xiàn)突觸效能(synaptic efficacy)，所有設(shè)備都使用電壓讀取信號(read voltage signal)，V。通過每個(gè)設(shè)備產(chǎn)生的電流被匯總起來，由此產(chǎn)生突觸輸出(synaptic output)。

b.為了捕捉突觸可塑性(synaptic plasticity)，在任何突觸更新時(shí)，都只選擇一個(gè)裝置。而突觸的更新是通過改變被選擇設(shè)備的電導(dǎo)率來決定的。這個(gè)過程是由對所選設(shè)備應(yīng)用恰當(dāng)?shù)?a href="http://wenjunhu.com/v/tag/1315/" target="_blank">編程脈沖(programming pulse)來實(shí)現(xiàn)的。

c.采用一種基于計(jì)數(shù)的仲裁機(jī)制(counter-based arbitration scheme)來選擇用來編程以實(shí)現(xiàn)突觸可塑性的設(shè)備。此處使用一個(gè)最大值等于(表示一個(gè)突觸的)設(shè)備數(shù)量的全局選擇計(jì)數(shù)器。在任何突觸更新的情況下，被選擇計(jì)數(shù)器指向的設(shè)備將被編程。隨后，選擇計(jì)數(shù)器增加一個(gè)固定的量。除了選擇計(jì)數(shù)器之外，設(shè)置獨(dú)立的增強(qiáng)計(jì)數(shù)器和衰減計(jì)數(shù)器用來控制增強(qiáng)或衰減事件發(fā)生的頻率。

基于PCM設(shè)備的多記憶突觸

基于相變存儲器(PCM)的突觸

a.PCM器件由夾在頂部和底部電極之間的相變材料層組成。增強(qiáng)脈沖(potentiation pulses)的應(yīng)用可以逐漸增加晶區(qū)(crystalline region)。衰弱脈沖(depression pulse)會產(chǎn)生一個(gè)非晶區(qū)，不論設(shè)備的原始狀態(tài)如何都會導(dǎo)致電導(dǎo)的驟然下降。

b.平均電導(dǎo)會隨著不同電流振幅(current amplitude)的脈沖數(shù)而產(chǎn)生變化。每條曲線都是9700個(gè)設(shè)備電導(dǎo)測量值的平均。插圖顯示了本研究中使用的一種特征化PCM裝置的透射電子顯微圖。

c.當(dāng)重復(fù)增強(qiáng)和衰弱脈沖時(shí)觀察得到的平均累積電導(dǎo)變化。設(shè)備的初始電導(dǎo)為~5μS。

d.當(dāng)脈沖為=100μA時(shí)，給9700臺設(shè)備測量電導(dǎo)值的平均和標(biāo)準(zhǔn)誤差(1σ)，相應(yīng)的模型也對應(yīng)相同的設(shè)備數(shù)量。插圖顯示了在第20個(gè)增強(qiáng)脈沖后電導(dǎo)的分布，以及由模型所得到的對應(yīng)分布。

e.左圖顯示了在同一個(gè)PCM設(shè)備上應(yīng)用1000次的單個(gè)脈沖所引起的電導(dǎo)變化的典型分布。該脈沖作為第四個(gè)增強(qiáng)脈沖，應(yīng)用到設(shè)備上。用同樣的測量方式在不同的1000臺PCM設(shè)備上重復(fù)，并在插圖顯示這1000個(gè)設(shè)備的平均和標(biāo)準(zhǔn)誤差。右圖顯示了單個(gè)脈沖在1000個(gè)設(shè)備上引起的電導(dǎo)變化的典型分布。該脈沖作為第四個(gè)增強(qiáng)脈沖應(yīng)用到設(shè)備上。同樣的測量在1000個(gè)電導(dǎo)變化中重復(fù)進(jìn)行，插圖顯示了1000個(gè)電導(dǎo)變化中的平均和標(biāo)準(zhǔn)誤差。可以看出，設(shè)備間和設(shè)備內(nèi)的可變性是可以比較的。

基于PCM的多記憶突觸

a.對第1、3和7PCM設(shè)備進(jìn)行實(shí)驗(yàn)，得到突觸的平均累積電導(dǎo)變化。測量是基于1000個(gè)突觸，每個(gè)設(shè)備的電導(dǎo)都初始化為~5μS。對于增強(qiáng)實(shí)驗(yàn)，脈沖值選擇μA，而衰弱實(shí)驗(yàn)中，脈沖值選擇=450μA。

b.分別用10、30和70個(gè)增強(qiáng)脈沖對第1、3和7個(gè)PCM突觸進(jìn)行應(yīng)用后，得到累積電導(dǎo)變化的分布。均值和方差幾乎與每個(gè)突觸設(shè)備數(shù)量呈線性關(guān)系，可引出一種改良的權(quán)重更新解決方案。

手寫體數(shù)字分類的仿真效果

多記憶突觸在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用

a.利用反向傳播訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)進(jìn)行手寫數(shù)字分類。在輸入層和隱藏層中使用偏置神經(jīng)元(bias neurons)(白色)。利用PCM器件的非線性電導(dǎo)響應(yīng)，建立了一種多模態(tài)突觸模型，用于表征這些模擬中的突觸權(quán)重。增加多記憶突觸裝置的數(shù)量(包括有差別結(jié)構(gòu)和無差別結(jié)構(gòu))可以提高測試的準(zhǔn)確性。對五種不同的初始化權(quán)重進(jìn)行了重復(fù)模擬。誤差條(error bars)表示標(biāo)準(zhǔn)偏差。虛線顯示了在雙精度浮點(diǎn)軟件上實(shí)驗(yàn)得到的測試精度。

b.使用基于STDP的學(xué)習(xí)規(guī)則對手寫數(shù)字分類任務(wù)進(jìn)行了脈沖神經(jīng)網(wǎng)絡(luò)(SNN)的訓(xùn)練。同樣地，在該模擬中一個(gè)多記憶突觸模型表示突觸權(quán)重(設(shè)備存在有差別和無差別)。網(wǎng)絡(luò)的分類精度隨著每個(gè)突觸的設(shè)備數(shù)量而增加。對五種不同的初始化權(quán)重進(jìn)行了重復(fù)模擬。誤差條(error bars)表示標(biāo)準(zhǔn)偏差。虛線顯示了在雙精度浮點(diǎn)軟件上實(shí)驗(yàn)得到的測試精度。

時(shí)間相關(guān)性檢測的實(shí)驗(yàn)結(jié)果

多記憶突觸在神經(jīng)網(wǎng)絡(luò)中的實(shí)驗(yàn)演示

a.通過無監(jiān)督學(xué)習(xí)訓(xùn)練了脈沖神經(jīng)網(wǎng)絡(luò)，完成時(shí)間相關(guān)檢測任務(wù)。我們的網(wǎng)絡(luò)由1000個(gè)多PCM突觸(在硬件上)組成，連接到一個(gè)Integrate-And-Fire(I&F)神經(jīng)元上。突觸接收到由泊松分布產(chǎn)生的基于事件的數(shù)據(jù)流，作為前突觸(presynaptic)輸入峰值。100個(gè)突觸接收到相關(guān)數(shù)據(jù)流，相關(guān)系數(shù)為0.75，而其他突觸則接收到不相關(guān)的數(shù)據(jù)流。相關(guān)的和非相關(guān)的數(shù)據(jù)流都有相同的速率。由此產(chǎn)生的后突觸(postsynaptic)輸出在神經(jīng)元膜上累積?；谳斎敕逯岛蜕窠?jīng)元峰值的時(shí)間，使用指數(shù)STDP規(guī)則進(jìn)行權(quán)重更新的計(jì)算。如果期望的權(quán)重變化大于(小于)閾值，則應(yīng)用具有固定振幅的增強(qiáng)(衰弱)脈沖。

b.在實(shí)驗(yàn)結(jié)束時(shí)，顯示了由N = 1、3和7個(gè)PCM設(shè)備組成的突觸權(quán)重?？梢钥闯?，接受相關(guān)輸入的突觸的權(quán)重往往大于接受不相關(guān)輸入的突觸的權(quán)重。隨著N的增加，權(quán)重分布更加清晰。

c.在實(shí)驗(yàn)的前300個(gè)步驟中，是六個(gè)突觸權(quán)重的變化。隨著每個(gè)突觸的設(shè)備數(shù)量的增加，權(quán)重也逐漸增加。

d.在最后的實(shí)驗(yàn)中，顯示的是由144000多元PCM突觸(每個(gè)突觸有7臺設(shè)備)組成的一個(gè)SNN的突觸權(quán)重分布。14400個(gè)突觸接收到相關(guān)的輸入數(shù)據(jù)流，相關(guān)系數(shù)為0.75。這次大規(guī)模實(shí)驗(yàn)共使用了1008000個(gè)PCM設(shè)備。下方板顯示了PCM設(shè)備模型預(yù)測的突觸權(quán)重分布。