未來智能實(shí)驗(yàn)室的開展，用于運(yùn)行神經(jīng)網(wǎng)絡(luò)的新的芯片的研究

在GPU上運(yùn)行的神經(jīng)網(wǎng)絡(luò)已經(jīng)在人工智能領(lǐng)域取得了一些驚人的進(jìn)步，但這兩者的合作還并不完美。IBM的研究人員希望能設(shè)計(jì)出一種專門用于運(yùn)行神經(jīng)網(wǎng)絡(luò)的新的芯片，從而提供更快、更有效的替代方案。

直到本世紀(jì)初，研究人員才意識(shí)到，為視頻游戲設(shè)計(jì)的GPU（圖形處理單元）可以被用作硬件加速器，以運(yùn)行比以前更大的神經(jīng)網(wǎng)絡(luò)。

這要?dú)w功于這些芯片能夠并行進(jìn)行大量計(jì)算，而不是像傳統(tǒng)CPU那樣按順序處理它們。這對(duì)于同時(shí)計(jì)算構(gòu)成深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的數(shù)百個(gè)神經(jīng)元的權(quán)重特別有用。

GPU的引入使這一領(lǐng)域得到了發(fā)展，但這些芯片仍然需要將處理和存儲(chǔ)分開，這意味著大量的時(shí)間和精力都花在了兩者之間的數(shù)據(jù)傳輸上。這促使人們開始研究新的存儲(chǔ)技術(shù)，這些技術(shù)能夠存儲(chǔ)和處理同一位置的權(quán)重?cái)?shù)據(jù)，從而提高速度和能源效率。

這種新的存儲(chǔ)設(shè)備通過調(diào)整它們的電阻水平，以模擬的形式存儲(chǔ)數(shù)據(jù)——也就是說，數(shù)據(jù)被存儲(chǔ)在一個(gè)連續(xù)的范圍內(nèi)，而不是數(shù)字存儲(chǔ)器的二進(jìn)制1和0。因?yàn)樾畔⒋鎯?chǔ)在存儲(chǔ)單元的電導(dǎo)中，所以可以簡(jiǎn)單地在存儲(chǔ)單元間傳遞電壓并讓系統(tǒng)通過物理方法來進(jìn)行計(jì)算。

但是這些設(shè)備固有的物理缺陷意味著它們的行為并不一致，這導(dǎo)致了目前使用它們來訓(xùn)練神經(jīng)網(wǎng)絡(luò)的分類精度明顯低于使用GPU。

“我們可以在一個(gè)比GPU更快的系統(tǒng)上進(jìn)行訓(xùn)練，但如果訓(xùn)練操作不那么準(zhǔn)確，那是沒有用的，”領(lǐng)導(dǎo)該項(xiàng)目的IBM Research博士后研究員Stefano Ambrogio在接受Singularity Hub采訪時(shí)說，“到目前為止，還沒有證據(jù)表明使用這些新設(shè)備能像使用GPU一樣精確?！?/p>

但研究又有了新的進(jìn)展。發(fā)表在《自然》雜志上的一篇論文中，Ambrogio和他的同事們描述了他們是如何利用新興的模擬記憶和更傳統(tǒng)的電子元件組合來創(chuàng)造出一種芯片，這種芯片可以與GPU的精度相匹配，同時(shí)運(yùn)行速度更快，能耗更少。

這些新的存儲(chǔ)技術(shù)難以訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)的原因是，這個(gè)過程需要將每個(gè)神經(jīng)元的權(quán)重進(jìn)行上下數(shù)千次的刺激，直到網(wǎng)絡(luò)完全對(duì)齊。改變這些設(shè)備的電阻需要重新配置它們的原子結(jié)構(gòu)，而且每次的操作過程都不一樣，Ambrogio說。這些刺激并不總是完全相同，這導(dǎo)致了對(duì)神經(jīng)元權(quán)重的不精確的調(diào)整。

研究人員通過創(chuàng)造“突觸單元”來解決這個(gè)問題，這些“突觸單元”每一個(gè)都對(duì)應(yīng)于網(wǎng)絡(luò)中的單個(gè)神經(jīng)元，同時(shí)具有長(zhǎng)期和短期記憶。每個(gè)單元格由一對(duì)相變存儲(chǔ)器（PCM）單元和三個(gè)晶體管以及一個(gè)電容的組合構(gòu)成，PCM在電阻中存儲(chǔ)權(quán)重?cái)?shù)據(jù)，電容將權(quán)重?cái)?shù)據(jù)存儲(chǔ)為電荷。

PCM是一種“非易失性存儲(chǔ)器”，這意味著即使沒有外部電源，它也能保留存儲(chǔ)的信息，而電容器是“易失性的”，所以只能在幾毫秒內(nèi)保持它的電荷。但是電容器沒有PCM設(shè)備的可變性，因此可以快速而準(zhǔn)確地編程。

當(dāng)神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行訓(xùn)練以完成分類任務(wù)時(shí)，只有電容器的權(quán)重會(huì)被更新。在瀏覽到幾千張圖片后，權(quán)重?cái)?shù)據(jù)會(huì)被轉(zhuǎn)移到PCM單元進(jìn)行長(zhǎng)期存儲(chǔ)。PCM的可變性意味著，權(quán)重?cái)?shù)據(jù)的轉(zhuǎn)移仍然有可能包含錯(cuò)誤，但是由于該單元只是偶爾更新，所以可以在不增加系統(tǒng)復(fù)雜性的情況下再次檢查電導(dǎo)。Ambrogio說，如果直接在PCM單元上進(jìn)行訓(xùn)練，這就不可行了。

為了測(cè)試他們的設(shè)備，研究人員對(duì)他們的網(wǎng)絡(luò)進(jìn)行了一系列流行圖像識(shí)別的基準(zhǔn)測(cè)試，結(jié)果達(dá)到了與谷歌領(lǐng)先的神經(jīng)網(wǎng)絡(luò)軟件TensorFlow相當(dāng)?shù)木_度。但重要的是，他們預(yù)測(cè)，最終構(gòu)建出的芯片將比GPU的能效高280倍，而且在每平方毫米面積上實(shí)現(xiàn)的算力將達(dá)到CPU的100倍。值得注意的是，研究人員還沒有完全構(gòu)建出這一芯片。

雖然在測(cè)試中使用了真正的PCM單元，但其它組件是在計(jì)算機(jī)上模擬的。Ambrogio表示，他們希望在投入時(shí)間和精力打造完整的芯片之前，先檢查一下這種方法是否可行。他說，他們決定使用真正的PCM設(shè)備，因?yàn)閷?duì)這些設(shè)備的模擬還不太可靠，但其它組件的模擬技術(shù)已經(jīng)很成熟了，他們有信心基于這個(gè)設(shè)計(jì)建立一個(gè)完整的芯片。

它目前也只能在全連接神經(jīng)網(wǎng)絡(luò)上與GPU競(jìng)爭(zhēng)，在這個(gè)神經(jīng)網(wǎng)絡(luò)中，每個(gè)神經(jīng)元都與上一層的神經(jīng)元相連接，Ambrogio說。但實(shí)際上許多神經(jīng)網(wǎng)絡(luò)并沒有完全連接，或者只有某些層完全連接在一起。

但Ambrogio說，最終的芯片將被設(shè)計(jì)成可以與GPU合作的形式，從而在處理其它連接時(shí)也能夠處理全連接層的計(jì)算。他還認(rèn)為，這種處理全連接層的更有效的方法可以被更廣泛地應(yīng)用。

這樣的專用芯片能夠使哪些事情成為可能？

Ambrogio說，有兩個(gè)主要的應(yīng)用：一是將人工智能應(yīng)用到個(gè)人設(shè)備上，二是使數(shù)據(jù)中心更加高效。后者是大型科技公司的一大擔(dān)憂，因?yàn)樗鼈兊姆?wù)器消耗了大量的電費(fèi)。

如果直接在個(gè)人設(shè)備上應(yīng)用人工智能，用戶就可以不必在云端分享他們的數(shù)據(jù)，從而增加隱私性，但Ambrogio說，更令人興奮的前景是人工智能的個(gè)性化。

他說：“在你的汽車或智能手機(jī)上應(yīng)用這個(gè)神經(jīng)網(wǎng)絡(luò)，它們就能夠不斷地從你的經(jīng)驗(yàn)中學(xué)習(xí)?！?/p>

“你的手機(jī)會(huì)專門針對(duì)你的聲音進(jìn)行個(gè)性化，你的汽車也會(huì)根據(jù)你的習(xí)慣形成獨(dú)特的駕駛方式?！?/p>

未來智能實(shí)驗(yàn)室是人工智能學(xué)家與科學(xué)院相關(guān)機(jī)構(gòu)聯(lián)合成立的人工智能，互聯(lián)網(wǎng)和腦科學(xué)交叉研究機(jī)構(gòu)。

未來智能實(shí)驗(yàn)室的主要工作包括：建立AI智能系統(tǒng)智商評(píng)測(cè)體系，開展世界人工智能智商評(píng)測(cè)；開展互聯(lián)網(wǎng)（城市）云腦研究計(jì)劃，構(gòu)建互聯(lián)網(wǎng)（城市）云腦技術(shù)和企業(yè)圖譜，為提升企業(yè)，行業(yè)與城市的智能水平服務(wù)。