神經(jīng)形態(tài)芯片作為AI加速器正式神經(jīng)形態(tài)基準(zhǔn)鋪平道路

英特爾首次展示了將神經(jīng)形態(tài)芯片Loihi與經(jīng)典計(jì)算和主流深度學(xué)習(xí)加速器進(jìn)行比較的性能結(jié)果摘要。結(jié)果表明，盡管Loihi可能無(wú)法提供比其他前饋神經(jīng)網(wǎng)絡(luò)方法更多的優(yōu)勢(shì)，但對(duì)于其他工作負(fù)載（例如遞歸神經(jīng)網(wǎng)絡(luò)）卻可以實(shí)現(xiàn)較大的延遲和功率效率增益。英特爾希望第一組定量結(jié)果將為開(kāi)發(fā)適用于所有類(lèi)型神經(jīng)形態(tài)硬件的正式神經(jīng)形態(tài)基準(zhǔn)鋪平道路。

英特爾已經(jīng)將其Loihi芯片與其他計(jì)算架構(gòu)進(jìn)行了基準(zhǔn)測(cè)試（圖片來(lái)源：英特爾）

“經(jīng)過(guò)數(shù)十年的神經(jīng)形態(tài)研究，人們對(duì)令人驚嘆的AI功能，效率的巨大突破做出了許多承諾，但是很少有公開(kāi)的定量結(jié)果來(lái)表明這是否是真實(shí)的，如果是的話(huà)，我們到底從哪里得到這些信息？有收獲嗎？”英特爾神經(jīng)形態(tài)研究主管Mike Davies告訴EE Times。

他繼續(xù)說(shuō)：“這是我們研究計(jì)劃中的任務(wù)，在我們?cè)噲D將技術(shù)迅速推向商業(yè)應(yīng)用之前，我們正在采取一種有條不紊的，有條不紊的研究方法，在此我們首先要了解許多不同方向中的哪一個(gè)。就神經(jīng)科學(xué)的啟發(fā)而言，這實(shí)際上可以產(chǎn)生最令人信服的結(jié)果。”

深度學(xué)習(xí)比較
真的有可能在神經(jīng)形態(tài)芯片和其他計(jì)算硬件的結(jié)果之間進(jìn)行有意義的比較嗎？通常會(huì)演示神經(jīng)形態(tài)硬件運(yùn)行諸如尖峰神經(jīng)網(wǎng)絡(luò)之類(lèi)的“外來(lái)”算法，這與深度學(xué)習(xí)中發(fā)現(xiàn)的算法類(lèi)型非常不同。

戴維斯說(shuō)：“關(guān)于神經(jīng)形態(tài)研究存在困惑，因?yàn)槲覀兛梢栽谙馤oihi這樣的神經(jīng)形態(tài)芯片上運(yùn)行的東西與這些深度學(xué)習(xí)模型的作用之間存在重疊?！薄霸诙鄠€(gè)方面，我們有多種方法可以從深度學(xué)習(xí)社區(qū)中提取學(xué)習(xí)內(nèi)容，并將其導(dǎo)入神經(jīng)形態(tài)世界。”

英特爾神經(jīng)形態(tài)研究社區(qū)（INRC）是一個(gè)由100多家使用英特爾Loihi硬件探索神經(jīng)形態(tài)計(jì)算的公司組成的社區(qū)，作為這項(xiàng)工作的一部分，它能夠在Loihi上運(yùn)行深度學(xué)習(xí)算法。算法可能是現(xiàn)有的以常規(guī)方式訓(xùn)練的深度學(xué)習(xí)網(wǎng)絡(luò)，然后轉(zhuǎn)換為L(zhǎng)oihi可以使用的格式，因此可以對(duì)其進(jìn)行基準(zhǔn)測(cè)試。這是一種方法，但是實(shí)際上可以在Loihi上運(yùn)行深度學(xué)習(xí)算法的其他幾種方法（下圖中的區(qū)域1）。

一種是使用反向傳播，它是使深度學(xué)習(xí)取得成功的一種算法技術(shù)，因?yàn)樗梢栽谟?xùn)練過(guò)程中對(duì)權(quán)重進(jìn)行微調(diào)。經(jīng)常由神經(jīng)形態(tài)芯片（尖峰神經(jīng)網(wǎng)絡(luò)）運(yùn)行的網(wǎng)絡(luò)類(lèi)型可以配制成數(shù)學(xué)上可微分的形式，允許應(yīng)用反向傳播以?xún)?yōu)化結(jié)果。

另一個(gè)選擇是嘗試在芯片上執(zhí)行反向傳播，這相當(dāng)于當(dāng)今（離線(xiàn)）訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方式，但是用于基于采集的數(shù)據(jù)在現(xiàn)場(chǎng)進(jìn)行增量訓(xùn)練。

神經(jīng)科學(xué)啟發(fā)的方法與機(jī)器學(xué)習(xí)之間的算法交叉。區(qū)域1代表深度學(xué)習(xí)。區(qū)域2是神經(jīng)形態(tài)算法，例如尖峰神經(jīng)網(wǎng)絡(luò)。區(qū)域3是目標(biāo)-基于來(lái)自區(qū)域1和2的實(shí)驗(yàn)方法的算法，這些算法已經(jīng)數(shù)學(xué)上形式化，因此可以應(yīng)用于其他類(lèi)型的問(wèn)題。圖片：英特爾）

基準(zhǔn)測(cè)試結(jié)果結(jié)果
英特爾在INRC成員發(fā)表的論文（以下）上繪制了性能（潛伏期和功耗）結(jié)果圖表，其中包括Loihi與CPU，GPU，Movidius神經(jīng)計(jì)算棒或IBM的Truemorph North Neuromorphic技術(shù)之間的量化比較。所有結(jié)果均適用于數(shù)據(jù)樣本一一到達(dá)（批大小為1）的應(yīng)用，類(lèi)似于實(shí)時(shí)生物系統(tǒng)。

Loihi系統(tǒng)與其他類(lèi)型計(jì)算的實(shí)驗(yàn)結(jié)果。標(biāo)記的大小代表神經(jīng)網(wǎng)絡(luò)的相對(duì)大?。▓D片來(lái)源：英特爾）

戴維斯說(shuō)：“這些[數(shù)據(jù)點(diǎn)]中的每一個(gè)都需要大量的工作，這就是為什么迄今為止在神經(jīng)形態(tài)領(lǐng)域還沒(méi)有完成太多工作的原因?！薄耙@得這些測(cè)量值，找到正確的基線(xiàn)比較點(diǎn)并真正完成這項(xiàng)嚴(yán)格的工作非常困難。但是我們一直在敦促合作者做到這一點(diǎn)，因?yàn)閾碛羞@樣的情節(jié)非常令人興奮?！?/p>

圖上每個(gè)點(diǎn)的大小代表網(wǎng)絡(luò)的大小；較大的標(biāo)記使用更多的Loihi籌碼，最大的代表500多個(gè)籌碼）。將這些Loihi系統(tǒng)與單個(gè)計(jì)算子系統(tǒng)（單個(gè)CPU / GPU加上內(nèi)存）進(jìn)行了比較。Davies說(shuō)，要進(jìn)行蘋(píng)果之間的比較并不容易，因?yàn)镃PU可以添加DRAM來(lái)幫助擴(kuò)展，而Loihi只能添加更多的Loihi芯片。

每個(gè)系統(tǒng)中是否可以有更多的計(jì)算芯片來(lái)改善CPU和GPU的性能？

戴維斯說(shuō)：“對(duì)于這種規(guī)模的網(wǎng)絡(luò)，這是不可能的?！薄鞍闯Ｒ?guī)標(biāo)準(zhǔn)，支配該圖的小數(shù)據(jù)點(diǎn)都是很小的網(wǎng)絡(luò)……總的來(lái)說(shuō)，對(duì)于我們正在研究的問(wèn)題類(lèi)型，它們并不能很好地并行化。Loihi實(shí)現(xiàn)能夠很好??地?cái)U(kuò)展的原因是因?yàn)榇嬖诜浅＞?xì)的規(guī)模并行性，并且神經(jīng)元之間的通信發(fā)生在微微秒的規(guī)模上，并且體系結(jié)構(gòu)能夠?qū)Υ诉M(jìn)行處理?！?/p>

高度精細(xì)的并行通信是Loihi架構(gòu)的基礎(chǔ)。常規(guī)體系結(jié)構(gòu)將粗粒度的工作塊分開(kāi)，以使工作負(fù)載并行化。對(duì)于深度學(xué)習(xí)，這通常是通過(guò)分批完成的。Davies說(shuō)，這種技術(shù)在這里無(wú)濟(jì)于事，因?yàn)殛P(guān)鍵指標(biāo)是處理單個(gè)數(shù)據(jù)樣本的延遲。

到目前為止獲得的結(jié)果的關(guān)鍵見(jiàn)解是，Loihi對(duì)于前饋網(wǎng)絡(luò)幾乎沒(méi)有提供性能優(yōu)勢(shì)，前饋網(wǎng)絡(luò)是一種廣泛用于主流深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，因?yàn)樗鼈兏菀自诔Ｒ?guī)深度學(xué)習(xí)加速器硬件上進(jìn)行訓(xùn)練（見(jiàn)圖）下面）。

戴維斯說(shuō)：“非常值得注意的是，數(shù)據(jù)點(diǎn)如此干凈地分離，前饋網(wǎng)絡(luò)提供的吸引力最小，在某些情況下，Loihi更糟?！?/p>

在Loihi系統(tǒng)上運(yùn)行遞歸神經(jīng)網(wǎng)絡(luò)可獲得最大的收益，在該系統(tǒng)中，性能降低了1000到10,000倍，解決時(shí)間提高了100倍。

Loihi系統(tǒng)與其他類(lèi)型的計(jì)算的實(shí)驗(yàn)結(jié)果，突出顯示了哪些工作負(fù)載是前饋網(wǎng)絡(luò)。標(biāo)記的大小代表神經(jīng)網(wǎng)絡(luò)的相對(duì)大?。▓D片來(lái)源：英特爾）

未來(lái)的基準(zhǔn)測(cè)試
英特爾宣布打算將其用于此類(lèi)工作的軟件開(kāi)源，從而邁出了邁向神經(jīng)形態(tài)基準(zhǔn)測(cè)試的第一步。將此代碼開(kāi)源，將允許其他人在其神經(jīng)形態(tài)平臺(tái)上運(yùn)行相同的工作負(fù)載，并降低進(jìn)入神經(jīng)形態(tài)計(jì)算和INRC的障礙。

戴維斯說(shuō)：“我們很高興能夠開(kāi)始比較不同組的神經(jīng)形態(tài)芯片得到的結(jié)果?！薄暗菍?duì)我們而言，最初的工作重點(diǎn)是針對(duì)常規(guī)體系結(jié)構(gòu)進(jìn)行基準(zhǔn)測(cè)試，以了解我們應(yīng)將什么放入神經(jīng)形態(tài)基準(zhǔn)套件中，然后再用于推動(dòng)神經(jīng)形態(tài)領(lǐng)域的進(jìn)步?！?/p>

未來(lái)神經(jīng)形態(tài)基準(zhǔn)測(cè)試的很大一部分是了解應(yīng)包括哪些類(lèi)型的算法。對(duì)于深度學(xué)習(xí)，候選人更為明顯– ResNet-50的使用如此廣泛，以至于它已成為事實(shí)上的基準(zhǔn)。在神經(jīng)形態(tài)空間中沒(méi)有等效項(xiàng)，因?yàn)樗臃稚?，并且硬件更具算法特定性?/p>

“我認(rèn)為重要的是，我們要從這類(lèi)新興的工作負(fù)載中建立實(shí)際的方法，正式的基準(zhǔn)測(cè)試，在這些工作負(fù)載中，我們可以看到神經(jīng)形態(tài)硬件的好處，并在那里進(jìn)行標(biāo)準(zhǔn)化。但是我認(rèn)為這是下一步?！贝骶S斯說(shuō)?！拔覀儺?dāng)然希望在這個(gè)方向上領(lǐng)導(dǎo)這一領(lǐng)域。為了使之成為可能，還需要進(jìn)行進(jìn)一步的融合，尤其是在軟件方面?！?/p>

通過(guò)這些結(jié)果，英特爾希望證明Loihi可以在一系列復(fù)雜的，困難的，以大腦為靈感的工作負(fù)載上提供巨大的性能提升，即使它尚不知道這些工作負(fù)載的外觀(guān)如何。

戴維斯說(shuō)：“在英特爾，我們的目標(biāo)比其他任何事情都重要，要確保這是各種各樣的工作負(fù)載。”“我們不打算制造用于約束滿(mǎn)足解決方案的點(diǎn)加速器，也不是機(jī)器人手臂操縱器。我們希望這是一種類(lèi)似于CPU或GPU的新型計(jì)算機(jī)體系結(jié)構(gòu)，但是如果優(yōu)化得當(dāng)，它將固有地很好地運(yùn)行各種大腦啟發(fā)的智能工作負(fù)載?！?br /> 編輯：hfy