神經(jīng)模態(tài)芯片發(fā)展的方向 神經(jīng)模態(tài)芯片技術(shù)解析

Intel發(fā)布了基于其神經(jīng)模態(tài)（neuromorphic）計(jì)算芯片Loihi的加速卡Pohoiki Beach，該加速卡包含了64塊Loihi芯片，共含有八百多萬(wàn)個(gè)神經(jīng)元。繼IBM發(fā)布True North、Intel發(fā)布Loihi之后，Pohoiki Beach又一次讓神經(jīng)模態(tài)計(jì)算走進(jìn)了聚光燈下。本文將為讀者重點(diǎn)介紹神經(jīng)模態(tài)計(jì)算芯片的發(fā)展前景以及市場(chǎng)情況——事實(shí)上除了IBM和Intel之外，一些優(yōu)秀的初創(chuàng)公司如aiCTX等也正在積極探索超低功耗神經(jīng)模態(tài)芯片在不同領(lǐng)域的應(yīng)用，我們認(rèn)為在未來(lái)幾年內(nèi)隨著AI+IoT的發(fā)展，神經(jīng)模態(tài)計(jì)算將會(huì)迎來(lái)一波新的熱潮。

Intel發(fā)布的Pohoiki Beach加速卡，含有64塊Loihi芯片

讓IBM和Intel爭(zhēng)相投資的神經(jīng)模態(tài)計(jì)算究竟是什么

神經(jīng)模態(tài)計(jì)算是一種從生物神經(jīng)元獲得啟發(fā)的計(jì)算方式。在生物學(xué)中，神經(jīng)細(xì)胞之間的工作原理大致可以概括為：當(dāng)一個(gè)神經(jīng)元中積累的電荷數(shù)量足夠多時(shí)，將會(huì)發(fā)射出脈沖，該脈沖一方面清空了發(fā)射脈沖神經(jīng)元內(nèi)部的電荷，另一方面脈沖會(huì)沿著神經(jīng)突觸進(jìn)入其他神經(jīng)元，并在其他神經(jīng)元中積累電荷，如此反復(fù)。大量神經(jīng)元和突觸之間形成的網(wǎng)絡(luò)就是神經(jīng)網(wǎng)絡(luò)，而脈沖可以認(rèn)為是神經(jīng)元之間傳遞信息的方法；另一方面神經(jīng)元A和神經(jīng)元B突觸之間連接的強(qiáng)度則決定了當(dāng)神經(jīng)元A發(fā)射脈沖時(shí)，會(huì)有多少電荷進(jìn)入神經(jīng)元B。而神經(jīng)模態(tài)計(jì)算可以認(rèn)為就是重現(xiàn)了這樣的一個(gè)過(guò)程，它使用電路來(lái)實(shí)現(xiàn)神經(jīng)元和神經(jīng)突觸以及神經(jīng)網(wǎng)絡(luò)，并且模仿生物神經(jīng)元之間使用脈沖通信的工作方式。

提起神經(jīng)網(wǎng)絡(luò)，大家一定非常熟悉，因?yàn)榻裉斓玫綇V泛應(yīng)用的深度學(xué)習(xí)人工智能正是基于神經(jīng)網(wǎng)絡(luò)。那么神經(jīng)模態(tài)計(jì)算中的神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)是否是一個(gè)東西？從原理上說(shuō)，兩者是一致的，兩者都是在模仿生物神經(jīng)元之間連接和通信的過(guò)程，區(qū)別在于深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)是從較抽象的角度來(lái)描述生物神經(jīng)網(wǎng)絡(luò)，而神經(jīng)模態(tài)計(jì)算則更貼近真正的生物神經(jīng)網(wǎng)絡(luò)。舉例來(lái)說(shuō)，深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)中也有神經(jīng)元以及神經(jīng)元激活的概念，在前饋過(guò)程中每個(gè)神經(jīng)元的輸出值即該過(guò)程中該神經(jīng)元被激活的次數(shù)，而神經(jīng)元之間的連接強(qiáng)度則用網(wǎng)絡(luò)權(quán)重來(lái)表征，每個(gè)神經(jīng)元的輸出乘以網(wǎng)絡(luò)權(quán)重再傳播給下一層的神經(jīng)元，因此可以認(rèn)為深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)是使用數(shù)學(xué)計(jì)算的方法在模仿生物神經(jīng)系統(tǒng)。與之相對(duì)，神經(jīng)模態(tài)計(jì)算的前饋過(guò)程中，每個(gè)神經(jīng)元電路模塊每被激活一次就會(huì)真的發(fā)射出一個(gè)電脈沖（而不是直接輸出整個(gè)前饋過(guò)程中被激活的）并傳播給相連的其他神經(jīng)元，因此可以認(rèn)為神經(jīng)模態(tài)計(jì)算是在真正重現(xiàn)生物神經(jīng)系統(tǒng)的物理過(guò)程。

為什么神經(jīng)模態(tài)計(jì)算得到了這么多重視？目前來(lái)看，首先人類的大腦還有太多未解之謎，今天的深度學(xué)習(xí)僅僅能實(shí)現(xiàn)人類大腦極小一部分的功能，距離人類的智能還有非常遠(yuǎn)的距離，而使用神經(jīng)模態(tài)計(jì)算直接模仿神經(jīng)元系統(tǒng)在人工神經(jīng)元數(shù)量足夠多時(shí)，或許有希望能實(shí)現(xiàn)比起深度學(xué)習(xí)更好的效果，更接近人類的大腦。此外，從實(shí)際的應(yīng)用角度出發(fā)，目前深度學(xué)習(xí)計(jì)算在部署上遇到的困難是能效比和延遲問(wèn)題，在對(duì)于功耗要求非常低的領(lǐng)域（如物聯(lián)網(wǎng)等）以及對(duì)于延遲要求非常高的領(lǐng)域（如無(wú)人駕駛等）部署深度學(xué)習(xí)會(huì)遇到很大的挑戰(zhàn)。而神經(jīng)模態(tài)計(jì)算則可以解決這兩大問(wèn)題。

首先，深度學(xué)習(xí)由于是從數(shù)學(xué)上模仿神經(jīng)系統(tǒng)，因此神經(jīng)元被激活的次數(shù)事實(shí)上對(duì)于計(jì)算的功耗改變不大。例如神經(jīng)元被激活兩次還是四次，在深度學(xué)習(xí)里無(wú)非是該神經(jīng)元的輸出是2還是4，這只是一個(gè)乘法運(yùn)算的輸入改變，幾乎不改變乘法計(jì)算的功耗。但是，如果使用神經(jīng)模態(tài)計(jì)算，那么神經(jīng)元被激活兩次相比神經(jīng)元被激活四次可以少發(fā)射兩次脈沖，這樣就節(jié)省了功耗，因此神經(jīng)模態(tài)計(jì)算也可以說(shuō)是利用了其“事件驅(qū)動(dòng)”的特性來(lái)降低功耗。

因此，神經(jīng)模態(tài)計(jì)算的一大優(yōu)勢(shì)就是其計(jì)算功耗與輸入有關(guān)，在輸入不會(huì)激活大量神經(jīng)元的情況下，其功耗可以做到非常低；相反使用深度學(xué)習(xí)則無(wú)論神經(jīng)元被激活的程度，其功耗幾乎是一樣的。對(duì)于物聯(lián)網(wǎng)應(yīng)用來(lái)說(shuō)，許多場(chǎng)景或許99%以上的時(shí)間并沒(méi)有事件發(fā)生，神經(jīng)模態(tài)計(jì)算可以利用這樣的規(guī)律，僅僅在需要的時(shí)候激活神經(jīng)元消費(fèi)能量來(lái)完成事件識(shí)別，而在其他沒(méi)有事件的時(shí)候由于神經(jīng)元未被激活因此功耗很低，從而實(shí)現(xiàn)遠(yuǎn)低于深度學(xué)習(xí)芯片的平均功耗。另一個(gè)神經(jīng)模態(tài)計(jì)算的優(yōu)勢(shì)是存算一體，這是因?yàn)樯窠?jīng)模態(tài)計(jì)算并非常規(guī)的馮諾伊曼架構(gòu)，神經(jīng)模態(tài)計(jì)算芯片一般也不會(huì)搭配DRAM使用，而是直接將信息儲(chǔ)存在了神經(jīng)元里（相當(dāng)于生物神經(jīng)網(wǎng)絡(luò)中每個(gè)神經(jīng)元儲(chǔ)存的電荷）。這樣就避免了內(nèi)存墻帶來(lái)的功耗和延遲問(wèn)題，因此神經(jīng)模態(tài)計(jì)算芯片的延遲和能效比都會(huì)好于傳統(tǒng)的深度學(xué)習(xí)。

神經(jīng)模態(tài)芯片發(fā)展的方向

神經(jīng)模態(tài)芯片的發(fā)展方向首先是規(guī)模化，即擴(kuò)大神經(jīng)元的規(guī)模，這也是Intel和IBM等大廠主要押注的方向。如果我們回顧深度學(xué)習(xí)的發(fā)展歷程，我們會(huì)發(fā)現(xiàn)其實(shí)神經(jīng)網(wǎng)絡(luò)的原理早在上世紀(jì)60年代就已初見(jiàn)雛形，但是由于訓(xùn)練數(shù)據(jù)量不夠以及算力不夠，因此直到2012年才被人們重新發(fā)現(xiàn)，并且發(fā)現(xiàn)了眾多之前完全沒(méi)有想到的應(yīng)用場(chǎng)景和市場(chǎng)。對(duì)于神經(jīng)模態(tài)計(jì)算，大廠押注的也是類似的情況：神經(jīng)模態(tài)計(jì)算的原理看起來(lái)是正確的（尤其是今天深度學(xué)習(xí)已經(jīng)獲得了很大的成功，那么基于相似原理的神經(jīng)模態(tài)計(jì)算應(yīng)該不會(huì)很不靠譜），目前或許只要把神經(jīng)元的數(shù)量和神經(jīng)突觸連接數(shù)量跨過(guò)一個(gè)閾值（就像當(dāng)年AlexNet跨過(guò)網(wǎng)絡(luò)深度的門(mén)檻一樣），那么神經(jīng)模態(tài)計(jì)算就有可能爆發(fā)出巨大的能量，甚至遠(yuǎn)超之前的想象。這次Intel發(fā)布的超過(guò)八百萬(wàn)神經(jīng)元的Pohoiki Beach系統(tǒng)顯然就是在往規(guī)?；姆较虼罅Πl(fā)展。根據(jù)Intel的官方消息，下一步將繼續(xù)發(fā)布神經(jīng)元數(shù)量更大的Pohoiki Spring計(jì)劃，可見(jiàn)Intel是在往大規(guī)模神經(jīng)模態(tài)計(jì)算的方向大力推進(jìn)。

除了發(fā)展規(guī)模化之外，另一個(gè)方向就是利用神經(jīng)模態(tài)計(jì)算低功耗和低延遲的特點(diǎn)并進(jìn)一步優(yōu)化芯片設(shè)計(jì)來(lái)開(kāi)發(fā)出高能效比低延遲的芯片。這類芯片或許神經(jīng)元數(shù)量不多，但是可以實(shí)現(xiàn)非常低的功耗和非常好的能效比，從而可以部署在傳統(tǒng)深度學(xué)習(xí)無(wú)法部署的場(chǎng)景。事實(shí)上，目前如何高效訓(xùn)練大規(guī)模神經(jīng)模態(tài)神經(jīng)元的算法還沒(méi)有找到，因此在現(xiàn)有訓(xùn)練框架的基礎(chǔ)下，或許優(yōu)先把能效比做到極致是比把神經(jīng)元數(shù)量做大更接地氣的方向。瑞士蘇黎世理工大學(xué)的Giacomo Indiveri教授就是這個(gè)方向的代表性人物，研究組在十?dāng)?shù)年內(nèi)已經(jīng)發(fā)表了多篇電路和系統(tǒng)論文，其研發(fā)的芯片作為歐洲神經(jīng)模態(tài)計(jì)算研究的代表性工作在2018年ISSCC主題演講中被重點(diǎn)介紹。

Indiveri組的神經(jīng)模態(tài)計(jì)算芯片在2018年ISSCC主題演講中被重點(diǎn)提及

神經(jīng)模態(tài)芯片如何商業(yè)化落地

神經(jīng)模態(tài)芯片近幾年來(lái)的落地方向按照神經(jīng)元規(guī)?？梢苑殖蓛深?。

對(duì)于Intel和IBM這類在大規(guī)模神經(jīng)元領(lǐng)域大量投資的公司，事實(shí)上也并不急著在幾年內(nèi)讓神經(jīng)模態(tài)芯片系統(tǒng)落地，而是希望在這幾年內(nèi)把神經(jīng)模態(tài)計(jì)算的研究、生態(tài)先做起來(lái)，等到神經(jīng)模態(tài)計(jì)算研究取得突破（例如神經(jīng)元跨過(guò)了某個(gè)閾值或者新的訓(xùn)練算法出現(xiàn)，在一些關(guān)鍵領(lǐng)域能解決其他方法無(wú)法解決的問(wèn)題）時(shí)就能獲得先機(jī)。在近幾年，大規(guī)模神經(jīng)模態(tài)計(jì)算芯片的主要應(yīng)用估計(jì)還是在研究上，包括作為腦科學(xué)研究（模擬大腦神經(jīng)系統(tǒng)）系統(tǒng)平臺(tái)供各大高校和研究機(jī)構(gòu)使用。另外，Intel和IBM估計(jì)也在積極尋找一些傳統(tǒng)圖靈機(jī)算法和馮諾伊曼架構(gòu)難以高效處理但適合神經(jīng)模態(tài)計(jì)算的問(wèn)題（例如優(yōu)化問(wèn)題等），和其他有需求的行業(yè)公司合作，以此作為神經(jīng)模態(tài)計(jì)算的初步落地嘗試。

另一方面，在中等規(guī)模神經(jīng)元規(guī)模、主打低功耗的神經(jīng)模態(tài)芯片方向上，最近興起的物聯(lián)網(wǎng)將會(huì)成為最佳的落地應(yīng)用。物聯(lián)網(wǎng)配合人工智能將會(huì)給社會(huì)帶來(lái)巨大的變化，然而目前基于深度學(xué)習(xí)的芯片難以實(shí)現(xiàn)物聯(lián)網(wǎng)對(duì)于低功耗的需求（小于毫瓦級(jí)的功耗）。這時(shí)候就是神經(jīng)模態(tài)芯片大展身手的地方。在這個(gè)方向上，技術(shù)和商業(yè)化都較領(lǐng)先的是位于瑞士初創(chuàng)公司的aiCTX，該公司的技術(shù)來(lái)自于前述蘇黎世理工大學(xué)Indiveri組的研究，其芯片平均功耗可以到達(dá)微瓦數(shù)量級(jí)，目前主打的場(chǎng)景就是超低功耗物聯(lián)網(wǎng)場(chǎng)景，包括邊緣視覺(jué)應(yīng)用（安防、機(jī)器人等場(chǎng)景）、可穿戴設(shè)備等等。不久前aiCTX剛發(fā)布了含有一百萬(wàn)神經(jīng)元的芯片DynapCNN，并且獲得了CES Asia 2019頒發(fā)的創(chuàng)新獎(jiǎng)。

在中國(guó)，神經(jīng)模態(tài)芯片也得到了國(guó)家和業(yè)界的重視。在研究方面，清華類腦計(jì)算中心做出了卓越的貢獻(xiàn)，其工作發(fā)表在全球頂級(jí)期刊和會(huì)議上。上海也于今年建立了上海腦科學(xué)與類腦研究中心，神經(jīng)模態(tài)計(jì)算是該中心的重點(diǎn)方向之一。在商業(yè)化方面，清華類腦計(jì)算中心孵化的初創(chuàng)公司靈汐科技在今年發(fā)布了自主研發(fā)的“天機(jī)二代”芯片系統(tǒng)，使用眾核存算一體架構(gòu)，具有高速度、高性能、低功耗的特點(diǎn)。相比國(guó)外同行，我國(guó)的神經(jīng)模態(tài)計(jì)算在

在中國(guó)，神經(jīng)模態(tài)芯片也得到了國(guó)家和業(yè)界的重視。在研究方面，清華類腦計(jì)算中心做出了卓越的貢獻(xiàn)，其工作發(fā)表在全球頂級(jí)期刊和會(huì)議上。上海也于今年建立了上海腦科學(xué)與類腦研究中心，神經(jīng)模態(tài)計(jì)算是該中心的重點(diǎn)方向之一。在商業(yè)化方面，清華類腦計(jì)算中心孵化的初創(chuàng)公司靈汐科技在今年發(fā)布了自主研發(fā)的“天機(jī)二代”芯片系統(tǒng)，使用眾核存算一體架構(gòu)，具有高速度、高性能、低功耗的特點(diǎn)。相比國(guó)外同行，我國(guó)的神經(jīng)模態(tài)計(jì)算在最近幾年得到了來(lái)自國(guó)家非常高的重視，相信在未來(lái)幾年內(nèi)將會(huì)有全球領(lǐng)先的成果誕生。