神經(jīng)模態(tài)芯片發(fā)展的方向

神經(jīng)模態(tài)芯片的發(fā)展方向首先是規(guī)?；磾U(kuò)大神經(jīng)元的規(guī)模，這也是Intel和IBM等大廠主要押注的方向。

如果我們回顧深度學(xué)習(xí)的發(fā)展歷程，我們會發(fā)現(xiàn)其實神經(jīng)網(wǎng)絡(luò)的原理早在上世紀(jì)60年代就已初見雛形，但是由于訓(xùn)練數(shù)據(jù)量不夠以及算力不夠，因此直到2012年才被人們重新發(fā)現(xiàn)，并且發(fā)現(xiàn)了眾多之前完全沒有想到的應(yīng)用場景和市場。對于神經(jīng)模態(tài)計算，大廠押注的也是類似的情況：神經(jīng)模態(tài)計算的原理看起來是正確的（尤其是今天深度學(xué)習(xí)已經(jīng)獲得了很大的成功，那么基于相似原理的神經(jīng)模態(tài)計算應(yīng)該不會很不靠譜），目前或許只要把神經(jīng)元的數(shù)量和神經(jīng)突觸連接數(shù)量跨過一個閾值（就像當(dāng)年AlexNet跨過網(wǎng)絡(luò)深度的門檻一樣），那么神經(jīng)模態(tài)計算就有可能爆發(fā)出巨大的能量，甚至遠(yuǎn)超之前的想象。這次Intel發(fā)布的超過八百萬神經(jīng)元的Pohoiki Beach系統(tǒng)顯然就是在往規(guī)模化的方向大力發(fā)展。

根據(jù)Intel的官方消息，下一步將繼續(xù)發(fā)布神經(jīng)元數(shù)量更大的Pohoiki Spring計劃，可見Intel是在往大規(guī)模神經(jīng)模態(tài)計算的方向大力推進(jìn)。

除了發(fā)展規(guī)?；?，另一個方向就是利用神經(jīng)模態(tài)計算低功耗和低延遲的特點并進(jìn)一步優(yōu)化芯片設(shè)計來開發(fā)出高能效比低延遲的芯片。這類芯片或許神經(jīng)元數(shù)量不多，但是可以實現(xiàn)非常低的功耗和非常好的能效比，從而可以部署在傳統(tǒng)深度學(xué)習(xí)無法部署的場景。事實上，目前如何高效訓(xùn)練大規(guī)模神經(jīng)模態(tài)神經(jīng)元的算法還沒有找到，因此在現(xiàn)有訓(xùn)練框架的基礎(chǔ)下，或許優(yōu)先把能效比做到極致是比把神經(jīng)元數(shù)量做大更接地氣的方向。

瑞士蘇黎世理工大學(xué)的Giacomo Indiveri教授就是這個方向的代表性人物，研究組在十?dāng)?shù)年內(nèi)已經(jīng)發(fā)表了多篇電路和系統(tǒng)論文，其研發(fā)的芯片作為歐洲神經(jīng)模態(tài)計算研究的代表性工作在2018年ISSCC主題演講中被重點介紹。