神經(jīng)擬態(tài)計算是如何降耗的

自計算機問世以來，運算效能與能耗消耗兩大議題始終困擾著計算產(chǎn)業(yè)。在人工智能崛起的背景下，全球各地科研機構(gòu)及相關(guān)公司積極探索提高處理器算力的新方法，神經(jīng)擬態(tài)處理器即是一種創(chuàng)新嘗試。

如何模仿大腦思維？

神經(jīng)擬態(tài)計算，即模擬和探索人腦神經(jīng)網(wǎng)絡(luò)及其運作規(guī)律的領(lǐng)域，我們將之稱為類腦計算或神經(jīng)形態(tài)計算。數(shù)十年來，科學(xué)家們致力于復(fù)刻生物神經(jīng)元的多功能運算模式，以期研發(fā)出高效能且低功耗的機器學(xué)習(xí)系統(tǒng)。

歷經(jīng)多年探索，業(yè)界已形成三種神經(jīng)擬態(tài)處理器的實現(xiàn)路徑。一為數(shù)字CMOS型，通過邏輯門電路模擬生物單元行為；二為數(shù)模混合的CMOS型，借助亞閾值模擬電路呈現(xiàn)生物神經(jīng)元特性；前兩者均基于硅基晶體管。第三種則是研發(fā)新型器件，如憶阻器、相變存儲器、鐵電器件、磁隧道結(jié)、離子?xùn)趴鼐w管等，并采用非硅基材料。

然而，目前大部分研究尚未實現(xiàn)商業(yè)化生產(chǎn)。英特爾作為眾多研究機構(gòu)中的佼佼者，選擇了第一種實現(xiàn)方式——用晶體管模擬人類神經(jīng)元功能。其中，如何讓處理器達到類似人腦的節(jié)能效果，便是他們的重要研究課題。

德國海德堡大學(xué)物理學(xué)家卡爾海因茨·邁耶（Karlheinz Meier）指出，相比計算機，人腦具有三大優(yōu)勢：低能耗，僅需約20瓦特的能量。

今年四月，英特爾推出神經(jīng)擬態(tài)系統(tǒng)Hala Point。據(jù)稱，該系統(tǒng)在處理AI推理負(fù)載和優(yōu)化問題方面，速度較常規(guī)CPU和GPU架構(gòu)快50倍，而能耗卻降低了100倍。近日，英特爾中國研究院院長宋繼強向中國電子報記者詳解了該系統(tǒng)模擬人腦節(jié)能的實現(xiàn)原理。他首先解釋了市場上常見芯片系統(tǒng)的頻率特征：通常提及的CPU主頻，如5GHz，代表同步時鐘的頻率，即芯片內(nèi)所有邏輯門、存儲均以此頻率運行，或在此基礎(chǔ)上進行降級。例如，總線頻率可能低于CPU主頻，I/O接口頻率更低，但總體來看，同一芯片內(nèi)所有組件均受同步時鐘驅(qū)動，從而實現(xiàn)同時工作。因此，各部件能耗也同步進行。

宋繼強表示，英特爾的神經(jīng)擬態(tài)計算無需同步時鐘，取代之的是“時間步”概念——每當(dāng)任務(wù)結(jié)束，“神經(jīng)元”便依據(jù)預(yù)定順序逐步推進。每個時間步里，信號均由一個神經(jīng)元傳至下一個，以此方式進行傳播和擴散。盡管神經(jīng)擬態(tài)計算要求系統(tǒng)在時間步級別保持同步，但并非所有神經(jīng)元需在所有工作序列中完全同步，允許有些任務(wù)快速處理，有些則緩慢處理。這與人類大腦類似，部分神經(jīng)元負(fù)責(zé)處理嗅覺信息，同時另一部分則處理視覺信息。因此，在神經(jīng)擬態(tài)計算系統(tǒng)中，有任務(wù)執(zhí)行的路徑會消耗電力，其余路徑則處于休眠狀態(tài)。即使是大規(guī)模的神經(jīng)擬態(tài)集群，其運行時神經(jīng)元也僅進行少量并行運算。

該計算系統(tǒng)另一節(jié)能策略在于其存算一體的結(jié)構(gòu)。當(dāng)前市場上計算系統(tǒng)的能源消耗主要集中于計算和數(shù)據(jù)傳輸兩個方面，而神經(jīng)擬態(tài)計算系統(tǒng)通過實現(xiàn)存算一體，成功規(guī)避了傳統(tǒng)核內(nèi)外架構(gòu)在處理大量數(shù)據(jù)傳輸時產(chǎn)生的能量損失。

節(jié)能與否，取決于具體情境

低能耗被視為神經(jīng)擬態(tài)處理器的天然架構(gòu)優(yōu)勢。早在2020年，宋繼強就曾公開宣稱：神經(jīng)擬態(tài)計算在算法及芯片設(shè)計上，可以千分之一以內(nèi)的功耗完成同等效果的模型訓(xùn)練。浙江大學(xué)的唐華錦教授亦認(rèn)同神經(jīng)擬態(tài)芯片為環(huán)保型芯片，因其體積小、功耗低，符合生物進化的根本優(yōu)勢。

然而，根據(jù)Hala Point最新實踐成果，該架構(gòu)處理器的節(jié)能效果與其使用情境密切相關(guān)。宋繼強指出，現(xiàn)階段發(fā)現(xiàn)該系統(tǒng)在處理物流調(diào)度數(shù)據(jù)中心的大規(guī)模優(yōu)化任務(wù)時能效表現(xiàn)最佳，相較于CPU+GPU組合方案節(jié)能高達3000倍。

“但這并非指數(shù)據(jù)中心所有工作負(fù)載，僅針對個別項目?！彼a充道，“我們正努力尋找該系統(tǒng)適用的場景，若賦予其不適宜的任務(wù)，能耗或高于原有處理系統(tǒng)?！?/p>

至于HalaPoint能否解決當(dāng)前大模型訓(xùn)練中的高能耗問題，宋繼強回應(yīng)稱：該系統(tǒng)設(shè)計初衷并非專為大模型服務(wù)，故不適合大規(guī)模數(shù)據(jù)輸入。

ResNet50網(wǎng)絡(luò)（殘差網(wǎng)絡(luò)的一種）是驗證Hala Point節(jié)能效果的典型場景之一。在此類應(yīng)用中，經(jīng)優(yōu)化的Hala Point在達到相同性能前提下，能耗可降至原有方案的百分之一以下。對于某些特定深度的神經(jīng)網(wǎng)絡(luò)，如視覺識別類應(yīng)用，通過在脈沖神經(jīng)網(wǎng)絡(luò)上進行適當(dāng)調(diào)整，結(jié)合硬件層面的適配，同樣有助于降低能耗。

總的來說，該系統(tǒng)在稀疏性局部并發(fā)型應(yīng)用中表現(xiàn)更為出色。目前，市面上大部分神經(jīng)擬態(tài)處理器主要應(yīng)用于機器人、無人機等領(lǐng)域。宋繼強透露，HalaPoint約有一半的應(yīng)用涉及機器人、操控、多模態(tài)視覺等方面。