時(shí)識(shí)科技提出新脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法 助推類(lèi)腦智能產(chǎn)業(yè)落地

近日，SynSense時(shí)識(shí)科技技術(shù)團(tuán)隊(duì)發(fā)表題為“EXODUS： Stable and Efficient Training of Spiking Neural Networks”的文章，在文章中提出了新的脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法EXODUS。研究顯示：EXODUS能夠大大減低訓(xùn)練復(fù)雜程度，更具穩(wěn)定性，并提升了準(zhǔn)確度。

這項(xiàng)研究由SynSense時(shí)識(shí)科技瑞士技術(shù)團(tuán)隊(duì)算法應(yīng)用、機(jī)器學(xué)習(xí)工程師共同完成。具體見(jiàn)：https://arxiv.org/abs/2205.10242v1

Code： https://github.com/synsense/sinabs-exodus

“EXODUS是一種更加嚴(yán)謹(jǐn)?shù)乃惴?，?duì)SLAYER進(jìn)行了優(yōu)化，在多種基準(zhǔn)數(shù)據(jù)集中顯示出了更快速的收斂和更高的準(zhǔn)確性?！?/p>

——SynSense時(shí)識(shí)科技

高級(jí)算法總監(jiān)Sadique Sheik

在如今的機(jī)器學(xué)習(xí)任務(wù)中，功耗正在被置于越來(lái)越重要的地位。受生物大腦啟發(fā)的脈沖神經(jīng)網(wǎng)絡(luò)尤其在連接事件驅(qū)動(dòng)的傳感器及異步硬件時(shí)，顯示出突出的低功耗、低延遲特征。因此，超低功耗脈沖神經(jīng)網(wǎng)絡(luò)也正在被廣泛接受。

研究人員設(shè)計(jì)了不同的方法用于脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練。當(dāng)前，訓(xùn)練脈沖神經(jīng)網(wǎng)絡(luò)所運(yùn)用的基于時(shí)間的反向傳播（BPTT），卻較為耗時(shí)。來(lái)自NUS的Shrestha和Orchard此前提出了一種名為SLAYER的算法，能夠相當(dāng)程度上提升訓(xùn)練速度。然而，SLAYER并未在計(jì)算梯度中將神經(jīng)元膜電位重置機(jī)制納入考量，這也是造成數(shù)值不穩(wěn)定的一大原因。為了對(duì)抗這一缺陷，SLAYER引入了梯度縮放超參數(shù)，并且需要手動(dòng)調(diào)試。

SynSense時(shí)識(shí)科技在最新研究中，對(duì)SLAYER進(jìn)行了改善并設(shè)計(jì)了一種名為EXODUS的算法。EXODUS將神經(jīng)元膜電位重置機(jī)制考慮在內(nèi)，應(yīng)用了隱函數(shù)定理（ Implicit Function Theorem /IFT） 來(lái)計(jì)算梯度，無(wú)需特置梯度縮放，大大減低了訓(xùn)練復(fù)雜程度。

SynSense時(shí)識(shí)科技在此研究過(guò)程中演示了3類(lèi)類(lèi)腦任務(wù)：通過(guò)DVS Gesture、Heidelberg Spiking Digits（HSD）、Spiking speech commands （SSC） ，圍繞EXODUS及SLAYER進(jìn)行了對(duì)比，EXODUS顯示出了較SLAYER更高的準(zhǔn)確性。

驗(yàn)證準(zhǔn)確度提升及訓(xùn)練提速對(duì)比

自成立以來(lái)，SynSense時(shí)識(shí)科技持續(xù)助推類(lèi)腦智能產(chǎn)業(yè)落地，同時(shí)在這一進(jìn)程中，于腦科學(xué)、神經(jīng)網(wǎng)絡(luò)模型、算法、硬件架構(gòu)、芯片設(shè)計(jì)、系統(tǒng)級(jí)設(shè)計(jì)、應(yīng)用、軟件等類(lèi)腦工程相關(guān)的各個(gè)領(lǐng)域持續(xù)創(chuàng)新，對(duì)國(guó)內(nèi)外科研領(lǐng)域產(chǎn)生了積極深刻的影響。SynSense時(shí)識(shí)科技核心團(tuán)隊(duì)在類(lèi)腦芯片領(lǐng)域科研上的實(shí)力位于世界最頂級(jí)的行列，這也將作為強(qiáng)大驅(qū)動(dòng)，加快SynSense時(shí)識(shí)科技類(lèi)腦智能應(yīng)用落地，為類(lèi)腦技術(shù)的更廣泛鋪開(kāi)而形成助力。