脈沖神經(jīng)網(wǎng)絡(luò)成為下一代機器學(xué)習(xí)？

學(xué)習(xí)是人工智能領(lǐng)域的核心問題，對于SNN來說，基于脈沖時間層次的學(xué)習(xí)方法研究，對于通過理論模型來驗證生物神經(jīng)系統(tǒng)的信息處理和學(xué)習(xí)機制是必須的。通過生物可解釋的方式建立人工神經(jīng)系統(tǒng)，科學(xué)家希望可以通過神經(jīng)科學(xué)和行為實驗來達到預(yù)期目的。

脈沖神經(jīng)網(wǎng)絡(luò)將脈沖神經(jīng)元作為計算單元，能夠模仿人類大腦的信息編碼和處理過程。不同于CNN使用具體的值進行信息傳遞，SNN通過脈沖序列中每個脈沖發(fā)射時間進行信息的傳遞，能夠提供稀疏但強大的計算能力。脈沖神經(jīng)元將輸入累積到膜電壓，當(dāng)達到具體閾值時進行脈沖發(fā)射，能夠進行事件驅(qū)動式計算。由于脈沖事件的稀疏性以及事件驅(qū)動的計算形式，SNN能提供卓越的能源利用效率，是神經(jīng)形態(tài)結(jié)構(gòu)的首選神經(jīng)網(wǎng)絡(luò)。

脈沖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式主要包括無監(jiān)督學(xué)習(xí)、監(jiān)督學(xué)習(xí)和強化學(xué)習(xí)等。無監(jiān)督學(xué)習(xí)算法在人類和動物的學(xué)習(xí)中占據(jù)主導(dǎo)地位，人們通過觀察能夠發(fā)現(xiàn)世界的內(nèi)在結(jié)構(gòu)，而不是被告知每一個客觀事物的名稱。人工神經(jīng)網(wǎng)絡(luò)無監(jiān)督學(xué)習(xí)算法的設(shè)計主要是針對無標(biāo)簽數(shù)據(jù)集的訓(xùn)練，要求應(yīng)用無監(jiān)督學(xué)習(xí)規(guī)則對神經(jīng)網(wǎng)絡(luò)中的連接權(quán)值或結(jié)構(gòu)進行自適應(yīng)的調(diào)整。

脈沖神經(jīng)網(wǎng)絡(luò)的監(jiān)督學(xué)習(xí)是指對于給定的多個輸入脈沖序列和多個目標(biāo)脈沖序列，尋找脈沖神經(jīng)網(wǎng)絡(luò)合適的突觸權(quán)值矩陣，使神經(jīng)元的輸出脈沖序列與對應(yīng)的目標(biāo)脈沖序列盡可能接近，即兩者的誤差評價函數(shù)最小。強化學(xué)習(xí)是從環(huán)境狀態(tài)到行為映射的學(xué)習(xí)，以使智能體行為從環(huán)境中獲得的累積獎賞值最大?；谏飭l(fā)的學(xué)習(xí)機制，人工神經(jīng)網(wǎng)絡(luò)強化學(xué)習(xí)的研究重點在于探索智能體的自適應(yīng)優(yōu)化策略，是近年來神經(jīng)網(wǎng)絡(luò)和智能控制領(lǐng)域的主要方法之一。

但我們亟待解決的問題是，在標(biāo)準(zhǔn)的硬件上模擬脈沖神經(jīng)網(wǎng)絡(luò)是計算密集型的，因為這需要模擬微分方程。然而，像IBM的TrueNorth等仿神經(jīng)硬件解決了這個問題，它旨在是通過使用特定硬件模擬神經(jīng)元，該硬件可以利用神經(jīng)元脈沖行為的離散和稀疏特性優(yōu)勢來模擬神經(jīng)元。

脈沖神經(jīng)網(wǎng)絡(luò)的未來尚不明確，一方面，它是循環(huán)神經(jīng)網(wǎng)絡(luò)的天然繼任者；另一方面，對于大多數(shù)任務(wù)來說，這還不是較為實用的工具。脈沖神經(jīng)網(wǎng)絡(luò)在實時圖像和音頻處理領(lǐng)域得到一些實際應(yīng)用，但文獻仍然較少。但是，現(xiàn)在有很多團隊正在從事脈沖神經(jīng)網(wǎng)絡(luò)監(jiān)督學(xué)習(xí)規(guī)則的工作，因此我對其未來發(fā)展保持較為樂觀的態(tài)度。