神經(jīng)形態(tài)電子學(xué)的基礎(chǔ)知識

編者按：EE Times 的神經(jīng)形態(tài)計算特別項目為您提供了您需要了解的有關(guān)神經(jīng)形態(tài)計算機的所有知識，從下面的文章中的基礎(chǔ)知識到它是否是量子計算的橋梁以及介于兩者之間的一切。

我們可以在機器中構(gòu)建多少智能？近幾十年來，我們已經(jīng)取得了長足的進步，但 Siri 和 Alexa 等助手、圖像識別應(yīng)用程序甚至推薦引擎都告訴我們，我們必須走多遠(yuǎn)，以及我們已經(jīng)走了多遠(yuǎn)。對于醫(yī)學(xué)診斷、強大的計算機能力和大量標(biāo)記良好的數(shù)據(jù)等深度學(xué)習(xí)任務(wù)，進展令人驚訝。

但是其余的呢？

我們對人工智能的渴望遠(yuǎn)遠(yuǎn)超出了數(shù)據(jù)科學(xué)。我們希望我們的可穿戴生物傳感器系統(tǒng)能夠立即警告我們可能表明嚴(yán)重健康事件的異常情況，能夠?qū)ψ罹咛魬?zhàn)性的駕駛條件做出實時反應(yīng)的自動駕駛汽車，以及能夠以最小方向行動的自動機器人。我們怎么去那里？

就目前而言，看起來至少我們的移動設(shè)備（在某種程度上）理解了我們，但實際上并沒有。它們只是傳遞我們的聲音，被解碼成文字，然后是請求，然后是行動或答案。這是一個計算密集型過程。

2013 年的一項預(yù)測顯示，“人們每天使用語音識別進行三分鐘的語音搜索將使數(shù)據(jù)中心的計算需求增加一倍，而使用傳統(tǒng) CPU 將非常昂貴?！?這導(dǎo)致 Norman Jouppi 和他在 Google 的同事開發(fā)了張量處理單元 (TPU)，專注于優(yōu)化矩陣乘法的硬件。這有望將神經(jīng)網(wǎng)絡(luò)查詢的電源效率提高 95%。

這些處理器已經(jīng)對基于服務(wù)器的應(yīng)用程序產(chǎn)生了重大影響，但這種方法將所有內(nèi)存和處理集中在數(shù)據(jù)中心。因此，它極大地依賴通信基礎(chǔ)設(shè)施，并且可能會造成浪費，因為時間和精力都花在了交流信息上——其中大部分是無關(guān)緊要的。

進入邊緣計算：我們?nèi)绾螡M足移動和獨立應(yīng)用程序的速度、功率、面積和重量要求？

選擇性復(fù)制生物學(xué)用于機器智能的神經(jīng)網(wǎng)絡(luò)受到生物學(xué)的啟發(fā)（圖 1）。因此，神經(jīng)形態(tài)工程師試圖模仿相同的生物學(xué)來創(chuàng)建能夠以最佳方式運行它的硬件。這種方法為工程師提供了一個可供選擇的大菜單。

其次，大的多對多神經(jīng)元連接是首選，因為它使網(wǎng)絡(luò)更強大。保持傳入信號（例如圖像）幾何形狀的傳感器-處理器管道可能會有所幫助，因為它們允許在處理過程中進行有效的鄰居 - 鄰居交互 - 例如，人類視網(wǎng)膜。將信號值保持在模擬域中是有益的，因為一切都可以同時處理，而不是分解成不同位上的復(fù)雜動作。

最后，將通信時間與神經(jīng)行為相關(guān)聯(lián)——而不是任意時鐘——意味著信號固有地包含更多信息：一起到達(dá)的類似大腦的尖峰通常與相同的事件有關(guān)。

這就是為什么“神經(jīng)擬態(tài)工程”或“神經(jīng)擬態(tài)計算”這個術(shù)語有點模糊的原因。該術(shù)語由加州理工學(xué)院教授 Carver Mead 在 1980 年代后期創(chuàng)造。在接下來的幾十年里，米德和其他人的項目特別關(guān)注使用模擬計算的好處。一個例子是復(fù)制一組蠅眼運動檢測器電路的系統(tǒng)：模擬信號被多個接收器檢測到，然后通過最近鄰交互向側(cè)面?zhèn)鞑?。該系統(tǒng)速度非?？烨夜姆浅５停≧eid Harrison 在 1990 年代后期僅展示了幾微瓦），并展示了保留信號幾何形狀和模擬處理的優(yōu)勢。

“純”神經(jīng)形態(tài)系統(tǒng)的另一個特征是它們頻繁使用地址事件表示或 AER。該通信系統(tǒng)具有傳統(tǒng)網(wǎng)絡(luò)的許多優(yōu)點，同時提供多對多通信，同時保持尖峰定時。

使用 AER，神經(jīng)元在需要依賴其學(xué)習(xí)、行為和剛剛接收到的輸入時發(fā)出尖峰信號。它傳輸?shù)骄W(wǎng)絡(luò)中的所有其他神經(jīng)元，但只有應(yīng)該接收尖峰的神經(jīng)元才會這樣做；所有其他人都忽略它。該網(wǎng)絡(luò)的不同之處在于尖峰之間的間隙相對較大，因此可以認(rèn)為從不同神經(jīng)元大致同時到達(dá)的尖峰是相關(guān)的（圖 2）。

圖 2：地址事件表示是維持神經(jīng)元用來通信的尖峰時間的一種方法——每個神經(jīng)元都沒有直接連接到成百上千的其他神經(jīng)元。只要尖峰出現(xiàn)的可能性足夠低，以至于同時到達(dá)編碼器的尖峰之間幾乎沒有爭用，它就可以工作。

許多神經(jīng)形態(tài)系統(tǒng)使用 AER——法國的 Prophesee 和瑞士公司 aiCTX (AI cortex) 專注于感覺處理。這種方法同樣優(yōu)雅和實用，提供了神經(jīng)元之間硬連線連接的好處，而無需所有連線。這也意味著來自輸入信號的信息可以簡單地實時流過處理器，無關(guān)信息被丟棄，其余信息在神經(jīng)管道中進一步處理。

權(quán)衡盡管這種“經(jīng)典”神經(jīng)形態(tài)技術(shù)具有吸引力，但缺點仍然存在。例如，所有的力量和速度都不是沒有懲罰的。數(shù)字電子產(chǎn)品比模擬電子產(chǎn)品更耗電，正是因為設(shè)備不斷糾正錯誤：將信號強制為 1 或 0。對于模擬電路，這種情況不會發(fā)生，因此由溫度變化、設(shè)備可變性和其他因素引起的誤差和漂移不會消失。結(jié)果可能并不完全?錯誤 ，而只是移位或損壞。

更糟糕的是，電子制造遠(yuǎn)非完美的現(xiàn)實。值得慶幸的是，這對于數(shù)字技術(shù)而言并不重要，因為可以測試電路。如果他們失敗了，他們可以被丟棄。

盡管如此，在一個模擬系統(tǒng)中完美處理的一組神經(jīng)權(quán)重在另一個模擬系統(tǒng)上可能效果不佳。如果你試圖集中學(xué)習(xí)，然后將這種行為復(fù)制到許多不同的機器上，那就要付出代價。代價可能是接受較低的可靠性，或者更有可能設(shè)計更多的冗余來克服這些問題。

幸運的是，這不是一個無法克服的問題，但在我們轉(zhuǎn)向憶阻器等新興技術(shù)時值得注意?。這些優(yōu)雅的設(shè)備可用于神經(jīng)網(wǎng)絡(luò)，因為它們是可以嵌入核心神經(jīng)電路中的存儲器。憶阻器具有允許模擬神經(jīng)元變得更加緊湊和低功耗的優(yōu)勢。

另一種方法涉及最小化（或消除）模擬電路，同時實施基于自然的架構(gòu)課程，尤其是分布式的、連接良好的神經(jīng)元——使它們僅具有權(quán)宜之計的神經(jīng)形態(tài)（圖 3）。

圖 3：什么是和不是神經(jīng)形態(tài)之間的界限是模糊的。工程師在哪里做出妥協(xié)取決于應(yīng)用和成功的標(biāo)準(zhǔn)。如果絕對可重復(fù)性很關(guān)鍵，而功率不是，則首選較少的神經(jīng)形態(tài)解決方案。在速度、功率、面積和重量是主要關(guān)注點并且更容易接受模糊行為的情況下，神經(jīng)形態(tài)計算變得實用。

例如， IBM 的 TrueNorth盡管是數(shù)字化的，但仍實現(xiàn)了非常低的功耗，因為基于邏輯的設(shè)備可以使用納米制造工藝制造；以這些小尺寸實現(xiàn)模擬電路要困難得多。

英特爾的 Loihi 芯片更接近模擬，因為它是異步的：每個神經(jīng)元都可以以自己的速度觸發(fā)。同步通過一組相鄰交互發(fā)生，因此在其他進程完成一個時間步或時鐘驅(qū)動操作之前，不會開始任何進程。

良性循環(huán)所有這些都使得模擬神經(jīng)形態(tài)系統(tǒng)看起來是死胡同，但事實并非如此。Loihi 和 TrueNorth 都是通用芯片，旨在用于通用學(xué)習(xí)任務(wù)。

但是生物學(xué)不是通用的。它根據(jù)特定任務(wù)進行優(yōu)化。短期——速度、功率、面積和重量真的很重要——工程師也希望進行優(yōu)化。他們最終會選擇最高效的設(shè)計，即使芯片更昂貴。

如果神經(jīng)形態(tài)計算的一些利基應(yīng)用被證明是成功的，例如關(guān)鍵字定位或感官處理，那么這可能會形成投資、開發(fā)、創(chuàng)新和優(yōu)化的良性循環(huán)。最終結(jié)果可能是一個可行的行業(yè)，擁有自己的摩爾定律版本，它與認(rèn)知和智能任務(wù)的需求更緊密地聯(lián)系在一起。

這導(dǎo)致了一個合乎邏輯的結(jié)論：神經(jīng)形態(tài)處理器最終可以克服目前在嘗試構(gòu)建復(fù)雜的智能機器時面臨的瓶頸。目標(biāo)之一是機器可以推理和識別物體和情況，然后動態(tài)適應(yīng)不同類型的感官數(shù)據(jù)——類似于人腦。

這一目標(biāo)將需要深入了解生物過程，以使神經(jīng)形態(tài)計算成為現(xiàn)實。

審核編輯 黃昊宇