英特爾的Loihi芯片克服在構(gòu)建復(fù)雜的智能機(jī)器的過程中所面臨的瓶頸

機(jī)器到底可以有多智能？在智能化的這條路上，我們已經(jīng)走過了漫長(zhǎng)的幾十年，Siri和Alexa語音助手、圖像識(shí)別應(yīng)用、甚至推薦引擎，其發(fā)展歷程告訴我們，前路漫漫，其修遠(yuǎn)兮。人類已經(jīng)可以利用強(qiáng)大的計(jì)算機(jī)性能以及大量良好標(biāo)記的數(shù)據(jù)來執(zhí)行醫(yī)療診斷這樣的深度學(xué)習(xí)任務(wù)，這是驚人的進(jìn)步。

但是，我們還需要什么？

人類對(duì)AI的追求遠(yuǎn)遠(yuǎn)超越了數(shù)據(jù)科學(xué)的范疇。當(dāng)健康出現(xiàn)異常時(shí)，我們希望可穿戴生物傳感器系統(tǒng)能夠立即發(fā)出警告；在最惡劣的駕駛條件下，我們希望自動(dòng)駕駛汽車能夠?qū)崟r(shí)做出反應(yīng)；我們還希望機(jī)器人能以最小的角度轉(zhuǎn)向。怎樣才能實(shí)現(xiàn)這些呢？

我們的移動(dòng)設(shè)備現(xiàn)在看起來似乎勉強(qiáng)能夠理解我們，但實(shí)際上并不能。他們只是簡(jiǎn)單地將我們的聲音轉(zhuǎn)換和解碼成文字，然后發(fā)出請(qǐng)求，進(jìn)而轉(zhuǎn)化為動(dòng)作或答案。這只是一個(gè)計(jì)算密集的過程。

2013年曾有一個(gè)預(yù)測(cè)：人們每天花3分鐘時(shí)間使用語音識(shí)別進(jìn)行語音搜索，將使數(shù)據(jù)中心的計(jì)算需求增加一倍。利用傳統(tǒng)CPU實(shí)現(xiàn)該功能非常昂貴，因此，谷歌的Norman Jouppi和他的同事共同開發(fā)了張量處理器（TPU），該處理器重點(diǎn)優(yōu)化矩陣乘法硬件，有望將神經(jīng)網(wǎng)絡(luò)查詢的能效提高95％。

這些處理器在服務(wù)器應(yīng)用中發(fā)揮了很大的作用，但由于這種方法是將所有內(nèi)存和處理集中在數(shù)據(jù)中心，因而對(duì)通信基礎(chǔ)架構(gòu)極其依賴，同時(shí)還需要進(jìn)行信息交流，其中很多是無關(guān)信息，浪費(fèi)了時(shí)間和能量。

隨著邊緣計(jì)算時(shí)代的來臨，如何才能滿足移動(dòng)和非聯(lián)網(wǎng)獨(dú)立設(shè)備應(yīng)用對(duì)速度、功率、面積和重量的要求呢？

選擇性復(fù)制生物學(xué)

機(jī)器智能所采用的神經(jīng)網(wǎng)絡(luò)是受生物學(xué)的啟發(fā)而建立起來的。因此，神經(jīng)擬態(tài)工程師盡量模仿同樣的生物機(jī)理，以便創(chuàng)建的硬件能夠更好地運(yùn)行神經(jīng)網(wǎng)絡(luò)。這種方法為工程師們提供了多種選擇。

神經(jīng)擬態(tài)工程學(xué)的目標(biāo)是從生物學(xué)中汲取盡可能多的教訓(xùn)，以實(shí)現(xiàn)跟大腦一樣的低功耗和強(qiáng)大功能。在實(shí)現(xiàn)神經(jīng)處理、存儲(chǔ)和通信時(shí)，工程師的設(shè)計(jì)選擇

將決定人工大腦執(zhí)行任務(wù)的效率。

一種策略是不再將芯片架構(gòu)劃分為處理器和存儲(chǔ)器，而是將其分解為同時(shí)執(zhí)行兩種功能的神經(jīng)元。

其次，優(yōu)先選擇大型多對(duì)多神經(jīng)元連接方式，因?yàn)樗股窠?jīng)元網(wǎng)絡(luò)的功能更強(qiáng)。采用能保持輸入信號(hào)（例如圖像）幾何信息的傳感器-處理器管道會(huì)有所幫助，因?yàn)樗鼈冊(cè)谔幚磉^程中允許相鄰神經(jīng)元進(jìn)行有效的互動(dòng)，如同人類的視網(wǎng)膜一樣。將信號(hào)值保持在模擬域中也有好處，這樣所有內(nèi)容都可以同時(shí)處理，而不用分解為不同比特位的復(fù)雜動(dòng)作。

最后，將通信時(shí)間與神經(jīng)行為而非任意的時(shí)鐘關(guān)聯(lián)起來，這意味著信號(hào)本身包含更多的信息：那些同時(shí)到達(dá)的類腦尖峰信號(hào)通常與同一事件相關(guān)。

這就是為什么神經(jīng)擬態(tài)工程或計(jì)算這個(gè)術(shù)語有點(diǎn)難懂的原因。這個(gè)術(shù)語是加州理工學(xué)院教授Carver Mead于20世紀(jì)80年代后期創(chuàng)造的。在隨后的幾十年中，Mead及其他人的項(xiàng)目尤其重視模擬計(jì)算帶來的好處。例如在一個(gè)復(fù)制了一組蠅復(fù)眼運(yùn)動(dòng)檢測(cè)器電路的系統(tǒng)中，多個(gè)接收器檢測(cè)到模擬信號(hào)，然后通過近鄰互動(dòng)傳播到側(cè)面。這種系統(tǒng)具有極高的速率和極低的功耗（90年代后期Reid Harrison證實(shí)其功率僅為幾微瓦），充分顯示出同時(shí)保持信號(hào)幾何信息和模擬處理能力的好處。

“純”神經(jīng)擬態(tài)系統(tǒng)的另一個(gè)特征是頻繁使用地址-事件表達(dá)（AER）。這種通信系統(tǒng)具有傳統(tǒng)網(wǎng)絡(luò)的許多優(yōu)點(diǎn)，同時(shí)還提供多對(duì)多通信，保持了尖峰時(shí)序。

使用AER，一個(gè)神經(jīng)元會(huì)根據(jù)其學(xué)習(xí)、行為和剛收到的輸入信息，在需要時(shí)隨時(shí)發(fā)出一個(gè)尖峰信號(hào)。它將信號(hào)傳輸給網(wǎng)絡(luò)中的所有其他神經(jīng)元，但只有應(yīng)該接收尖峰信號(hào)的神經(jīng)元才可以接收，其他神經(jīng)元會(huì)忽略該信號(hào)。這種網(wǎng)絡(luò)之所以與眾不同，是因?yàn)閮蓚€(gè)尖峰信號(hào)之間相隔時(shí)間較長(zhǎng)，因此，只有差不多同時(shí)到達(dá)的來自不同神經(jīng)元的尖峰信號(hào)才被視為相關(guān)。

每個(gè)神經(jīng)元都使用尖峰進(jìn)行交流，無需與成百上千的其他神經(jīng)元直接相連。地址-事件表達(dá)是保持尖峰時(shí)序的一種方法。只要出現(xiàn)尖峰的可能性足夠低，使同時(shí)到達(dá)編碼器的尖峰之間不存在競(jìng)爭(zhēng)，這種方法就有效。

許多神經(jīng)擬態(tài)系統(tǒng)都使用AER，特別是法國(guó)的Prophesee公司和瑞士的aiCTX（AI cortex）公司，他們專注于研究感應(yīng)處理。這種方法既靈巧又實(shí)用，其優(yōu)點(diǎn)在于神經(jīng)元之間不需要進(jìn)行硬連接，輸入信號(hào)信息可以簡(jiǎn)單地實(shí)時(shí)通過處理器，無關(guān)信息將被丟棄，剩下的信息將在神經(jīng)管道中進(jìn)一步處理。

權(quán)衡利弊與取舍

雖然“典型的”神經(jīng)擬態(tài)技術(shù)極具吸引力，但也有一些缺點(diǎn)，比如，要提高功率和速度就很不容易。數(shù)字電子器件比模擬器件更耗電，因?yàn)閿?shù)字器件在不停地糾錯(cuò)：強(qiáng)行將信號(hào)變?yōu)?或0。使用模擬電路則不會(huì)出現(xiàn)這種情況，所以因溫度的變化、器件的不同以及其他因素引起的誤差和漂移不會(huì)消失。產(chǎn)生的結(jié)果可能不是錯(cuò)誤，而是偏移或損壞了。

電子器件的制造過程也遠(yuǎn)說不上完美，這讓事情變得更加糟糕。慶幸的是，電路是可以測(cè)試的，因此對(duì)于數(shù)字技術(shù)而言，問題沒那么嚴(yán)重。如果數(shù)字器件不能通過測(cè)試，可以將它們?nèi)拥簟?/p>

而在一個(gè)模擬系統(tǒng)中表現(xiàn)完美的一組神經(jīng)權(quán)重，在另一個(gè)系統(tǒng)中卻可能表現(xiàn)很糟。如果你想集中學(xué)習(xí)，然后將這一行為復(fù)制到許多不同的機(jī)器中，需要付出一定的代價(jià)——可能是可靠性降低，更可能是必須采用冗余設(shè)計(jì)來克服這些問題。

幸運(yùn)的是，這一障礙并不是無法逾越的，但在我們研發(fā)憶阻器等新興技術(shù)時(shí)還是值得注意的。憶阻器這種精巧的器件是可以嵌入核心神經(jīng)電路的存儲(chǔ)器，因此可用于神經(jīng)網(wǎng)絡(luò)。其優(yōu)點(diǎn)是能使模擬神經(jīng)元變得更小，功耗更低。

另一種方法是，在遵循自然構(gòu)造（尤其是分布式）和相互連接的神經(jīng)元來實(shí)現(xiàn)結(jié)構(gòu)化設(shè)計(jì)時(shí)，可以最小化甚至取消模擬電路，根據(jù)實(shí)際需要決定神經(jīng)擬態(tài)的程度。

神經(jīng)擬態(tài)和非神經(jīng)擬態(tài)界線模糊，需要工程師根據(jù)具體的應(yīng)用和成功的標(biāo)準(zhǔn)來進(jìn)行權(quán)衡。如果重復(fù)性很重要而且無需考慮功率，則應(yīng)選擇較少神經(jīng)擬態(tài)的方案。如果速度、功率、面積和重量是主要考量因素，而且更易接受模糊行為，則神經(jīng)擬態(tài)計(jì)算更加可行。

例如，IBM的TrueNorth雖然是數(shù)字器件，但功耗卻非常低，因?yàn)檫壿嬈骷梢圆捎眉{米工藝來制造。而在如此小的尺寸下，很難實(shí)現(xiàn)模擬電路。

英特爾的Loihi芯片離模擬更近一步，因?yàn)樗钱惒降模好總€(gè)神經(jīng)元都可以按自己的速率觸發(fā)。同步則是通過一組相鄰神經(jīng)元的交互產(chǎn)生的，只有在其他神經(jīng)元完成一個(gè)時(shí)間步長(zhǎng)或時(shí)鐘驅(qū)動(dòng)操作之后，同步過程才開始。

良性循環(huán)

到這里，模擬神經(jīng)擬態(tài)系統(tǒng)似乎走進(jìn)了死胡同，但事實(shí)并非如此。Loihi和TrueNorth都是通用芯片，專用于通用的學(xué)習(xí)任務(wù)。

但生物學(xué)并不是通用的，而是根據(jù)具體的任務(wù)有針對(duì)性地優(yōu)化。短期之內(nèi)，速度、功率、面積和重量確實(shí)重要，工程師也想對(duì)其進(jìn)行優(yōu)化。他們最終將選擇最高效的設(shè)計(jì)，哪怕芯片價(jià)格更高。

但如果某些神經(jīng)擬態(tài)計(jì)算的利基應(yīng)用獲得成功（諸如關(guān)鍵詞檢測(cè)或感知處理），則可能形成投資、開發(fā)、創(chuàng)新和優(yōu)化的良性循環(huán)。最終可能會(huì)產(chǎn)生一個(gè)具有其自身摩爾定律的新興行業(yè)，一個(gè)與認(rèn)知和智能任務(wù)的需求密切相關(guān)的行業(yè)。

因此，我們可以合理地推斷：神經(jīng)擬態(tài)處理器最終將克服我們?cè)跇?gòu)建復(fù)雜的智能機(jī)器的過程中所面臨的瓶頸。其目標(biāo)包括能分析及識(shí)別對(duì)象和所處環(huán)境、并即時(shí)適應(yīng)不同類型傳感數(shù)據(jù)的機(jī)器（類似于人腦）。

為了實(shí)現(xiàn)這一目標(biāo)，需要更深入地了解生物過程，使神經(jīng)擬態(tài)計(jì)算成為現(xiàn)實(shí)。
責(zé)任編輯:pj