研發(fā)的新型超導(dǎo)神經(jīng)元,在很多方面都更加接近一個(gè)真實(shí)的神經(jīng)元

雖然與以千兆赫速度運(yùn)行的現(xiàn)代微處理器相比，人腦的運(yùn)行速度只有幾赫茲，簡(jiǎn)直就像蝸牛一樣，但毋庸置疑的是，人類(lèi)大腦是迄今為止已知的最偉大的計(jì)算設(shè)備。人類(lèi)大腦的強(qiáng)大之處在于，能夠同時(shí)進(jìn)行每秒十億次的計(jì)算，這種并行性使得它能夠輕松地解決傳統(tǒng)計(jì)算機(jī)尚未解決的問(wèn)題，比如駕駛、行走、交談等等。而更不可思議的是，這每秒十億次的計(jì)算背后，大腦所需要的能量來(lái)源可能僅為一碗稀飯。相比之下，一臺(tái)超級(jí)計(jì)算機(jī)所需要的電力要超過(guò)一座大城市的電力消耗，遠(yuǎn)遠(yuǎn)多于大腦幾個(gè)數(shù)量級(jí)。這就是為什么計(jì)算機(jī)科學(xué)家，一心想要使用神經(jīng)網(wǎng)絡(luò)作為計(jì)算工具，以模擬人類(lèi)大腦的計(jì)算性能。但說(shuō)起來(lái)容易做起來(lái)難。雖然通過(guò)普通芯片也可以編入類(lèi)似于神經(jīng)網(wǎng)絡(luò)的程序，但這需要大量的計(jì)算和能量消耗。

于是，計(jì)算機(jī)科學(xué)家嘗試創(chuàng)建人工神經(jīng)元，并將它們連接成類(lèi)似大腦的網(wǎng)絡(luò)。不過(guò)一直以來(lái)，并沒(méi)有人提出一個(gè)設(shè)計(jì)能夠接近大腦的計(jì)算性能和運(yùn)行效率。近日，麻省理工學(xué)院的 Emily Toomey 和他的同事設(shè)計(jì)了一個(gè)由納米線組成的超導(dǎo)神經(jīng)元，在很多方面都更加接近一個(gè)真實(shí)的神經(jīng)元。研究成果以預(yù)印本的形式發(fā)表在 arxiv.org 網(wǎng)站上。研究人員表示，他們的設(shè)備與大腦的能量效率相匹配（至少在理論上是這樣），并且是新一代超導(dǎo)神經(jīng)網(wǎng)絡(luò)的基石，該超導(dǎo)神經(jīng)網(wǎng)絡(luò)的效率將遠(yuǎn)遠(yuǎn)高于傳統(tǒng)的計(jì)算設(shè)備。首先，我們了解一些背景知識(shí)。神經(jīng)元以電脈沖或動(dòng)作電位的形式編碼信息，這些電脈沖或動(dòng)作電位沿著神經(jīng)纖維傳播，神經(jīng)元之間通過(guò)突觸的結(jié)構(gòu)進(jìn)行彼此分隔和信號(hào)傳遞。一個(gè)神經(jīng)元可以通過(guò)突觸影響其它神經(jīng)元，傳遞的神經(jīng)信號(hào)可以激活或抑制下游神經(jīng)元。事實(shí)上，突觸的存在可以使神經(jīng)元之間像邏輯門(mén)一樣工作，對(duì)多個(gè)輸入信號(hào)產(chǎn)生一個(gè)輸出響應(yīng)。在生物神經(jīng)元中，的確有許多重要的特性，比如除非輸入信號(hào)超過(guò)某個(gè)閾值水平，否則信號(hào)不會(huì)激活，而且在經(jīng)過(guò)一段時(shí)間（稱為不應(yīng)期）之前，它們不能被再次激活；此外，突起沿軸突移動(dòng)的時(shí)間也很重要，因?yàn)樗幋a了突起已經(jīng)移動(dòng)的距離。因此，人工神經(jīng)元必須能夠盡可能多地復(fù)制這些生物特征，而這也需要一些更復(fù)雜的電路設(shè)計(jì)。Toomey 和他的同事指出，超導(dǎo)納米線具有一種特殊的非線性特性，使得它們可以像神經(jīng)元一樣工作。這種特性的產(chǎn)生是因?yàn)楫?dāng)流過(guò)納米線的電流超過(guò)某個(gè)閾值時(shí)，納米線的超導(dǎo)性就會(huì)崩潰，此時(shí)電阻突然增大，產(chǎn)生了一個(gè)類(lèi)似于神經(jīng)元?jiǎng)幼麟娢坏碾妷好}沖。用這種電壓脈沖來(lái)調(diào)制另一根超導(dǎo)納米線產(chǎn)生的另一個(gè)脈沖，使得對(duì)生物神經(jīng)元的模擬更加真實(shí)，相當(dāng)于創(chuàng)造了一個(gè)具有許多生物神經(jīng)元特性的簡(jiǎn)單超導(dǎo)電路。研究人員也已經(jīng)證明超導(dǎo)神經(jīng)元具有觸發(fā)閾值、不應(yīng)期，以及可以根據(jù)電路特性進(jìn)行調(diào)整的傳播時(shí)間等特性。

圖 | 超導(dǎo)納米線中的松弛振蕩，是納米線神經(jīng)元中脈沖形成的基礎(chǔ)（來(lái)源：arxiv.prg）至關(guān)重要的是，這種超導(dǎo)神經(jīng)元還可以用來(lái)觸發(fā)或抑制其它神經(jīng)元。這種“分列”屬性是創(chuàng)建神經(jīng)網(wǎng)絡(luò)的關(guān)鍵，也是其它超導(dǎo)神經(jīng)元設(shè)計(jì)從未實(shí)現(xiàn)的。Toomey 和同事的計(jì)算表明，由于超導(dǎo)電路耗電量很小，這種超導(dǎo)神經(jīng)網(wǎng)絡(luò)可以與生物神經(jīng)網(wǎng)絡(luò)的效率相媲美。神經(jīng)網(wǎng)絡(luò)中每秒使用 1 瓦特能量可以執(zhí)行的突觸運(yùn)行數(shù)量，是衡量計(jì)算性能的指標(biāo)。Toomey 表示，他們提出的神經(jīng)網(wǎng)絡(luò)應(yīng)該能夠達(dá)到每秒每瓦特 10^14 個(gè)突觸運(yùn)行，與人類(lèi)大腦大致相當(dāng)。“從功率和速度的角度來(lái)看，納米線神經(jīng)元可能是一項(xiàng)極具競(jìng)爭(zhēng)力的技術(shù)?！彼麄冋f(shuō)。當(dāng)然，納米線神經(jīng)元也存在一些局限。與大腦相比，超導(dǎo)神經(jīng)元最大的差距就是只能連接少數(shù)其它神經(jīng)元，相比之下，人類(lèi)大腦中的每個(gè)神經(jīng)元都與成千上萬(wàn)的神經(jīng)元相連。而且，目前 Toomey 等人的超導(dǎo)神經(jīng)網(wǎng)絡(luò)還只是一個(gè)設(shè)計(jì)。盡管如此，模擬結(jié)果還是很有希望的。研究人員表示，目前的分析表明，納米線神經(jīng)元是低功耗人工神經(jīng)網(wǎng)絡(luò)發(fā)展的一個(gè)有希望的候選對(duì)象，而且潛力是巨大的。研究人員認(rèn)為，超導(dǎo)神經(jīng)網(wǎng)絡(luò)可能成為全新計(jì)算機(jī)硬件的基礎(chǔ)，這些芯片可以通過(guò)超導(dǎo)互連連接在一起，也就沒(méi)有散熱的問(wèn)題?！捌浣Y(jié)果將是一個(gè)大規(guī)模的神經(jīng)形態(tài)處理器，它可以被訓(xùn)練成一個(gè)脈沖神經(jīng)網(wǎng)絡(luò)（spiking neural network），執(zhí)行模式識(shí)別之類(lèi)的任務(wù)或用于模擬大型生物仿真網(wǎng)絡(luò)的脈沖動(dòng)力學(xué)。”無(wú)論如何，這是一項(xiàng)有趣的工作，盡管在興奮之前還需要進(jìn)行概念驗(yàn)證演示。