通過(guò)平衡傳播獲得更好的AI芯片

AI專(zhuān)業(yè)人員一直在追求一種AI，它肯定會(huì)降低做普通AI事情所需的能量，例如感知單詞和圖片。這種機(jī)器學(xué)習(xí)的模擬類(lèi)型利用電路的物理原理而不是數(shù)字原理來(lái)完成神經(jīng)網(wǎng)絡(luò)的一項(xiàng)重要數(shù)學(xué)任務(wù)。但是，限制該方法的主要因素之一是深度學(xué)習(xí)的訓(xùn)練算法（反向傳播）必須由GPU或其他單獨(dú)的數(shù)字框架來(lái)完成。

神經(jīng)形態(tài)芯片初創(chuàng)公司Rain Neuromorphics與加拿大研究院Mila之間的研究合作表明，可以想象使用完全模擬的硬件來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，這為端到端的模擬神經(jīng)網(wǎng)絡(luò)提供了機(jī)會(huì)。這對(duì)神經(jīng)形態(tài)處理和AI硬件整體具有重大影響-它保證了完全可用于訓(xùn)練和推理的模擬AI芯片，從而顯著節(jié)省了計(jì)算，功耗，等待時(shí)間和大小。這項(xiàng)進(jìn)步將工程學(xué)和深度學(xué)習(xí)的紐帶聯(lián)系在一起，為AI動(dòng)力機(jī)器人打開(kāi)了入口之門(mén)，這種機(jī)器人可以在現(xiàn)場(chǎng)獨(dú)自學(xué)習(xí)，就像人類(lèi)一樣。

在由“人工智能的教父”之一，獲獎(jiǎng)?wù)遈oshua Bengio共同創(chuàng)建的題為“具有均衡傳播的端到端模擬神經(jīng)網(wǎng)絡(luò)訓(xùn)練”的論文中，分析家們表明，可以訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)利用交叉開(kāi)關(guān)憶阻器的展示，就像在當(dāng)今使用內(nèi)存中處理器方法的商業(yè)AI加速器芯片中使用的安排一樣，卻沒(méi)有在網(wǎng)絡(luò)的每一層之間使用相關(guān)的ADC和DAC。結(jié)果為潛力更大的高能效AI硬件提供了潛力

Rain Neuromorphics首席執(zhí)行官戈登·威爾遜（Gordon Wilson）表示：“如今，能源利用和成本是最大的制約因素，使我們無(wú)法交付新型人工智能。我們確實(shí)需要找到一種無(wú)可否認(rèn)地更有效的計(jì)算基礎(chǔ)，一種本質(zhì)上可以提高能源效率的基礎(chǔ)，一種允許我們不將培訓(xùn)局限于大型數(shù)據(jù)中心的基礎(chǔ)，但除此之外，我們還可以進(jìn)入一個(gè)可以設(shè)想免費(fèi)，自主的世界，能源無(wú)限的設(shè)備，獨(dú)自學(xué)習(xí)。同樣，這是我們認(rèn)為這一新進(jìn)展正在打開(kāi)通向的大門(mén)?！?/p>

分析人員已經(jīng)對(duì)MNIST分類(lèi)（改良的美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院手寫(xiě)數(shù)字?jǐn)?shù)據(jù)庫(kù)）的端到端模擬神經(jīng)網(wǎng)絡(luò)進(jìn)行了模擬訓(xùn)練，其性能與相同大小的基于軟件的神經(jīng)網(wǎng)絡(luò)相似或更好。

模擬電路可以在某種程度上節(jié)省神經(jīng)網(wǎng)絡(luò)的功率，因?yàn)??它們可以熟練地進(jìn)行稱(chēng)為乘法和累加的關(guān)鍵計(jì)算。該估計(jì)值會(huì)根據(jù)不同的負(fù)載乘以貢獻(xiàn)值，然后匯總這些值中的每一個(gè)。電氣工程的兩個(gè)基本定律也可以從根本上做到這一點(diǎn)。歐姆定律將電壓和電導(dǎo)相乘以提供電流，基爾霍夫的“電流定律”將輸入點(diǎn)的電流相加。通過(guò)將神經(jīng)網(wǎng)絡(luò)的權(quán)重存儲(chǔ)在電阻式存儲(chǔ)小部件（例如憶阻器）中，乘法和累加可以完全以模擬方式發(fā)生，可以將功耗降低幾個(gè)數(shù)量級(jí)。

如今，模擬AI系統(tǒng)無(wú)法訓(xùn)練自己的原因與零件的可變性息息相關(guān)。與真實(shí)神經(jīng)元非常相似，模擬神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元并非完全無(wú)法區(qū)分。要對(duì)模擬段進(jìn)行反向傳播，您應(yīng)該制造兩條單獨(dú)的電路路徑。一個(gè)人繼續(xù)思考一個(gè)答案（稱(chēng)為推理），另一個(gè)人反過(guò)來(lái)進(jìn)行學(xué)習(xí)，因此適當(dāng)?shù)幕卮鹱兊酶訙?zhǔn)確。但是由于模擬成分的可變性，這些途徑無(wú)法協(xié)調(diào)。

平衡傳播（EqProp），由Bengio和Scellier在2017年設(shè)計(jì)的一種方法。這種訓(xùn)練算法只有一條數(shù)據(jù)路徑，因此可以避免模擬硬件中的反向傳播問(wèn)題。但是有一個(gè)警告。EqProp僅適用于基于能源的網(wǎng)絡(luò)。

結(jié)果是，盡管EqProp自2017年以來(lái)就已經(jīng)存在，但這項(xiàng)新工作已將抽象思想轉(zhuǎn)變?yōu)榭梢酝ㄟ^(guò)電路物理識(shí)別的事物。這將使端到端的模擬計(jì)算成為可能，而無(wú)需在每個(gè)步驟都切換到數(shù)字域或從數(shù)字域切換。