三種不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練

我們身邊的小工具不斷地在充實(shí)著我們的生活 —— 智能手表可以檢測(cè)我們的生命體征，跟蹤我們的健康狀況；家用揚(yáng)聲器通過(guò)聽我們的對(duì)話來(lái)識(shí)別我們的聲音；智能手機(jī)還能夠扮演語(yǔ)法學(xué)家的角色，觀察我們寫了什么來(lái)自動(dòng)修復(fù)我們的特殊打字錯(cuò)誤。我們很感激這些便利，但我們與電子設(shè)備共享的信息并不總是在我們的所控范圍內(nèi)。

機(jī)器學(xué)習(xí)可能需要很重的硬件，所以像手機(jī)這樣的“邊緣”設(shè)備通常會(huì)向中央服務(wù)器發(fā)送原始數(shù)據(jù)，然后返回經(jīng)過(guò)訓(xùn)練的算法。然而，有些人希望訓(xùn)練能夠在本地進(jìn)行。一種新的人工智能訓(xùn)練方法擴(kuò)展了小型設(shè)備的訓(xùn)練能力，可能有助于保護(hù)隱私。

最強(qiáng)大的機(jī)器學(xué)習(xí)系統(tǒng)使用神經(jīng)網(wǎng)絡(luò)，復(fù)雜的函數(shù)充滿可調(diào)參數(shù)。在訓(xùn)練期間，網(wǎng)絡(luò)接收輸入（如一組像素），生成輸出（如標(biāo)簽“cat”），將其輸出與正確答案進(jìn)行比較，并調(diào)整其參數(shù)，以便下次做得更好。為了知道如何調(diào)整每個(gè)內(nèi)部旋鈕，網(wǎng)絡(luò)需要記住每個(gè)旋鈕的效果，但它們的數(shù)量通常為數(shù)百萬(wàn)甚至數(shù)十億。這需要大量?jī)?nèi)存。訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)可能需要數(shù)百倍的記憶，而僅僅使用一個(gè)（也稱為“推理”）。在后一種情況下，一旦將信息傳遞到下一層，內(nèi)存就可以忘記網(wǎng)絡(luò)的每一層做了什么。

為了減少訓(xùn)練階段的記憶需求，研究人員采用了一些技巧。其中一種稱為分頁(yè)或卸載，機(jī)器將這些激活信息從短期內(nèi)存移動(dòng)到較慢但更豐富的內(nèi)存類型，如閃存或SD卡，然后在需要時(shí)將其恢復(fù)。在另一種稱為重物質(zhì)化的方法中，機(jī)器刪除激活，然后稍后再次計(jì)算。加州大學(xué)伯克利分校的計(jì)算機(jī)科學(xué)家、描述了該創(chuàng)新的論文的主要作者Shishir Patil說(shuō)，它們結(jié)合使用了“次優(yōu)”的“啟發(fā)式”，通常需要大量能量。Patil及其合作者報(bào)告的創(chuàng)新將分頁(yè)和重新實(shí)體化方法結(jié)合了起來(lái)。

“將這兩種技術(shù)很好地結(jié)合到這個(gè)優(yōu)化問(wèn)題中，然后解決它，這真的很好，”加州大學(xué)河濱分校的計(jì)算機(jī)科學(xué)家Jiasi Chen說(shuō)，他從事邊緣計(jì)算研究，但沒(méi)有參與這項(xiàng)工作。

7月，Patil在巴爾的摩舉行的機(jī)器學(xué)習(xí)國(guó)際會(huì)議上介紹了他的系統(tǒng)，稱為POET（private optimal energy training）。他首先給出了POET設(shè)備的技術(shù)細(xì)節(jié)，以及他所希望訓(xùn)練的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的信息。他指定了內(nèi)存預(yù)算和時(shí)間預(yù)算。然后，他要求設(shè)備創(chuàng)建一個(gè)培訓(xùn)流程，將能源消耗降至最低。該進(jìn)程可能決定對(duì)某些重新計(jì)算效率低下的激活進(jìn)行分頁(yè)，但對(duì)其他易于重做但需要大量?jī)?nèi)存存儲(chǔ)的激活進(jìn)行重新實(shí)體化。

突破性創(chuàng)新的關(guān)鍵之一在于將問(wèn)題定義為混合整數(shù)線性規(guī)劃（MILP）難題，即一組約束和變量之間的關(guān)系。對(duì)于每個(gè)設(shè)備和網(wǎng)絡(luò)架構(gòu)，POET將其變量插入Patil手工編制的MILP程序，然后找到最佳解決方案。Chen說(shuō)：“一個(gè)主要的挑戰(zhàn)實(shí)際上是以一種好的方式來(lái)闡述這個(gè)問(wèn)題，這樣你就可以把它輸入到一個(gè)解決方案中。因此，您可以捕獲所有真實(shí)的系統(tǒng)動(dòng)態(tài)，如能量、延遲和內(nèi)存?！?/p>

該團(tuán)隊(duì)在四個(gè)不同的處理器上測(cè)試了POET，其RAM范圍從32KB到8GB。研究人員分別訓(xùn)練了三種不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：兩種在圖像識(shí)別中流行的類型（VGG16和ResNet-18），以及一種流行的語(yǔ)言處理網(wǎng)絡(luò)（BERT）。在許多測(cè)試中，該系統(tǒng)可以減少大約80%的內(nèi)存使用量，而不會(huì)大幅增加能耗?？杀容^的方法不能同時(shí)做到這兩個(gè)。據(jù)Patil稱，研究表明，BERT現(xiàn)在可以在最小的設(shè)備上進(jìn)行訓(xùn)練，這在以前是不可能的。

Patil說(shuō)：“當(dāng)我們開始的時(shí)候，POET基本上是一個(gè)很好的主意。”現(xiàn)在，幾家公司已經(jīng)開始使用它，并且有一家大公司已經(jīng)在其智能揚(yáng)聲器中試用了它。Patil說(shuō)，非常棒的一點(diǎn)是，POET不會(huì)通過(guò)“量化”或縮寫激活來(lái)降低網(wǎng)絡(luò)精度，從而節(jié)省內(nèi)存。因此，設(shè)計(jì)網(wǎng)絡(luò)的團(tuán)隊(duì)不必與實(shí)現(xiàn)網(wǎng)絡(luò)的團(tuán)隊(duì)協(xié)調(diào)，就精度和內(nèi)存之間的權(quán)衡進(jìn)行談判。

Patil指出，除了隱私問(wèn)題外，使用POET還有其他原因。一些設(shè)備需要在本地訓(xùn)練網(wǎng)絡(luò)，以解決互聯(lián)網(wǎng)連接很差或沒(méi)有連接的問(wèn)題 —— 這些設(shè)備包括在農(nóng)場(chǎng)、潛艇或太空中使用的設(shè)備。由于數(shù)據(jù)傳輸需要太多能量，其他設(shè)置可以從創(chuàng)新中受益。POET還可以使大型設(shè)備互聯(lián)網(wǎng)服務(wù)器更節(jié)省內(nèi)存和能源。但對(duì)于數(shù)據(jù)保密，Patil說(shuō)，“我想這是非常及時(shí)的，對(duì)吧？”當(dāng)大型設(shè)備——互聯(lián)網(wǎng)服務(wù)器——訓(xùn)練大型網(wǎng)絡(luò)時(shí)，也可能從POET中受益。