使用稀疏計(jì)算和Facebook Glow進(jìn)行神經(jīng)網(wǎng)絡(luò)優(yōu)化

2017 年 8 月出版了《神經(jīng)網(wǎng)絡(luò)最完整的圖表，解釋》，并確定了 27 種不同類型的神經(jīng)網(wǎng)絡(luò)。從那時(shí)起，隨著工程師和數(shù)據(jù)科學(xué)家為他們的用例尋找人工智能 （AI） 的優(yōu)化實(shí)現(xiàn)，神經(jīng)網(wǎng)絡(luò)類型的數(shù)量不斷增加。

處理器架構(gòu)師一直在爭(zhēng)先恐后地提供能夠執(zhí)行這些工作負(fù)載的新型計(jì)算平臺(tái)，但也正在努力在軟件方面提高神經(jīng)網(wǎng)絡(luò)的效率。一種這樣的技術(shù)是修剪，或從神經(jīng)網(wǎng)絡(luò)中刪除重復(fù)的神經(jīng)元和冗余，使其更小更快（圖 1）。

圖 1. 修剪可以產(chǎn)生更快、更小的神經(jīng)網(wǎng)絡(luò)，但具有相同的精度。

一般來說，修剪是嵌入式系統(tǒng)深度學(xué)習(xí)的重要推動(dòng)力，因?yàn)樗档土诉_(dá)到相同精度水平所需的計(jì)算量。剪枝技術(shù)還可以進(jìn)一步減少神經(jīng)網(wǎng)絡(luò)的特定低效率，例如稀疏性。

通過神經(jīng)網(wǎng)絡(luò)進(jìn)行稀疏

在神經(jīng)網(wǎng)絡(luò)圖中，稀疏性是指包含零值或與相鄰神經(jīng)元沒有連接的神經(jīng)元（圖 2）。這是存在于深度神經(jīng)網(wǎng)絡(luò)的輸入和輸出層之間的隱藏矩陣的固有特征，因?yàn)楫?dāng)數(shù)據(jù)通過圖時(shí)，給定的輸入通常會(huì)激活越來越少的神經(jīng)元。神經(jīng)網(wǎng)絡(luò)矩陣中的連接越少，稀疏度越高。

圖 2. 左圖將具有活躍連接的神經(jīng)元密集化為黃色立方體，而右圖描繪了分布在整個(gè)神經(jīng)網(wǎng)絡(luò)中的稀疏隨機(jī)連接。

Tensilica 高級(jí)總監(jiān)兼營(yíng)銷和業(yè)務(wù)開發(fā)主管 Lazaar Louis 說：“當(dāng)您通過這些層并將 1 與 0 相乘時(shí)，您會(huì)得到 0，因此神經(jīng)元激活的稀疏性會(huì)隨著您通過層而增加。” Cadence Design Systems 的產(chǎn)品。“平均而言，當(dāng)前的神經(jīng)網(wǎng)絡(luò)在從輸入到輸出的激活中表現(xiàn)出 50% 的稀疏性。”

與使用處理器和內(nèi)存資源來計(jì)算稀疏神經(jīng)網(wǎng)絡(luò)的零值不同，修剪網(wǎng)絡(luò)以誘導(dǎo)稀疏性可以轉(zhuǎn)化為計(jì)算優(yōu)勢(shì)。稀疏度的修剪可以通過將接近零的值強(qiáng)制為零來實(shí)現(xiàn)，這與模型再訓(xùn)練一起可以將稀疏度提高到 70%。

一旦神經(jīng)網(wǎng)絡(luò)被修剪以增加稀疏性，Cadence 的 Tensilica DNA 100 處理器 IP 等計(jì)算技術(shù)就可以通過僅對(duì)非零值執(zhí)行乘法累加 （MAC） 運(yùn)算來利用這一優(yōu)勢(shì)（圖 3）。這要?dú)w功于集成的稀疏計(jì)算引擎，其中包括一個(gè)直接內(nèi)存訪問 （DMA） 子系統(tǒng)，該子系統(tǒng)在將可執(zhí)行文件傳遞給處理單元之前讀取值。

圖 3. Cadence Design Systems DNA 100 處理器 IP 包含一個(gè)稀疏計(jì)算引擎，該引擎僅執(zhí)行非零值的乘加 （MAC） 操作，從而提高吞吐量。

總體而言，這為 DNA 100 IP 提供了更高的 MAC 利用率，與具有類似陣列大小的替代解決方案相比，性能提高了 4.7 倍。

發(fā)光編譯

與任何嵌入式處理器一樣，DNA 100 利用編譯器來幫助解釋神經(jīng)網(wǎng)絡(luò)圖的稀疏性。Tensilica 神經(jīng)網(wǎng)絡(luò)編譯器從 Caffe、TensorFlow、TensorFlow Lite 和 Android 神經(jīng)網(wǎng)絡(luò) （ANN） 應(yīng)用程序等深度學(xué)習(xí)開發(fā)框架獲取浮點(diǎn)輸出，并將它們量化為整數(shù)和針對(duì) Cadence IP 優(yōu)化的機(jī)器代碼。

編譯器還有助于將接近零的權(quán)重推至零，并在可能的情況下將多個(gè)神經(jīng)網(wǎng)絡(luò)層融合到單獨(dú)的操作中。這些功能對(duì)于提高 DNA 100 等設(shè)備上的神經(jīng)網(wǎng)絡(luò)吞吐量至關(guān)重要，同時(shí)還將精度保持在原始浮點(diǎn)模型的 1% 以內(nèi)。

然而，盡管 Tensilica 神經(jīng)網(wǎng)絡(luò)編譯器具有優(yōu)勢(shì)，工程師們已經(jīng)受到越來越多的神經(jīng)網(wǎng)絡(luò)類型、深度學(xué)習(xí)開發(fā)框架和 AI 處理器架構(gòu)的挑戰(zhàn)。隨著這一趨勢(shì)的繼續(xù)，開發(fā)人員將尋求編譯器，使他們能夠在最多樣化的處理器目標(biāo)上使用最廣泛的神經(jīng)網(wǎng)絡(luò)類型和工具。另一方面，像 Cadence 這樣的供應(yīng)商將需要能夠讓他們支持技術(shù)進(jìn)一步發(fā)展的解決方案。

意識(shí)到市場(chǎng)需求，F(xiàn)acebook 開發(fā)了Glow，這是一種基于 LLVM 編譯器基礎(chǔ)架構(gòu)的異構(gòu)硬件架構(gòu)的降圖機(jī)器學(xué)習(xí)編譯器。Glow 的目標(biāo)是接受來自 PyTorch 等框架的計(jì)算圖，并使用與數(shù)學(xué)相關(guān)的優(yōu)化為多個(gè)硬件目標(biāo)生成高度優(yōu)化的代碼。它通過將神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)流圖降低為中間表示，然后應(yīng)用兩階段過程來實(shí)現(xiàn)（圖 4）。

圖 4. Facebook 的 Glow 編譯器是一種與硬件無關(guān)的編譯器，它使用兩階段過程來優(yōu)化嵌入式計(jì)算加速器的神經(jīng)網(wǎng)絡(luò)。

Glow 中間表示的第一階段允許編譯器執(zhí)行特定領(lǐng)域的改進(jìn)，并根據(jù)神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)流圖的內(nèi)容優(yōu)化高級(jí)構(gòu)造。在這個(gè)階段，編譯器是獨(dú)立于目標(biāo)的。

在 Glow 表示的第二階段，編譯器在生成特定于硬件的代碼之前優(yōu)化指令調(diào)度和內(nèi)存分配。由于其增量降低階段以及它支持大量輸入運(yùn)算符的事實(shí)，Glow 編譯器能夠利用專門的硬件功能，而無需在每個(gè)受支持的硬件目標(biāo)上實(shí)現(xiàn)所有運(yùn)算符。這不僅減少了所需的內(nèi)存空間量，而且還使其可擴(kuò)展用于僅關(guān)注少數(shù)線性代數(shù)基元的新計(jì)算架構(gòu)。

Esperanto Technologies、英特爾、Marvell、高通和 Cadence 已經(jīng)承諾在未來的硅解決方案中使用 Glow

“Facebook Glow 讓我們能夠快速優(yōu)化尚未到來的技術(shù)，”Louis 說?！凹僭O(shè)引入了一個(gè)新網(wǎng)絡(luò)。要么有人會(huì)做出貢獻(xiàn)，要么我們會(huì)做。他們希望建立一個(gè)開源社區(qū)，這樣人們就可以進(jìn)來并貢獻(xiàn)和加速通用的事情。

“他們還在 Glow 中引入了插入各種加速器的功能，因此我們可以使其適合我們的架構(gòu)，”Louis 繼續(xù)說道。我們將 Glow 視為我們編譯器中的底層引擎 ［向前發(fā)展］?！?/p>

嵌入式神經(jīng)網(wǎng)絡(luò)：少即是多

在過去的幾年里，圍繞人工智能的炒作、研究和開發(fā)呈爆炸式增長(zhǎng)，但正如嵌入式技術(shù)經(jīng)常出現(xiàn)的情況一樣，事實(shí)證明，少即是多。

修剪神經(jīng)網(wǎng)絡(luò)正迅速成為神經(jīng)網(wǎng)絡(luò)開發(fā)人員的一種常見做法，因?yàn)樗麄冊(cè)噲D在不犧牲準(zhǔn)確性的情況下提高性能。與此同時(shí)，F(xiàn)acebook Glow 正在解決處理器碎片化問題，以免阻礙人工智能的采用。

非常好地使用一個(gè)正確的工具通常會(huì)導(dǎo)致成功。對(duì)于神經(jīng)網(wǎng)絡(luò)，使用 Glow 編譯器和稀疏計(jì)算技術(shù)可以完成工作。

審核編輯：郭婷