邊緣計(jì)算中深度神經(jīng)網(wǎng)絡(luò)剪枝壓縮的研究

邊緣計(jì)算將計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)等能力擴(kuò)展到物聯(lián)網(wǎng)設(shè)備附近的網(wǎng)絡(luò)邊緣側(cè)，而以深度學(xué)習(xí)為代表的人工智能技術(shù)讓每個(gè)邊緣計(jì)算的節(jié)點(diǎn)都具有計(jì)算和決策的能力，這使得某些復(fù)雜的智能應(yīng)用可以在本地邊緣端進(jìn)行處理，滿足了敏捷連接、實(shí)時(shí)業(yè)務(wù)、數(shù)據(jù)優(yōu)化、應(yīng)用智能、安全與隱私保護(hù)等方面的需求。智能邊緣計(jì)算利用物聯(lián)網(wǎng)的邊緣設(shè)備進(jìn)行數(shù)據(jù)采集和智能分析計(jì)算，實(shí)現(xiàn)智能在云和邊緣之間流動(dòng)，對(duì)人工智能算法、終端、芯片都提出了新的需求，正成為越來(lái)越多人工智能企業(yè)關(guān)注的重點(diǎn)方向。然而，由于深度學(xué)習(xí)模型推理需要消耗大量的計(jì)算資源，當(dāng)前的大多數(shù)邊緣設(shè)備由于資源受限無(wú)法以低延遲、低功耗、高精確率的方式支持深度學(xué)習(xí)應(yīng)用。

深度神經(jīng)網(wǎng)絡(luò)與其他很多機(jī)器學(xué)習(xí)模型一樣，可分為訓(xùn)練和推理兩個(gè)階段。訓(xùn)練階段根據(jù)數(shù)據(jù)學(xué)習(xí)模型中的參數(shù)（對(duì)神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)主要是網(wǎng)絡(luò)中的權(quán)重）；推理階段將新數(shù)據(jù)輸入模型，經(jīng)過計(jì)算得出結(jié)果。過參數(shù)化是指在訓(xùn)練階段，網(wǎng)絡(luò)需要大量的參數(shù)來(lái)捕捉數(shù)據(jù)中的微小信息，而一旦訓(xùn)練完成到了推理階段，就不需要這么多的參數(shù)?；谶@樣的假設(shè)，就可以在部署前對(duì)模型進(jìn)行簡(jiǎn)化。模型壓縮中的剪枝（pruning）和量化兩類方法正是基于這樣的前提。模型簡(jiǎn)化的優(yōu)點(diǎn)包括但不限于：（1）計(jì)算量的減小，從而使計(jì)算時(shí)間更少，功耗更??；（2）存儲(chǔ)和讀寫訪問量變小，可以放到更邊緣的設(shè)備上運(yùn)行，本來(lái)需要既慢又耗能的DRAM參與，現(xiàn)在有可能放在SRAM就可以。其核心問題是如何有效地裁剪模型并使得精度的損失最小化。

對(duì)于神經(jīng)網(wǎng)絡(luò)修剪的研究始于20世紀(jì)80年代末、90年代初。漢森（Hanson）在1988年提出基于幅度的修剪方法，即對(duì)網(wǎng)絡(luò)中每個(gè)隱含單元施加與其絕對(duì)值相關(guān)的權(quán)重衰減來(lái)使隱含單元數(shù)量最小化。樂昆（LeCun）和哈斯比（Hassibi）分別在1990年和1993年提出最優(yōu)腦損傷（Optimal Brain Damage，OBD）和最優(yōu)腦手術(shù)（Optimal Brain Surgeon，OBS）方法，它們基于損失函數(shù)相對(duì)于權(quán)重的二階導(dǎo)數(shù)（對(duì)權(quán)重向量來(lái)說(shuō)即Hessian矩陣）來(lái)衡量網(wǎng)絡(luò)中權(quán)重的重要程度，然后對(duì)其進(jìn)行裁剪。由于受到當(dāng)時(shí)計(jì)算資源的限制，研究?jī)H限于淺層神經(jīng)網(wǎng)絡(luò)，但其對(duì)問題的定義和解決問題的思路對(duì)之后的工作產(chǎn)生了深遠(yuǎn)的影響。從2012年起，神經(jīng)網(wǎng)絡(luò)的變化趨勢(shì)是不斷加深網(wǎng)絡(luò)以提高精度。在2015-2016年期間，Han等人發(fā)表了一系列對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行模型壓縮的工作，其中Deep Compression對(duì)當(dāng)時(shí)經(jīng)典網(wǎng)絡(luò)AlexNet和VGG進(jìn)行了壓縮。結(jié)合修剪、量化和哈夫曼編碼等多種方法，將網(wǎng)絡(luò)尺寸壓縮至幾十分之一，性能獲得成倍的提升。其中對(duì)于修剪帶來(lái)的精度損失，使用了迭代修剪方法進(jìn)行補(bǔ)償，使精度幾乎沒有損失。之后這幾年，模型壓縮領(lǐng)域變得越來(lái)越豐富，越來(lái)越多的相關(guān)工作衍生而出。

從網(wǎng)絡(luò)修剪的粒度來(lái)說(shuō)，可以分為結(jié)構(gòu)化剪枝（structured pruning）和非結(jié)構(gòu)化剪枝（unstructured pruning）兩類。早期的一些方法是基于非結(jié)構(gòu)化的，它修剪的粒度為單個(gè)神經(jīng)元。如果對(duì)卷積核進(jìn)行非結(jié)構(gòu)化剪枝，則得到的卷積核是稀疏的，即中間有很多元素為0的矩陣。除非下層的硬件和計(jì)算庫(kù)對(duì)其有比較好的支持，否則修剪后的網(wǎng)絡(luò)很難獲得實(shí)質(zhì)的性能提升。稀疏矩陣無(wú)法利用現(xiàn)有成熟的基礎(chǔ)線性代數(shù)子程序（Basic Linear Algebra Subprograms，BLAS）庫(kù)來(lái)獲得額外性能收益。因此，很多研究是集中在結(jié)構(gòu)化剪枝上，通常細(xì)分為通道剪枝、卷積核剪枝和網(wǎng)絡(luò)結(jié)構(gòu)修剪。