AI模型常見壓縮及減量方式

作者：許哲豪 博士

英特爾邊緣計(jì)算創(chuàng)新大使

1989年科幻電影《親愛的，我把孩子縮小了》，2015年《蟻人》，2017年《縮小人生》，以及我們從小看到大的多啦A夢 “縮小燈”、“縮小隧道”，都不約而同的提到一個(gè)概念，就是可以透過一種神奇的機(jī)器，就能把人的體積大幅縮小但生理機(jī)能完全不減。這里姑且不論是否符合物理定律，但如果真的能實(shí)現(xiàn)，就會(huì)像《縮小人生》中所提到的，可大幅減少地球資源的浪費(fèi)，大幅改善人類的生存環(huán)境。雖然以上提及的技術(shù)可能我們這輩子都難以看到實(shí)現(xiàn)的一天，但把超巨大的 AI 模型縮小但仍保持推論精度不變，還是有很多方法可以達(dá)到的。接下來我們就來幫大家簡單介紹一下幾種常見技術(shù)。

AI 模型組成元素

回顧一下本專欄三月份文章[1]第 1 小節(jié)提及的神經(jīng)網(wǎng)絡(luò)架構(gòu)，其組成內(nèi)容主要包括神經(jīng)元內(nèi)容（包含數(shù)量）、網(wǎng)絡(luò)結(jié)構(gòu)（神經(jīng)元連接拓?fù)洌┘懊總€(gè)連結(jié)的權(quán)重值，如圖 2 所示。簡單的卷積神經(jīng)網(wǎng)絡(luò) (CNN) 如 LeNet-5，就有約 6 萬個(gè)權(quán)重，而大型模型 VGG16 則有約 1.38 億個(gè)權(quán)重，到了現(xiàn)在流行的大型語言模型 GPT-3 已經(jīng)激增到 1750 億個(gè)權(quán)重，更不要說像 GPT-4 已有超過一兆個(gè)權(quán)重。

通常在訓(xùn)練模型時(shí)為了精度，權(quán)重值大多會(huì)使用32 位元浮點(diǎn)數(shù) (FP32) 表示法[2]，這就代表了每個(gè)權(quán)重占用了 4 個(gè) Byte (32bit) 的儲(chǔ)存 (硬碟) 和計(jì)算（隨機(jī)記憶體）空間。這還不包括在推論計(jì)算過程中額外所需的臨時(shí)隨機(jī)記憶體需求。

為了讓運(yùn)行時(shí)減少資料（網(wǎng)路結(jié)構(gòu)描述及權(quán)重值）在 CPU 和 AI 加速計(jì)算單元（如 GPU, NPU 等）間搬移的次數(shù)，所以通常會(huì)一口氣把所有資料都都載入專用記憶體中，但一般配置的記憶體數(shù)量都不會(huì)太多，大約 1GB 到 16GB 不等，所以如果沒有經(jīng)過一些減量或壓縮處理，則很難一口氣全部載入。

圖 1 AI 模型主要元素示意圖

常見壓縮及減量作法

如同前面提到的，我們希望將一個(gè)強(qiáng)大復(fù)雜的 AI 模型減量、壓縮后，得到一個(gè)迷你、簡單的模型，但仍要能維持原有的推論精度或者只有些許（0% 到指定 %）的下降，就像我們平?？吹降?JPG 影像、MP4 影片，雖然采大幅度破壞性壓縮，但人眼是很難分辨其品質(zhì)差異的。這樣可以得到幾項(xiàng)好處，包括大幅減少儲(chǔ)存空間和計(jì)算用記憶體推論速度加快，耗能降低，同時(shí)更有機(jī)會(huì)使用較低計(jì)算能力的硬體（如 GPU 變成 CPU）來完成推論工作。以下就把常見的四種方式簡單介紹給大家。

2.1 權(quán)重值量化 (Quantization)

通常在訓(xùn)練模型時(shí)，為求權(quán)重有較寬廣的數(shù)值動(dòng)態(tài)范圍，所以大部分會(huì)采用 32 位元浮點(diǎn)數(shù) ( FP32,符號(hào) 1 bit ，指數(shù) 8 bit，小數(shù) 23 bit，共 4 Byte，數(shù)值表示范圍 ±1.18e-38 ~±3.40e38 )[2]。而經(jīng)許多資料科學(xué)家實(shí)驗(yàn)后，發(fā)現(xiàn)在推論時(shí)將數(shù)值精度降至 16 位元浮點(diǎn)數(shù)(FP16, 2 Byte, -32,768 ~ +32767)，甚至 8 位元整數(shù) (INT8, 1 Byte, -128 ~ +127)、8 位元浮點(diǎn)數(shù)（FP8, e5m2, e4m3， 1 Byte) 在推論時(shí)其精度下降幅度可控制在一定程度內(nèi)，同時(shí)可讓儲(chǔ)存空間和記憶體使用量減少 1/2 到 3/4，若加上有支持 SIMD 或平行運(yùn)算指令集[1]還可讓運(yùn)算量提升 1.x ~ 3.x 倍，一舉多得。

以 FP32 量化為 INT8 為例，一般最簡單的作法就是把所有空間等比對(duì)稱分割再映射，不過當(dāng)遇到權(quán)重值分配往單邊靠或集中在某個(gè)區(qū)間時(shí)就很難分別出細(xì)部差異。于是就有以最大值與最小值非對(duì)稱方式來重新映射，以解決上述問題。

這樣的量化減量的方式最為簡單，但也常遇到模型所有層用同一數(shù)值精度后推論精度下降太多，于是開始有人采取合精度，即不同層的權(quán)重可能采不同數(shù)值精度（如 FP32, FP16, INT8 等）來進(jìn)行量化。不過這樣的處理方式較為復(fù)雜，通常需要一些自動(dòng)化工具來協(xié)助。

圖 2 權(quán)重值量化示意圖[3]

2.2 模型剪枝 (Pruning)

所謂樹大必有枯枝，模型大了自然有很多連結(jié)（權(quán)重）是沒有存在必要的或者是刪除后只產(chǎn)生非常輕微的影響。如果要透過人為方式來調(diào)整（刪除、合并）數(shù)以百萬到千萬的連結(jié)勢必不可能，此時(shí)就只能透過相關(guān)程序（如英特爾 OpenVINO, Nvidia TensorRT, Google TensorFlow Lite 等）使用復(fù)雜的數(shù)學(xué)來協(xié)助完成。

經(jīng)過剪枝后，計(jì)算量會(huì)明顯下降，但可以減少多少則會(huì)根據(jù)模型復(fù)雜度及訓(xùn)練的權(quán)重值分布狀況會(huì)有很大差異，可能從數(shù)個(gè) percent 到數(shù)十個(gè) percent 不等，甚至運(yùn)氣好有可能達(dá)到減量 90% 以上。

另外由于剪枝后會(huì)造成模型結(jié)構(gòu)（拓?fù)洌┳兂珊懿煌暾瑹o法連續(xù)讀取，所以需要另外增加一些描述信息。不過相對(duì)權(quán)重值占用的儲(chǔ)存空間，這些多出來的部分只不過是九牛一毛，不需要太過在意。

圖 3模型剪枝示意圖[3]

2.3權(quán)重共享 (Weight Share)

由于權(quán)重值大多是由浮點(diǎn)數(shù)表示，所以若能將近似值進(jìn)行群聚（合并），用較少的數(shù)量來表達(dá)，再使用查表法來映射，如此也是一個(gè)不錯(cuò)的作法。但缺點(diǎn)是這樣的作法會(huì)增加一些對(duì)照表，增加推論時(shí)額外的查表工作，且由于和原數(shù)值有些微差異，因此會(huì)損失一些推論精度。

如圖 4 所示，即是將 16 個(gè)權(quán)重先聚類成 4 個(gè)權(quán)重（索引值），再將原本的權(quán)重值變成索引號(hào)，等要計(jì)算時(shí)再取回權(quán)重值，這樣儲(chǔ)存空間就降到原本的 1/4。

圖 4 權(quán)重共享壓縮示意圖[3]

2.4知識(shí)蒸餾 (Knowledge Distillation)

知識(shí)蒸餾基本上不是直接壓縮模型，而是利用一個(gè)小模型去學(xué)習(xí)大模型輸出的結(jié)果，間接減少模型的復(fù)雜度、權(quán)重?cái)?shù)量及計(jì)算量。大模型就像老師，學(xué)富五車，經(jīng)過巨量資料集的訓(xùn)練，擁有數(shù)百萬甚至千億個(gè)權(quán)重來幫忙記住各種特征。而小模型就學(xué)生，上課時(shí)間有限，只能把老師教過的習(xí)題熟練于心，但若遇到老師沒教過的，此時(shí)若不能舉一反三，順利答題就很難保證了。

如圖 5 所示，訓(xùn)練學(xué)生模型時(shí)，將同一筆資料輸入到老師模型和學(xué)生模型中，再將老師的輸出變成學(xué)生的標(biāo)準(zhǔn)答案，學(xué)生模型再以此調(diào)整所有權(quán)重，使輸出推論結(jié)果和老師一樣即可。當(dāng)給予足夠多量及多樣的樣本訓(xùn)練后，學(xué)生就能結(jié)束課程，獨(dú)當(dāng)一面了。

圖 5 知識(shí)蒸餾示意圖[3]

小結(jié)

以上只是簡單介紹了部分減量及壓縮模型的方式，還不包含模型減量、壓縮后造成的精度下降如何調(diào)整。這些工作相當(dāng)復(fù)雜，只能交給專業(yè)的工具來辦，其中英特爾OpenVINO Toolkit就有提供許多模型優(yōu)化(Model Optimization)[4] 及神經(jīng)網(wǎng)絡(luò)壓縮工具NNCF (Neural Network Compression Framework)[5]，有興趣的朋友可以自行了解一下，下次有機(jī)會(huì)再為大家做更進(jìn)一步介紹。

審核編輯：湯梓紅