如何提升NPU的能效比？

現(xiàn)如今，深度神經(jīng)網(wǎng)絡(luò)正在以越來越大的規(guī)模部署，橫跨了從云端，自動駕駛到IoT等平臺。比如用于圖像識別，語音識別及翻譯，癌癥檢測以及自動駕駛中對感知層海量數(shù)據(jù)的處理等。在很多領(lǐng)域，深度神經(jīng)網(wǎng)絡(luò)的精度已經(jīng)超越人類，它的優(yōu)越性來源于它對原始數(shù)據(jù)的特征提取，并通過對大量數(shù)據(jù)的學習來獲取輸入空間的有效表征，但是它的高精度是以超高計算復(fù)雜度為代價。因此很多廠商都在追逐NPU的算力來解決這些復(fù)雜問題，但是隨著算力的提高，NPU設(shè)計也越來越復(fù)雜，將伴隨著面積和功耗的增加，這對于那些面積和功耗有很大限制的設(shè)備帶來了挑戰(zhàn)，因此如何提升NPU的能效比就成了亟待解決的問題。

NPU通過數(shù)據(jù)分區(qū)和有效調(diào)度，利用數(shù)據(jù)的重用以及執(zhí)行分段來提高能效比和硬件利用率，而實現(xiàn)高利用率，數(shù)據(jù)重用將直接依賴于如何調(diào)度深度神經(jīng)網(wǎng)絡(luò)的計算和如何將這些計算有效的映射到NPU的硬件單元上。以CNN為例，數(shù)據(jù)流無非包含三個方面filter(Weight)，ifmap和ofmap，如下圖。

因此在設(shè)計NPU時需要考慮如利用內(nèi)存的層次結(jié)構(gòu)，決定哪些數(shù)據(jù)要讀到那一層的內(nèi)存中以及什么時候被處理，如何可以重用filter,ifmap和ofmap，將他們存放在本地內(nèi)存中，從而大大減少DRAM的訪問次數(shù)，這將在很大程度上提高NPU的硬件利用率及性能，并減少由于DRAM訪問帶了的額外功耗。根據(jù)數(shù)據(jù)處理特征可以將數(shù)據(jù)流分為以下幾類：

1)、靜態(tài)weight

weight靜態(tài)數(shù)據(jù)流的設(shè)計是通過在PE的RF(Register File)中存取weight，來減少讀取weight產(chǎn)生的功耗。weight從DRAM讀取到RF并保持靜態(tài)以供進一步訪問，NPU在計算時盡可能多的利用RF中的weight以達到最大程度的重用。通常的實現(xiàn)是將ifmap廣播給所有的PE，部分和(Psum)將穿過所有的PE來完成空間上的累加。

2)、靜態(tài)輸出

輸出靜態(tài)數(shù)據(jù)流的設(shè)計是通過將accumulator產(chǎn)生的Psum存放到本地的RF中，以避免將Psum剛寫入DRAM再讀回，從而減少因Psum讀寫產(chǎn)生的功耗。通常的實現(xiàn)是流式輸入Activation，并將weight廣播給所有的PE。

3)、無本地重用

如果考慮到RF會增大面積，可以將所有的數(shù)據(jù)都存放到Global Buffer中，這樣沒有任何數(shù)據(jù)會留在PE的RF，也不會增設(shè)RF單元來減小面積，但是增加了PE和Global Buffer的數(shù)據(jù)交互。具體來說是通過多廣播Activation，單廣播Weight以及Psum穿過所有的PE進行累加來實現(xiàn)的。

4)、靜態(tài)行

靜態(tài)行數(shù)據(jù)流的目標是將所有的數(shù)據(jù)類型(Activation,weight, psum)的重用和計算都在RF中完成，來提升總體的能效。它區(qū)別于上面的靜態(tài)weight和靜態(tài)輸出，只是分別對weight和psum進行優(yōu)化。

具體選用哪種數(shù)據(jù)流方式要結(jié)合NPU微架構(gòu)的設(shè)計。下面總結(jié)了來自于幾個廠家的NPU，它們分別利用了不同數(shù)據(jù)流類型來提高能效比。

參考文獻：

【1】Vivienne S. Yu-Hsin C.and etc., “Ef?cient Processing of Deep Neural Networks: A Tutorial and Survey”

關(guān)于復(fù)睿微電子：

復(fù)睿微電子是世界500強企業(yè)復(fù)星集團出資設(shè)立的先進科技型企業(yè)。復(fù)睿微電子植根于創(chuàng)新驅(qū)動的文化，通過技術(shù)創(chuàng)新改變?nèi)藗兊纳睢⒐ぷ?、學習和娛樂方式。公司成立于2022年1月，目標成為世界領(lǐng)先的智能出行時代的大算力方案提供商，致力于為汽車電子、人工智能、通用計算等領(lǐng)域提供以高性能芯片為基礎(chǔ)的解決方案。

目前主要從事汽車智能座艙、ADS/ADAS芯片研發(fā)，以領(lǐng)先的芯片設(shè)計能力和人工智能算法，通過底層技術(shù)賦能，推動汽車產(chǎn)業(yè)的創(chuàng)新發(fā)展，提升人們的出行體驗。在智能出行的時代，芯片是汽車的大腦。復(fù)星智能出行集團已經(jīng)構(gòu)建了完善的智能出行生態(tài)，復(fù)睿微是整個生態(tài)的通用大算力和人工智能大算力的基礎(chǔ)平臺。復(fù)睿微以提升客戶體驗為使命，在后摩爾定律時代持續(xù)通過先進封裝、先進制程和解決方案提升算力，與合作伙伴共同面對汽車智能化的新時代。

審核編輯 ：李倩