學(xué)技術(shù) | 淺談MediaTek NeuroPilot.

在開始介紹MediaTek NeuroPilot之前，我想先幫各位伙伴們科普一下什么是Edge AI。

許多人工智慧仍遠在云端，且可能無法如你所愿，快速地傳送到達終端?；锇閭円苍S會思考，為什么不讓人工智慧離你近些呢？

MTK將人工智慧技術(shù)應(yīng)用到你周邊的終端裝置，充分地實現(xiàn)終端人工智慧，這意味著伙伴們無需等待，也無需上網(wǎng)，就能立即享受到人工智慧。

使用上可以得到更快速地響應(yīng)、更好的隱私保護、更多的功能。

Faster response

Better privacy

More Functionality

然而，為了優(yōu)化終端人工智慧，MediaTek為神經(jīng)網(wǎng)絡(luò)運算，設(shè)計了一個全新的人工智慧處理單元APU，和CPU相比，它可以節(jié)省高達95%的電力（SAVE 95% ENERGY CONSUMPTION），讓你能有更多的時間處理更多任務(wù)

MTK還建立了一個創(chuàng)新的異構(gòu)運算構(gòu)架（HETEROGENEOUS COMPUTING），能即時導(dǎo)引正確的任務(wù)到正確的位置，讓每個處理器都能發(fā)揮最佳性能和最大化的能源效率，這就是MTK的終端人工智慧平臺–NeuroPilot

NeuroPilot支持業(yè)界所有主流的人工智慧構(gòu)架如下列所示。

Google: TENSORFLOW/TENSORFLOW LITE

AMAZON: MXNET

CAFFE

SONY: NNABLA

Other NN Frameworks

如果伙伴們是開發(fā)人員，只要開發(fā)一次，便可應(yīng)用NeuroPilot到任何可支持的終端裝置。

CROSS PRODUCT

CROSS OPERATING SYSTEM

Android / Linux / RTOS / Others

NeuroPilot大致可分為三個層級，如下圖所示，最頂層是各種應(yīng)用程序，也是我們?nèi)粘＞湍芙佑|的一些應(yīng)用，像是一些臉部識別、面部美化、場景檢測、手勢檢測、語音識別等等。

中間層用于程序編寫和異構(gòu)運算，主要由軟件算法所構(gòu)置的，包括神經(jīng)網(wǎng)絡(luò)運行（NN Runtime），異構(gòu)運行（Heterogeneous Runtime）。

這些基于個別級別的API進行程序編寫的框架，我們稱之為AI framewrok，像Google的tensorflow（Lite）、caffe、Amazon的MXNet、Sony的NNabla等。

聯(lián)發(fā)科技的NeuroPilot支持市面上主流且常用的所有AI framework，意思就是說，我們的伙伴們就能夠很方便地在NeuroPilot平臺上進行程序開發(fā)，同時也能夠很好地與云端對接。

再來最底層是各種硬件處理器CPU、GPU、APU。

一般情況下，我們在處理這個model太大，然后想要把它縮小，做優(yōu)化來講，有幾個大家比較常用的手法。

我先講一下什么是優(yōu)化，優(yōu)化工具主要專注的地方是在training那個階段。會把訓(xùn)練好的model來做優(yōu)化?；锇閭兛赡軙?，為什么要在training好的model來做優(yōu)化呢？

這是因為我們很多AI model在訓(xùn)練好的時候，其實占用很大的容量，動不動就幾百兆字節(jié)。這樣大小的model放在設(shè)備端來執(zhí)行的話，可以想象，第一個跑起來會很慢，第二個是非常的耗電。所以我們會用一些手法來做一些優(yōu)化，讓這個model變比較小，比較適合在設(shè)備端來執(zhí)行。

第一個手法是有些Model本身就比較小，如下列圖標，而它的準確度，不會因為他model小就被影響，例如像是我們看到MobileNet、SqueezeNet和Shufflenet，這幾種來執(zhí)行。

或是我們可以使用程序的方式去探索硬件，知道這個硬件適合什么樣的Model在什么樣的硬件上會跑比較快，這種方法叫做NAS，Neuron Architecture Search，這個手法，直接用程序去跑，看找什么樣的Model比較適合的。

另外底下三個手法，它就是用程序，去達成讓Model縮小，首先是Quantization，或是中文我們叫做量化，這樣的手法其實是去改變我們原本Model的儲存數(shù)字和參數(shù)。

把它從Floating point這種比較大的格式，轉(zhuǎn)換成integer這種比較小的格式。你可以想象，轉(zhuǎn)換變小之后，它的Model也會跟著轉(zhuǎn)換縮小，縮小之后，這個Model就可以在設(shè)備端，跑起來比較快，比較省電。

第四個方法，這邊寫到是Network Reduction，或者是我們在軟件上稱做Pruning，中文可能會叫做剪枝，這個手法我們可以想像它是一個Model壓縮的技術(shù)，它可以把一個比較大的Model，壓縮成一個比較小的Model。

另外也有人用另一個方法，它把一個大的Model，然后再用一個小的Model去學(xué)這個大的Model，就是用原本training完大的Model，用小Model去學(xué)它，然后最后在設(shè)備端上來執(zhí)行，這是叫做distilling的手法。

關(guān)于NeuroPilot基本的介紹就到此，有興趣的伙伴們，可以隨時與我們探討和研究，謝謝。