智能向邊緣裝置移動(dòng)

機(jī)器學(xué)習(xí)正快速成為物聯(lián)網(wǎng)(internet of things；IoT)裝置的一項(xiàng)確定特色。家電現(xiàn)在開始支援語音驅(qū)動(dòng)介面，能夠智能地因應(yīng)自然語言模式?，F(xiàn)在，透過在智能型手機(jī)相機(jī)上向機(jī)器人示范流程，就能向機(jī)器人展示如何在工廠現(xiàn)場(chǎng)四處搬移材料，并為其他機(jī)器編程，同時(shí)智能型手機(jī)的功能也變得更聰明了。這些應(yīng)用程序是利用至今最成功、能處理復(fù)雜、多面向數(shù)據(jù)的人工智能結(jié)構(gòu)：深度學(xué)習(xí)網(wǎng)路(deep neural network；DNN)。

到目前為止，應(yīng)用DNN科技作為嵌入式系統(tǒng)的議題向來是電腦效能的期望。盡管運(yùn)算量比訓(xùn)練時(shí)少，但在輸入數(shù)據(jù)變成受過訓(xùn)練之辨識(shí)與分析DNN的推論階段期間，仍必須有每秒數(shù)十億的運(yùn)算流量數(shù)據(jù)，如語音及影片。因此，在許多情況下，會(huì)將處理轉(zhuǎn)移至可提供大量動(dòng)力的云端，但對(duì)于邊緣裝置還是沒有理想的解決方案。

關(guān)鍵任務(wù)運(yùn)用案例，如自動(dòng)駕駛車輛與工業(yè)機(jī)器人，會(huì)利用DNN的即時(shí)辨識(shí)物體能力，并改善情境感知。不過，延遲、頻寬與網(wǎng)路可用性的問題并不適合云端運(yùn)算。在這些情境中，執(zhí)行者承擔(dān)不起云端無法即時(shí)反應(yīng)的風(fēng)險(xiǎn)。

隱私則是另一個(gè)問題。盡管消費(fèi)者很欣賞裝置中如智能揚(yáng)聲器等語音協(xié)助的便利性，但他們也漸漸會(huì)擔(dān)心當(dāng)定期將對(duì)話內(nèi)容錄音檔轉(zhuǎn)移到云端時(shí)，自己的個(gè)資可能會(huì)不慎遭到公開。隨著搭載相機(jī)鏡頭的智能揚(yáng)聲器，以及能啟用視訊的機(jī)器人助理出現(xiàn)，這種擔(dān)憂也跟著加劇。為了讓顧客消除疑慮，制造商正在研究如何在最終裝置中將更多DNN處理移動(dòng)至邊緣。主要的問題就在于DNN處理不適合傳統(tǒng)嵌入式系統(tǒng)的結(jié)構(gòu)。

傳統(tǒng)嵌入式處理器不足以應(yīng)付DNN處理

以CPU與GPU為主的傳統(tǒng)嵌入式處理器，無法有效率地為低功率裝置處理DNN工作量。IoT與行動(dòng)裝置對(duì)功率及面積有非常嚴(yán)格的限制，而必須有高性能才能進(jìn)行即時(shí)的DNN處理。功率、效能與面積三者的組合就稱為PPA，必須為了手上的任務(wù)進(jìn)行最佳化。

解決這些問題的一個(gè)方法，就是為DNN處理提供可存取晶載暫存記憶體配置的硬體引擎。這個(gè)作法的問題在于，開發(fā)者必須具備高度靈活性，每個(gè)DNN執(zhí)行的結(jié)構(gòu)都需要依其目標(biāo)應(yīng)用做調(diào)整。專為語言辨識(shí)設(shè)計(jì)及訓(xùn)練的DNN，將會(huì)混合不同于影片專用之DNN的卷積、池化及全連結(jié)層。由于機(jī)器學(xué)習(xí)尚未成熟，還在持續(xù)發(fā)展，因此為了設(shè)計(jì)能因應(yīng)未來的解決方案，靈活性就至關(guān)重要。

另一個(gè)常用方法是為標(biāo)準(zhǔn)處理單元增加一個(gè)向量處理單元(VPU)。這個(gè)作法能更有效率地計(jì)畫，并能靈活操控不同類型的網(wǎng)路，但這樣還是不夠。讀取來自外接DDR記憶體的數(shù)據(jù)是與DNN處理相關(guān)，極為耗電的工作。因此，數(shù)據(jù)效率及記憶體存取也必須經(jīng)過詳細(xì)檢查，以作為完整的解決方案。為加強(qiáng)效率、可擴(kuò)充性與靈活性，VPU只是AI處理器里其中一個(gè)必要的重要模組。

啟用最佳化頻寬與傳輸量

例如CEVA建立了一個(gè)結(jié)構(gòu)，能同時(shí)滿足DNN的效能挑戰(zhàn)，以及保留處理最廣泛多樣內(nèi)建式深度學(xué)習(xí)應(yīng)用程序所必要的靈活性。NeuPro AI處理器包含了一個(gè)專業(yè)、最佳化的深度神經(jīng)網(wǎng)路推論硬體引擎，以處理卷積、全連結(jié)、活化與池化層，另外還利用了高效、可編程的VPU進(jìn)行未支援的其他層與推論軟體執(zhí)行。這個(gè)結(jié)構(gòu)搭配了CEVA深度神經(jīng)網(wǎng)路(CDNN)軟體架構(gòu)，能啟動(dòng)最佳化繪圖編譯，并能在運(yùn)行時(shí)執(zhí)行。

NeuPro的可擴(kuò)充與靈活結(jié)構(gòu)適合各種不同的AI應(yīng)用程序

透過支援8位元與16位元算術(shù)，就能達(dá)到進(jìn)一步的性能最佳化。對(duì)于一些運(yùn)算來說，必須有精確的16位元計(jì)算，而在其他情況下，使用8位元計(jì)算就能取得幾乎相同的運(yùn)算結(jié)果，如此就能明顯減少工作量，進(jìn)而減少功率的消耗。NeuPro引擎能讓這些混合操作達(dá)到平衡，因而讓各層都達(dá)到最理想的執(zhí)行。

依不同層選擇8位元或16位元計(jì)算，就能提供最理想的精確性與效能

結(jié)合最佳化后的硬體模組、VPU，以及有效率的記憶系統(tǒng)，就能提供可擴(kuò)充、靈活且極具效率的解決方案。除此之外，CDNN也能利用按鍵網(wǎng)路轉(zhuǎn)換與現(xiàn)成的程序庫模組，將開發(fā)變得簡化。最后的成果就是一個(gè)功能完整，并讓物聯(lián)網(wǎng)裝置設(shè)計(jì)師有能力在下一代產(chǎn)品中充份運(yùn)用本地化機(jī)器學(xué)習(xí)的AI處理器。