邊緣AI落地過程中遇到哪些難點(diǎn)

電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）所謂邊緣AI，是指在端側(cè)設(shè)備本身，而不是在云端或大型數(shù)據(jù)中心服務(wù)器上運(yùn)行推理。因?yàn)閷?duì)算力的要求很高，最初AI基本都在云端進(jìn)行訓(xùn)練和推理。然而因?yàn)閿?shù)據(jù)必須上傳至云端，這就帶來了數(shù)據(jù)隱私等多方面的問題。

因此邊緣AI的應(yīng)用需求越來越強(qiáng)勁，在邊緣端進(jìn)行AI推理，處理數(shù)據(jù)的過程就不必上傳至云端，這樣能夠很好地保障數(shù)據(jù)隱私和數(shù)據(jù)安全，還能避免系統(tǒng)受到惡意網(wǎng)絡(luò)攻擊，而且還能夠消除處理延遲，減少數(shù)據(jù)傳輸量和帶寬。

邊緣AI芯片市場(chǎng)規(guī)模在提升

邊緣AI涉及的應(yīng)用范圍非常廣泛，包括智慧家居中的家庭安全監(jiān)控、老人兒童監(jiān)護(hù)、智能鎖可視門鈴、掃地機(jī)器人避障等，智慧零售中智慧門店的客流和客層分析、新老客戶及會(huì)員識(shí)別、操作人員穿戴檢測(cè)、異常行為檢測(cè)，以及無人售貨柜的人臉識(shí)別開柜、識(shí)別商品并自動(dòng)結(jié)算等，還有智慧農(nóng)業(yè)、機(jī)器人、智慧教育等諸多領(lǐng)域各種場(chǎng)景中的應(yīng)用等等。

這其中對(duì)AI芯片的需求巨大，數(shù)據(jù)顯示，預(yù)計(jì)到2025年，邊緣AI芯片市場(chǎng)的收入將達(dá)到122億美元，云端AI芯片市場(chǎng)的收入達(dá)119億美元，邊緣AI芯片市場(chǎng)將超過云端。

因此過去幾年，一些傳統(tǒng)的芯片企業(yè)及初創(chuàng)企業(yè)都加入到邊緣AI芯片行列，包括AMD、英特爾、英偉達(dá)、NXP、ST、谷歌，以及國內(nèi)的寒武紀(jì)、地平線、鯤云科技等。

因?yàn)榭春眠吘壎说膽?yīng)用市場(chǎng)，谷歌早2018年就發(fā)布了用于邊緣計(jì)算的微型AI加速芯片Edge TPU，用于在邊緣設(shè)備上運(yùn)行TensorFlow Lite ML模型進(jìn)行推理。它在較小的物理和功耗范圍內(nèi)提供高性能，并在邊緣部署高精度AI，能夠使用戶以高效率的方式在高分辨率視頻上以每秒30幀的速度同時(shí)執(zhí)行多幀最先進(jìn)的AI模型。

Edge TPU結(jié)合了定制硬件、開放軟件和先進(jìn)的AI算法，為邊緣提供高質(zhì)量、易于部署的AI解決方案。該芯片具有較高的每瓦性能和較小的占地面積，用于預(yù)測(cè)性維護(hù)、異常檢測(cè)、機(jī)器視覺、機(jī)器人、語音識(shí)別等，可應(yīng)用于制造、醫(yī)療保健、零售、智能空間、運(yùn)輸?shù)阮I(lǐng)域。

英偉達(dá)過去幾年也推出了多款邊緣AI產(chǎn)品。2019年英偉達(dá)就推出了Jetson Nano，專為支持入門級(jí)邊緣AI應(yīng)用程序和設(shè)備設(shè)計(jì)，能夠同時(shí)并行運(yùn)行多個(gè)神經(jīng)網(wǎng)絡(luò)應(yīng)用，例如圖像分類、目標(biāo)檢測(cè)、物體分割和自然語言處理等，其運(yùn)行功耗僅為5瓦。

英偉達(dá)推出的基于 Jetbot Jetson Nano（含2GB）的智能無人車教學(xué)系統(tǒng)，在 NVIDIA GTC 2019 年大會(huì)上，這個(gè)項(xiàng)目現(xiàn)場(chǎng)演示了避障 、循路與遇障停止等功能。

2019年英偉達(dá)還發(fā)布了Jetson Xavier NX，這是一個(gè)用于在無人機(jī)、汽車和機(jī)器人等邊緣設(shè)備上的AI系統(tǒng)模塊，可以為AI工作負(fù)載提供21 TOPS的算力，功耗最高僅為15瓦，Jetson Xavier NX的應(yīng)用場(chǎng)景主要是小型商用機(jī)器人、無人機(jī)、高分辨率傳感器、光學(xué)檢測(cè)、網(wǎng)絡(luò)錄像機(jī)、便攜式醫(yī)療設(shè)備以及其他工業(yè)物聯(lián)網(wǎng)系統(tǒng)。

在2021年11月份的GTC大會(huì)上，英偉達(dá)又發(fā)布了一款體積小、功能強(qiáng)的人工智能超級(jí)計(jì)算機(jī)NVIDIA Jetson AGX Orin，專為機(jī)器人、自主機(jī)器、醫(yī)療器材及嵌入式邊緣運(yùn)算場(chǎng)景設(shè)計(jì)。Jetson AGX Orin采用NVIDIA Ampere架構(gòu)GPU和 Arm Cortex-A78AE CPU以及新一代深度學(xué)習(xí)和視覺加速器。其AI性能達(dá)到200 TOPS，功耗最低可達(dá)到15W，最高為50W，這使其成為下一代自主機(jī)器（如交付和物流機(jī)器人、工廠系統(tǒng)和大型工業(yè)無人機(jī)）的首選解決方案。

寒武紀(jì)在2019年也推出了其首款邊緣AI芯片思元220（MLU220）芯片。這是一款專門用于深度學(xué)習(xí)的SOC邊緣加速芯片，采用TSMC 16nm工藝，采用寒武紀(jì)在處理器架構(gòu)領(lǐng)域的一系列創(chuàng)新性技術(shù)。其架構(gòu)為寒武紀(jì)最新一代智能處理器MLUv02，實(shí)現(xiàn)最大32TOPS（INT4）算力，而功耗僅10瓦。此外，基于思元220，寒武紀(jì)面向市場(chǎng)還推出小尺寸的M.2加速卡。

思元220芯片可提供16/8/4位可配置的定點(diǎn)運(yùn)算，客戶可根據(jù)應(yīng)用靈活選擇運(yùn)算類型來獲得卓越的人工智能推理性能。在軟件方面，通過端云一體的軟件平臺(tái)，思元220支持寒武紀(jì)Neuware軟件工具鏈，支持各主流編程框架，包括Tensorflow，Caffe，mxnet，及pytorch等。

在自動(dòng)駕駛這類邊緣場(chǎng)景上，近幾年AI芯片的發(fā)展也在加速，主要的廠商包括英偉達(dá)、高通、英特爾、地平線等。地平線是國內(nèi)入局較早的企業(yè)，2019年地平線就發(fā)布了國內(nèi)首款已量產(chǎn)車規(guī)級(jí)邊緣AI視覺芯片征程2.0，該芯片等效算力超過4TOPS，典型功耗僅為2W，采用地平線二代BPU架構(gòu)，能實(shí)現(xiàn)多類AI任務(wù)處理，并對(duì)多類目標(biāo)實(shí)時(shí)監(jiān)測(cè)和精準(zhǔn)識(shí)別。

如今地平線第三代車規(guī)級(jí)自動(dòng)駕駛芯片征程5即將量產(chǎn)，征程5搭載地平線最新一代BPU貝葉斯深度學(xué)習(xí)加速引擎，單顆芯片AI算力高達(dá)128TOPS。憑借高算力的征程5的正式推出，地平線成為了國內(nèi)少有的能夠覆蓋從L2到L4智能駕駛芯片方案的提供商。

邊緣AI落地面臨哪些難題雖然邊緣AI 應(yīng)用場(chǎng)景豐富，過去幾年邊緣AI芯片市場(chǎng)規(guī)模也在快速提升，不過從目前的情況來看，邊緣AI在落地方面還面臨一些問題。

在此前某論壇上，齊感科技市場(chǎng)營銷副總裁刁勇就談到了AI邊緣視覺應(yīng)用落地的幾個(gè)挑戰(zhàn)。他說現(xiàn)在AI視覺應(yīng)用在邊緣側(cè)的落地場(chǎng)景非常多，比如智能攝像機(jī)、智能門鎖、邊緣分析盒子等都是非常常見的應(yīng)用場(chǎng)景，如今的市場(chǎng)規(guī)模也相當(dāng)大，這些場(chǎng)景對(duì)AI視覺也提出了很高的要求，比如需要較高的集成度，對(duì)滿足算力下的功耗的要求也很高。

齊感科技的AI視覺SOC為了滿足這些場(chǎng)景的要求，也在不斷提高集成度，比如其第一代的AI視覺SOC芯片，在片上ARM內(nèi)核的基礎(chǔ)上，集成了豐富的視覺相關(guān)的IP，包括視頻處理單元ISP、AI加速器NPU，視覺編解碼等，以及各種以太網(wǎng)、DDR等接口。

整體來說，齊感科技邊緣側(cè)視覺SOC，相對(duì)來說集成度、復(fù)雜度相當(dāng)高。刁勇表示，即使如此，在與客戶接觸交流的時(shí)候發(fā)現(xiàn)，客戶用這樣的芯片，快速開發(fā)相對(duì)應(yīng)的AI視覺邊緣側(cè)最終的產(chǎn)品，還是存在蠻大的挑戰(zhàn)。

根據(jù)客戶的痛點(diǎn)，可以總結(jié)出三點(diǎn)：一是復(fù)雜的邊緣側(cè)SOC和復(fù)雜的硬件系統(tǒng)設(shè)計(jì)，對(duì)于客戶來說是非常大的挑戰(zhàn)；二是AI算法，因?yàn)檫吘墏?cè)應(yīng)用場(chǎng)景比較多，算法相對(duì)來說要求比較多；三是邊緣側(cè)的應(yīng)用場(chǎng)景非常多元化、碎片化，怎么利用之前的經(jīng)驗(yàn)來應(yīng)對(duì)不同的場(chǎng)景的需求，也是一個(gè)很大的挑戰(zhàn)。

對(duì)于現(xiàn)在邊緣AI在落地方面的困難，有行業(yè)人士也向電子發(fā)燒友表示，主要體現(xiàn)在幾個(gè)方面：其一，當(dāng)前邊緣AI還缺乏整體的解決方案，大量供應(yīng)商的算力、算法和應(yīng)用是割裂的，最終用戶能看到的滿足落地需求的選擇不多。我們知道，現(xiàn)在很多情況，算力和算法由不同的廠商提供，而且提供算力和算法的廠商，對(duì)一些行業(yè)的應(yīng)用場(chǎng)景不熟悉，理解不夠。

其二，邊緣端也缺乏針對(duì)性的AI算力，現(xiàn)在很多情況，是在原來SOC的基礎(chǔ)上增加AI引擎，這種方式很難滿足邊緣AI算力的需求。一般來說，目前SOC的AI算力普遍在4T以下，現(xiàn)在也有一些能夠達(dá)到6T，這確實(shí)能夠滿足一些場(chǎng)景的應(yīng)用，不過很多邊緣端場(chǎng)景對(duì)算力的需求普遍在8T到20T，可見合適算力的邊緣AI芯片還處于缺乏狀態(tài)。

總結(jié)來說，邊緣AI應(yīng)用場(chǎng)景比較多元、長尾化，行業(yè)屬性比較明顯。在算法方面，不同場(chǎng)景對(duì)算法的需求不同，要求比較高；在算力方面，很多情況由SOC添加AI引擎的方式提供算力，一些場(chǎng)景對(duì)SOC算力集成度、功耗的要求高，同時(shí)非常多場(chǎng)景SOC的算力不足以支持應(yīng)用，而對(duì)于客戶來說，有針對(duì)性的邊緣算力芯片還不夠；另外算法、算力割裂的情況，以及對(duì)應(yīng)用場(chǎng)景累積不夠的情況，也是當(dāng)前邊緣AI落地過程中遇到的難點(diǎn)。

小結(jié)從目前的情況來看，邊緣AI的應(yīng)用場(chǎng)景越來越豐富，并且在諸多方面已經(jīng)形成規(guī)模。不過整體而言，邊緣AI應(yīng)用場(chǎng)景碎片化明顯，對(duì)算法要求高，目前還存在針對(duì)性算力缺乏，整體解決方案缺乏等問題，對(duì)于芯片、算法廠商來說，還需要繼續(xù)投入研發(fā)，邊緣AI供應(yīng)商們也需要有足夠耐心，需要足夠下沉，去真正理解不同行業(yè)的切實(shí)需求。