谷歌、寒武紀早早入局！邊緣AI仍面臨這些落地難題！

電子發(fā)燒友網(wǎng)報道（文/李彎彎）所謂邊緣AI，是指在端側(cè)設(shè)備本身，而不是在云端或大型數(shù)據(jù)中心服務(wù)器上運行推理。因為對算力的要求很高，最初AI基本都在云端進行訓(xùn)練和推理。然而因為數(shù)據(jù)必須上傳至云端，這就帶來了數(shù)據(jù)隱私等多方面的問題。

因此邊緣AI的應(yīng)用需求越來越強勁，在邊緣端進行AI推理，處理數(shù)據(jù)的過程就不必上傳至云端，這樣能夠很好地保障數(shù)據(jù)隱私和數(shù)據(jù)安全，還能避免系統(tǒng)受到惡意網(wǎng)絡(luò)攻擊，而且還能夠消除處理延遲，減少數(shù)據(jù)傳輸量和帶寬。

邊緣AI芯片市場規(guī)模在提升

邊緣AI涉及的應(yīng)用范圍非常廣泛，包括智慧家居中的家庭安全監(jiān)控、老人兒童監(jiān)護、智能鎖可視門鈴、掃地機器人避障等，智慧零售中智慧門店的客流和客層分析、新老客戶及會員識別、操作人員穿戴檢測、異常行為檢測，以及無人售貨柜的人臉識別開柜、識別商品并自動結(jié)算等，還有智慧農(nóng)業(yè)、機器人、智慧教育等諸多領(lǐng)域各種場景中的應(yīng)用等等。

這其中對AI芯片的需求巨大，數(shù)據(jù)顯示，預(yù)計到2025年，邊緣AI芯片市場的收入將達到122億美元，云端AI芯片市場的收入達119億美元，邊緣AI芯片市場將超過云端。

因此過去幾年，一些傳統(tǒng)的芯片企業(yè)及初創(chuàng)企業(yè)都加入到邊緣AI芯片行列，包括AMD、英特爾、英偉達、NXP、ST、谷歌，以及國內(nèi)的寒武紀、地平線、鯤云科技等。

因為看好邊緣端的應(yīng)用市場，谷歌早2018年就發(fā)布了用于邊緣計算的微型AI加速芯片Edge TPU，用于在邊緣設(shè)備上運行TensorFlow Lite ML模型進行推理。它在較小的物理和功耗范圍內(nèi)提供高性能，并在邊緣部署高精度AI，能夠使用戶以高效率的方式在高分辨率視頻上以每秒30幀的速度同時執(zhí)行多幀最先進的AI模型。

Edge TPU結(jié)合了定制硬件、開放軟件和先進的AI算法，為邊緣提供高質(zhì)量、易于部署的AI解決方案。該芯片具有較高的每瓦性能和較小的占地面積，用于預(yù)測性維護、異常檢測、機器視覺、機器人、語音識別等，可應(yīng)用于制造、醫(yī)療保健、零售、智能空間、運輸?shù)阮I(lǐng)域。

英偉達過去幾年也推出了多款邊緣AI產(chǎn)品。2019年英偉達就推出了Jetson Nano，專為支持入門級邊緣AI應(yīng)用程序和設(shè)備設(shè)計，能夠同時并行運行多個神經(jīng)網(wǎng)絡(luò)應(yīng)用，例如圖像分類、目標檢測、物體分割和自然語言處理等，其運行功耗僅為5瓦。

英偉達推出的基于Jetbot Jetson Nano（含2GB）的智能無人車教學(xué)系統(tǒng)，在NVIDIA GTC 2019年大會上，這個項目現(xiàn)場演示了避障 、循路與遇障停止等功能。

2019年英偉達還發(fā)布了Jetson Xavier NX，這是一個用于在無人機、汽車和機器人等邊緣設(shè)備上的AI系統(tǒng)模塊，可以為AI工作負載提供21 TOPS的算力，功耗最高僅為15瓦，Jetson Xavier NX的應(yīng)用場景主要是小型商用機器人、無人機、高分辨率傳感器、光學(xué)檢測、網(wǎng)絡(luò)錄像機、便攜式醫(yī)療設(shè)備以及其他工業(yè)物聯(lián)網(wǎng)系統(tǒng)。

在2021年11月份的GTC大會上，英偉達又發(fā)布了一款體積小、功能強的人工智能超級計算機NVIDIA Jetson AGX Orin，專為機器人、自主機器、醫(yī)療器材及嵌入式邊緣運算場景設(shè)計。Jetson AGX Orin采用NVIDIA Ampere架構(gòu)GPU和ArmCortex-A78AE CPU以及新一代深度學(xué)習(xí)和視覺加速器。其AI性能達到200 TOPS，功耗最低可達到15W，最高為50W，這使其成為下一代自主機器（如交付和物流機器人、工廠系統(tǒng)和大型工業(yè)無人機）的首選解決方案。

寒武紀在2019年也推出了其首款邊緣AI芯片思元220（MLU220）芯片。這是一款專門用于深度學(xué)習(xí)的SOC邊緣加速芯片，采用TSMC 16nm工藝，采用寒武紀在處理器架構(gòu)領(lǐng)域的一系列創(chuàng)新性技術(shù)。其架構(gòu)為寒武紀最新一代智能處理器MLUv02，實現(xiàn)最大32TOPS（INT4）算力，而功耗僅10瓦。此外，基于思元220，寒武紀面向市場還推出小尺寸的M.2加速卡。

思元220芯片可提供16/8/4位可配置的定點運算，客戶可根據(jù)應(yīng)用靈活選擇運算類型來獲得卓越的人工智能推理性能。在軟件方面，通過端云一體的軟件平臺，思元220支持寒武紀Neuware軟件工具鏈，支持各主流編程框架，包括Tensorflow，Caffe，mxnet，及pytorch等。

在自動駕駛這類邊緣場景上，近幾年AI芯片的發(fā)展也在加速，主要的廠商包括英偉達、高通、英特爾、地平線等。地平線是國內(nèi)入局較早的企業(yè)，2019年地平線就發(fā)布了國內(nèi)首款已量產(chǎn)車規(guī)級邊緣AI視覺芯片征程2.0，該芯片等效算力超過4TOPS，典型功耗僅為2W，采用地平線二代BPU架構(gòu)，能實現(xiàn)多類AI任務(wù)處理，并對多類目標實時監(jiān)測和精準識別。

如今地平線第三代車規(guī)級自動駕駛芯片征程5即將量產(chǎn)，征程5搭載地平線最新一代BPU貝葉斯深度學(xué)習(xí)加速引擎，單顆芯片AI算力高達128TOPS。憑借高算力的征程5的正式推出，地平線成為了國內(nèi)少有的能夠覆蓋從L2到L4智能駕駛芯片方案的提供商。

邊緣AI落地面臨哪些難題

雖然邊緣AI應(yīng)用場景豐富，過去幾年邊緣AI芯片市場規(guī)模也在快速提升，不過從目前的情況來看，邊緣AI在落地方面還面臨一些問題。

在此前某論壇上，齊感科技市場營銷副總裁刁勇就談到了AI邊緣視覺應(yīng)用落地的幾個挑戰(zhàn)。他說現(xiàn)在AI視覺應(yīng)用在邊緣側(cè)的落地場景非常多，比如智能攝像機、智能門鎖、邊緣分析盒子等都是非常常見的應(yīng)用場景，如今的市場規(guī)模也相當(dāng)大，這些場景對AI視覺也提出了很高的要求，比如需要較高的集成度，對滿足算力下的功耗的要求也很高。

齊感科技的AI視覺SOC為了滿足這些場景的要求，也在不斷提高集成度，比如其第一代的AI視覺SOC芯片，在片上ARM內(nèi)核的基礎(chǔ)上，集成了豐富的視覺相關(guān)的IP，包括視頻處理單元ISP、AI加速器NPU，視覺編解碼等，以及各種以太網(wǎng)、DDR等接口。

整體來說，齊感科技邊緣側(cè)視覺SOC，相對來說集成度、復(fù)雜度相當(dāng)高。刁勇表示，即使如此，在與客戶接觸交流的時候發(fā)現(xiàn)，客戶用這樣的芯片，快速開發(fā)相對應(yīng)的AI視覺邊緣側(cè)最終的產(chǎn)品，還是存在蠻大的挑戰(zhàn)。

根據(jù)客戶的痛點，可以總結(jié)出三點：一是復(fù)雜的邊緣側(cè)SOC和復(fù)雜的硬件系統(tǒng)設(shè)計，對于客戶來說是非常大的挑戰(zhàn)；二是AI算法，因為邊緣側(cè)應(yīng)用場景比較多，算法相對來說要求比較多；三是邊緣側(cè)的應(yīng)用場景非常多元化、碎片化，怎么利用之前的經(jīng)驗來應(yīng)對不同的場景的需求，也是一個很大的挑戰(zhàn)。

對于現(xiàn)在邊緣AI在落地方面的困難，有行業(yè)人士也向電子發(fā)燒友表示，主要體現(xiàn)在幾個方面：其一，當(dāng)前邊緣AI還缺乏整體的解決方案，大量供應(yīng)商的算力、算法和應(yīng)用是割裂的，最終用戶能看到的滿足落地需求的選擇不多。我們知道，現(xiàn)在很多情況，算力和算法由不同的廠商提供，而且提供算力和算法的廠商，對一些行業(yè)的應(yīng)用場景不熟悉，理解不夠。

其二，邊緣端也缺乏針對性的AI算力，現(xiàn)在很多情況，是在原來SOC的基礎(chǔ)上增加AI引擎，這種方式很難滿足邊緣AI算力的需求。一般來說，目前SOC的AI算力普遍在4T以下，現(xiàn)在也有一些能夠達到6T，這確實能夠滿足一些場景的應(yīng)用，不過很多邊緣端場景對算力的需求普遍在8T到20T，可見合適算力的邊緣AI芯片還處于缺乏狀態(tài)。

總結(jié)來說，邊緣AI應(yīng)用場景比較多元、長尾化，行業(yè)屬性比較明顯。在算法方面，不同場景對算法的需求不同，要求比較高；在算力方面，很多情況由SOC添加AI引擎的方式提供算力，一些場景對SOC算力集成度、功耗的要求高，同時非常多場景SOC的算力不足以支持應(yīng)用，而對于客戶來說，有針對性的邊緣算力芯片還不夠；另外算法、算力割裂的情況，以及對應(yīng)用場景累積不夠的情況，也是當(dāng)前邊緣AI落地過程中遇到的難點。

小結(jié)

從目前的情況來看，邊緣AI的應(yīng)用場景越來越豐富，并且在諸多方面已經(jīng)形成規(guī)模。不過整體而言，邊緣AI應(yīng)用場景碎片化明顯，對算法要求高，目前還存在針對性算力缺乏，整體解決方案缺乏等問題，對于芯片、算法廠商來說，還需要繼續(xù)投入研發(fā)，邊緣AI供應(yīng)商們也需要有足夠耐心，需要足夠下沉，去真正理解不同行業(yè)的切實需求。