邊緣AI普及的關(guān)鍵是軟件嗎？

每個(gè)人都喜歡談?wù)撨吘?a href="http://wenjunhu.com/tags/ai/" target="_blank">AI，但卻不提AI與嵌入式世界之間長(zhǎng)期存在的鴻溝。邊緣AI設(shè)計(jì)人員陷入了無(wú)休止的“優(yōu)化”循環(huán)中，他們不得不在硬件上調(diào)整神經(jīng)網(wǎng)絡(luò)模型并達(dá)到可接受的精度。他們急需工具來(lái)減負(fù)。這關(guān)系到邊緣AI部署的規(guī)模。

Eta Compute的CEO Evan Petridis最近表示：“如今，邊緣AI正處于‘這個(gè)令人不安的路口’。邊緣AI橫跨兩個(gè)領(lǐng)域，機(jī)器學(xué)習(xí)（ML）和嵌入式。這兩個(gè)截然不同的領(lǐng)域既沒(méi)有相同的語(yǔ)言，也沒(méi)有相同的設(shè)計(jì)理念。”

最明顯的差距在于技術(shù)和產(chǎn)品開(kāi)發(fā)的速度。ML的發(fā)展速度是普通硬件設(shè)計(jì)人員從未見(jiàn)過(guò)的。另一方面，嵌入式領(lǐng)域的芯片會(huì)隨著時(shí)間的推移而不斷演進(jìn)，其產(chǎn)品開(kāi)發(fā)速度要穩(wěn)定得多、保守得多。

最令嵌入式社區(qū)感到不安的是，兩個(gè)領(lǐng)域的專家對(duì)其設(shè)計(jì)和工程嚴(yán)謹(jǐn)性的看法大相徑庭。

數(shù)據(jù)科學(xué)家開(kāi)發(fā)的神經(jīng)網(wǎng)絡(luò)模型都是統(tǒng)計(jì)性的。Petridis說(shuō)：“因此，當(dāng)他們能讓一個(gè)模型正確工作時(shí)，例如92%，他們就認(rèn)為自己贏了。然而，在傳統(tǒng)的嵌入式世界中，如果你犯了一個(gè)錯(cuò)誤，你交付的東西在100%不能正常工作，你會(huì)遇到巨大的經(jīng)濟(jì)問(wèn)題……運(yùn)營(yíng)問(wèn)題是巨大的?！?/p>

Petridis說(shuō)，結(jié)果就是“文化沖突、領(lǐng)域知識(shí)沖突和開(kāi)發(fā)周期沖突”。他認(rèn)為這種沖突可能會(huì)“極大地阻礙邊緣AI產(chǎn)品的部署”。

Aptos

Eta Compute剛剛推出了一款名為Aptos的云端軟件平臺(tái)，這標(biāo)志著該公司業(yè)務(wù)模式的又一次轉(zhuǎn)折。Eta Compute于2015年作為一家AI芯片初創(chuàng)公司起步，然后在2020年底成為一家軟件IP供應(yīng)商?，F(xiàn)在，它是一家SaaS平臺(tái)公司。

Eta Compute的轉(zhuǎn)型反映了仍處于萌芽期的邊緣AI市場(chǎng)的磨合期陣痛，也反映了許多AI硬件初創(chuàng)公司在尋找最終創(chuàng)收點(diǎn)時(shí)的掙扎。

Eta Compute解釋說(shuō)：“Aptos是一個(gè)新的基于網(wǎng)絡(luò)的平臺(tái)，它帶來(lái)了對(duì)嵌入式系統(tǒng)領(lǐng)域的理解，包括所選芯片的軟件和芯片的AI能力和局限性?！痹摴韭暦Q，其基于網(wǎng)絡(luò)的工具鏈“可以簡(jiǎn)化邊緣ML的模型開(kāi)發(fā)、部署和管理的整個(gè)流程周期”。

Petridis總結(jié)道，“我們希望打造一款處于嵌入式和ML領(lǐng)域交匯點(diǎn)的工具?！?/p>

不過(guò)，Eta Compute并不是第一個(gè)開(kāi)發(fā)旨在連接嵌入式和AI領(lǐng)域的工具的公司。Edge Impulse成立于2019年，聲稱其工具集“讓嵌入式ML應(yīng)用的構(gòu)建、部署和擴(kuò)展過(guò)程變得更簡(jiǎn)單、更快速”。

Edge Impulse更專注于“漏斗的頂部”，讓硬件公司“輕松上手”，而Petridis則認(rèn)為，Eta Compute的Aptos將滿足系統(tǒng)設(shè)計(jì)人員深入挖掘和開(kāi)發(fā)“值得生產(chǎn)的edge AI模型”的需求。

邊緣AI市場(chǎng)的格局

這兩家公司的工具的潛在市場(chǎng)似乎都很大，因?yàn)檫吘堿I是人人都在拼命搶奪和快速增長(zhǎng)的細(xì)分市場(chǎng)。當(dāng)然，AI加速器初創(chuàng)公司和AI推理SoC設(shè)計(jì)公司都寄希望于邊緣技術(shù)，以便在嵌入式市場(chǎng)中占據(jù)有意義的份額，因?yàn)镹vidia還沒(méi)有像在數(shù)據(jù)中心那樣占據(jù)主導(dǎo)地位。

包括ST、Renesas和NXP在內(nèi)的傳統(tǒng)MCU公司也在努力將AI納入其產(chǎn)品組合。

例如，Silicon Labs周二發(fā)布了一款名為Series 3的嵌入式IoT平臺(tái)，內(nèi)置AI/ML引擎。Silicon Labs的CTO Daniel Cooley說(shuō)：“有了更多的內(nèi)存和算力，我們的ML能力或矢量計(jì)算能力將比現(xiàn)在提高100倍?！?/p>

Silicon Labs在過(guò)去15年中對(duì)經(jīng)典MCU已經(jīng)進(jìn)行了全面的“重新思考”，Cooley說(shuō)，“這些MCU從一開(kāi)始就連接在一起，它們將為ML帶來(lái)更多的算力?！彼A(yù)測(cè)，ML將“在嵌入式領(lǐng)域變得更加有趣……就像在數(shù)據(jù)中心、移動(dòng)和汽車領(lǐng)域一樣”。

盡管如此，邊緣AI項(xiàng)目的實(shí)際投產(chǎn)率卻低得令人沮喪。

Eta Compute自身在邊緣AI市場(chǎng)的經(jīng)驗(yàn)告訴該公司，盡管進(jìn)行了大量實(shí)驗(yàn)、原型和PoC，但邊緣AI產(chǎn)品根本沒(méi)有得到批量部署。早在Petridis加入之前，這就是Eta Compute的大問(wèn)題，盡管它擁有專為超低功耗AIoT應(yīng)用而優(yōu)化的異構(gòu)多核SoC。

部署延遲不僅困擾著Eta Compute，也困擾著所有AI芯片公司。

拓展問(wèn)題的根源

IDC將擴(kuò)展問(wèn)題歸咎于“成本（即硬件加速器和計(jì)算資源）、缺乏熟練人員、缺乏ML操作工具和技術(shù)、缺乏足夠的數(shù)據(jù)量和數(shù)據(jù)質(zhì)量，以及信任和治理問(wèn)題”等。

對(duì)于邊緣AI開(kāi)發(fā)人員來(lái)說(shuō)，基本的擴(kuò)展問(wèn)題可歸結(jié)為三個(gè)因素：需要手工制作AI模型以實(shí)現(xiàn)準(zhǔn)確性、數(shù)據(jù)科學(xué)家和硬件設(shè)計(jì)人員之間的不斷來(lái)回循環(huán)，以及邊緣AI應(yīng)用的碎片化性質(zhì)。

雖然AI芯片公司通常都配備了自己的編譯器，但在ML優(yōu)化方面卻面臨著困難。為了保留功能，編譯器通常會(huì)降低表示法，例如從C語(yǔ)言到匯編語(yǔ)言，或從行為RTL到結(jié)構(gòu)RTL。

ML推理IP公司Quadric的CMO Steve Roddy解釋說(shuō)，但對(duì)于ML優(yōu)化而言，編譯器并不能完成這項(xiàng)工作，因?yàn)椤澳銓?shí)際上是在刪除東西”。“工具鏈實(shí)際上是在告訴數(shù)據(jù)科學(xué)家，嘿，你的行李中有很多多余的東西，你真的不需要了?！盧oddy將這種窘境比作帶著超重行李出現(xiàn)在機(jī)場(chǎng)，雖然預(yù)訂的是廉價(jià)航空的機(jī)票。

Roddy說(shuō)：“因?yàn)樗袞|西都必須裝進(jìn)隨身行李，所以我打開(kāi)你的行李，開(kāi)始把你所有的衣服都扔出來(lái)?！?/p>

這實(shí)際上就是數(shù)據(jù)科學(xué)家建立一個(gè)極其復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型時(shí)發(fā)生的情況。ML中的剪枝、稀疏性或量化任務(wù)“與標(biāo)準(zhǔn)編譯器的工作截然不同”。

但是，從我的行李中取出衣服是誰(shuí)的工作呢？

Roddy解釋說(shuō)，通常是嵌入式人員和數(shù)據(jù)科學(xué)家。有些公司有“數(shù)據(jù)工程師”或“ML工程師”，專門負(fù)責(zé)填補(bǔ)空白。

Petridis喜歡行李箱的比喻。

但他補(bǔ)充說(shuō)，ML優(yōu)化涉及的參數(shù)超出了體積縮小的范圍，可能會(huì)重塑模型?！癕L的多維性可能會(huì)把你的包變成一個(gè)極其奇怪的形狀，甚至?xí)褚粋€(gè)星形包?！?/p>

Petridis說(shuō)，考慮一下特定的神經(jīng)網(wǎng)絡(luò)操作?！澳憧梢栽?a target="_blank">Arm內(nèi)核上運(yùn)行它，或者如果你有加速器和 NPU，這可能有助于將運(yùn)行速度提高20倍或50倍。但這不如通用CPU靈活?！?/p>

Petridis說(shuō)，鑒于硬件和軟件性能存在諸多變數(shù)，優(yōu)化變得“星羅棋布”。他指出，人們通常很難跟蹤工藝優(yōu)化中的所有變量。有“一小撮人，通常是芯片公司的人，他們通過(guò)研究特定的架構(gòu)成長(zhǎng)起來(lái)，并開(kāi)發(fā)出了一套特定的啟發(fā)式方法，讓你知道如何繪制出東西”。這種優(yōu)化方式可能對(duì)某個(gè)項(xiàng)目有效，但如果讓AI芯片公司只追求特定的邊緣AI項(xiàng)目，而不去擴(kuò)展，那就會(huì)釀成大禍。

有了Aptos，Eta Compute就可以省去數(shù)據(jù)科學(xué)、神經(jīng)網(wǎng)絡(luò)模型和復(fù)雜映射方面的人工雕琢。Petrides解釋說(shuō)，它應(yīng)用ML來(lái)發(fā)現(xiàn)芯片性能、剖析芯片并抽象硬件。

當(dāng)他在2021年加入Eta Compute時(shí)，“我們圍繞著構(gòu)建正確的軟件基礎(chǔ)設(shè)施這一主張重塑了公司”，以支持邊緣AI。Petrides解釋說(shuō)，Eta Compute不再是一家芯片公司，而是加強(qiáng)了ML工程，將60%的專家投入ML，三分之一的專家投入嵌入式系統(tǒng)。

贏得嵌入式工程師的信任

Eta Compute設(shè)計(jì)的Aptos將來(lái)回優(yōu)化過(guò)程簡(jiǎn)化為一個(gè)步驟。

Petridis說(shuō)：“我們通過(guò)對(duì)硬件進(jìn)行抽象來(lái)實(shí)現(xiàn)這一點(diǎn)。我們讓它足夠準(zhǔn)確，這樣嵌入式工程師就可以相信它了。最后，Aptos提供了一個(gè)模型，例如，在一個(gè)特定的芯片上實(shí)現(xiàn)了90%的準(zhǔn)確率，運(yùn)行時(shí)間為17毫秒，耗電量為1.1毫焦?！盤etridis強(qiáng)調(diào)說(shuō)：“這不是估計(jì)、猜測(cè)或近似值。這是測(cè)量值。因此，如果你把這個(gè)模型集成到你的軟件模型中，并在你的系統(tǒng)上運(yùn)行，你將得到完全相同的結(jié)果?！?/p>

從本質(zhì)上講，Eta Compute聲稱Aptos可以從嵌入式AI系統(tǒng)目前使用的任何架構(gòu)中提取最大容量。Petridis說(shuō)：“這并不神奇，因?yàn)槲覀兊姆椒ㄊ鞘褂霉?yīng)商的工具，深入到他們的編譯器內(nèi)部，因?yàn)榫幾g器希望以某種方式分配任務(wù)?！?/p>

據(jù)Petridis稱，剛推出的Aptos仍處于測(cè)試階段，只有少數(shù)人參加了其早期訪問(wèn)計(jì)劃。

ML和嵌入式社區(qū)之間的鴻溝既廣又深。包括Eta Compute和Edge Impulse在內(nèi)的越來(lái)越多的供應(yīng)商認(rèn)為，軟件基礎(chǔ)設(shè)施的不足阻礙了商業(yè)邊緣AI產(chǎn)品潛在的爆炸性增長(zhǎng)。






審核編輯：劉清