將可能變?yōu)楝F(xiàn)實：利用Arm技術(shù)實現(xiàn)邊緣AI和ML

作者：Arm 高級副總裁兼物聯(lián)網(wǎng)事業(yè)部總經(jīng)理 Paul Williamson

談到人工智能 (AI) 和機器學(xué)習(xí) (ML) 時，您會聯(lián)想到拖拉機嗎？答案應(yīng)該是不會，但是《經(jīng)濟學(xué)人》[1]中的這個類比或許能為您帶來些啟發(fā)。

雖然拖拉機在二十世紀(jì)初一經(jīng)問世就引起轟動，但農(nóng)場主們對于新技術(shù)的接受速度是非常緩慢的。到 1940 年，僅有 23% 的美國農(nóng)場采用了拖拉機。為何普及速度如此緩慢？主要原因是拖拉機功能有限、可靠性較差、維護困難，以及價格過于昂貴。但即使如此，大多數(shù)農(nóng)場主心里也明白，一旦這些問題得到解決，且當(dāng)這個產(chǎn)品更具經(jīng)濟吸引力，將帶來巨大的變革。

當(dāng)今技術(shù)的普及速度遠(yuǎn)遠(yuǎn)超過二十世紀(jì)的農(nóng)業(yè)領(lǐng)域，但從拖拉機發(fā)展歷程中得出的經(jīng)驗，對于 AI 和 ML 在邊緣領(lǐng)域的早期應(yīng)用依然具有重要借鑒意義。換言之，對 AI 系統(tǒng)的競相投資不能只停留在對美好未來的憧憬上，而要重視切實可行的實施計劃。正如二十世紀(jì) 40 年代，從一開始農(nóng)民看到拖拉機時的驚奇，轉(zhuǎn)向切實地提高農(nóng)業(yè)效率，實現(xiàn)農(nóng)業(yè)多樣化和集約化，以及為拖拉機開發(fā)更多專用附件和服務(wù)。

然而，要在邊緣側(cè)實現(xiàn) AI 和 ML 的規(guī)?；瘧?yīng)用，目前仍需克服重重挑戰(zhàn)。

碎片化格局

市場上針對不同應(yīng)用和場景的硬件類型五花八門，這構(gòu)成了在邊緣側(cè)部署 AI 和 ML 的一大挑戰(zhàn)。通常，豐富多樣的硬件選擇會導(dǎo)致開發(fā)者必須為特定硬件定制模型和代碼，這無疑會增加開發(fā)過程的復(fù)雜性和管理成本。

現(xiàn)實情況是，與移動設(shè)備和高性能物聯(lián)網(wǎng)類似，大多數(shù) ML 模型都是在 CPU 上運行。而物聯(lián)網(wǎng)又廣泛構(gòu)建于 Arm 架構(gòu)之上。2020 年，Arm 推出了 Helium 技術(shù)，它是 Arm Cortex-M 指令集的矢量擴展，支持在超低功耗設(shè)備上實現(xiàn) ML 加速。引入 Helium 的 Cortex-M 能夠幫助開發(fā)者將 ML 應(yīng)用的性能提升多達(dá) 15 倍，并將其能效提高至少五倍。目前已有超過 35 家合作伙伴推出了采用 Helium 技術(shù)的設(shè)備，其中包括恩智浦半導(dǎo)體、瑞薩電子、Ambiq 和 Alif Semiconductor。

Arm Ethos NPU 系列產(chǎn)品旨在為邊緣 ML 工作負(fù)載提供更優(yōu)異的性能和能效表現(xiàn)，為您的性能提升之路保駕護航。Ethos NPU 兼具可擴展性和可配置性，能夠針對不同應(yīng)用提供不同級別的性能和功耗，適用于計算機視覺、自然語言處理、語音識別、推薦系統(tǒng)等多種應(yīng)用場景。Ethos NPU 可以與任何基于 Arm 技術(shù)的 SoC 集成，為從智能音箱到安全攝像頭等各種設(shè)備提供無縫的 ML 加速解決方案。

AI 模型生命周期

另一挑戰(zhàn)是 AI 模型的生命周期，其中包括訓(xùn)練、調(diào)整和部署等環(huán)節(jié)。為了在邊緣部署 AI 模型，開發(fā)者需要考慮如何針對特定硬件優(yōu)化模型。這涉及選擇正確的模型架構(gòu)、數(shù)據(jù)格式、量化方案和推理引擎，以便使其能夠在嵌入式設(shè)備上高效運行。此外，開發(fā)者需要選擇能夠充分利用設(shè)備硬件功能（如 Ethos NPU 或 Helium 技術(shù)）的推理引擎，以加速模型的執(zhí)行。

Arm 能夠讓開發(fā)者輕松地在嵌入式設(shè)備上使用 PyTorch 和 ExecuTorch 等主流 ML 框架。例如，Arm Keil MDK 是可用于簡化嵌入式應(yīng)用程序開發(fā)和調(diào)試的集成開發(fā)環(huán)境 (IDE)，能支持 CMSIS 工具包，而后者為設(shè)備能力和 ML 模型提供了通用的抽象層。借助經(jīng)簡化的開發(fā)流程，開發(fā)者僅需單一工具鏈和經(jīng)驗證的單一架構(gòu)便可以實現(xiàn) AI 功能。迄今，基于 Cortex-M 的設(shè)備出貨量已超過 1000 億臺，在全球范圍內(nèi)擁有 100 多家 ML 生態(tài)系統(tǒng)合作伙伴。

利用 Arm 解決方案，開發(fā)者可以減少嵌入式設(shè)備中 ML 應(yīng)用開發(fā)所需的時間和成本，同時獲得更優(yōu)越的性能和能效表現(xiàn)。

使用嵌入式設(shè)備

嵌入式開發(fā)面臨的主要挑戰(zhàn)之一在于，需要在資源受限的設(shè)備上優(yōu)化 ML 應(yīng)用的性能和效率。不同于基于云端的解決方案，可利用服務(wù)器強大的計算和存儲能力，嵌入式設(shè)備通常必須在嚴(yán)苛的功耗和延遲性約束之下，在本地運行 ML 模型。為了實現(xiàn)所需的 ML 性能，開發(fā)者通常不得不在初代產(chǎn)品的價格或功耗上做出妥協(xié)。

而 Arm 虛擬硬件的推出帶來了一種創(chuàng)新思路，它是一款基于 Arm 架構(gòu)的云端模擬解決方案，使開發(fā)者可以在不依賴物理硬件的情況下開發(fā)和測試 ML 應(yīng)用。該解決方案可與 AWS SageMaker 和 Google Cloud AI Platform 等 MLOps 解決方案無縫集成，有效簡化了 ML 模型在各種設(shè)備上的部署和管理。這些平臺提供的工具和服務(wù)支持自動執(zhí)行 ML 生命周期的每一個階段，涵蓋了從數(shù)據(jù)管理和模型訓(xùn)練到部署和監(jiān)控等環(huán)節(jié)。通過將 Arm 虛擬硬件與 MLOps 解決方案相結(jié)合，開發(fā)者可以更快地將嵌入式 ML 應(yīng)用推向市場、降低成本并增強其可擴展性。

部署和保護知識產(chǎn)權(quán)

在數(shù)以百萬計的端側(cè)設(shè)備中部署和保護寶貴的知識產(chǎn)權(quán)，也是一項重大挑戰(zhàn)。ML 模型本質(zhì)上是數(shù)學(xué)函數(shù)，任何有權(quán)訪問設(shè)備或數(shù)據(jù)流的人都可以提取和復(fù)制它。因此，設(shè)備和數(shù)據(jù)可能會被篡改、操控或惡意攻擊，從而導(dǎo)致其功能和可靠性受到損害。開發(fā)者必須確保其 ML 模型受到保護，不會輕易被逆向工程破解。

Arm 致力于幫助開發(fā)者在邊緣設(shè)備上部署 ML 模型并保障其安全，方法之一便是在 PSA Certified 提供的框架內(nèi)操作。PSA Certified 是平臺安全架構(gòu) (PSA) 的縮寫，是 Arm 與合作伙伴為幫助保護物聯(lián)網(wǎng)設(shè)備而制定的最佳實踐和規(guī)范。經(jīng) PSA Certified 認(rèn)證，用戶可以驗證和信任物聯(lián)網(wǎng)產(chǎn)品的安全性，并確保其符合相關(guān)法規(guī)和標(biāo)準(zhǔn)的要求。

嵌入式邊緣 AI

AI 和 ML 正在重新塑造嵌入式系統(tǒng)的發(fā)展面貌。

去年，我們與合作伙伴共同探討了應(yīng)對嵌入式開發(fā)中一些常見挑戰(zhàn)的各種方法，例如：類似 Arm 虛擬硬件等的開發(fā)解決方案、新行業(yè)標(biāo)準(zhǔn)，或通過采用 Arm 架構(gòu)以實現(xiàn)靈活性、高效率并最大限度地降低安全風(fēng)險。

今年，我們將直面 AI 和 ML 在邊緣領(lǐng)域飛速創(chuàng)新的成果，并切身感受這些變化給 Arm 開發(fā)者生態(tài)系統(tǒng)帶來的影響。物聯(lián)網(wǎng)邊緣互聯(lián)設(shè)備日漸增多，數(shù)據(jù)量呈指數(shù)級增長，這為 AI 算法處理數(shù)據(jù)并實時提供洞察帶來了大量機遇。盡管生成式 AI 和大語言模型 (LLM) 備受矚目，但部署到邊緣物聯(lián)網(wǎng)設(shè)備（如：樹莓派）上的較小模型也開始嶄露頭角。Transformer 架構(gòu)模型正在邊緣側(cè)掀起波瀾，因其固有的出色靈活性，使其與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò) (CNN) 區(qū)別開來。

變革的步伐之快令人驚嘆。Arm 非常高興能夠在支持高性能物聯(lián)網(wǎng)設(shè)備和系統(tǒng)實現(xiàn) AI 方面發(fā)揮關(guān)鍵作用。Arm 的愿景是提供安全的智能設(shè)備和系統(tǒng)，進而推動創(chuàng)新并改善人們的生活。通過以下舉措，Arm 持續(xù)致力于幫助開發(fā)者應(yīng)對挑戰(zhàn)：

通過優(yōu)化高性能物聯(lián)網(wǎng)中部署 AI 的硬件和軟件，以實現(xiàn)性能、功耗、成本效益、安全性與可擴展性的優(yōu)異平衡。

簡便易用的工具和平臺，讓高性能物聯(lián)網(wǎng)中的 AI 開發(fā)和部署變得更加容易，讓更多具有不同知識背景的開發(fā)者和系統(tǒng)搭建者都能根據(jù)自身需求構(gòu)建和定制解決方案。

強大的生態(tài)系統(tǒng)支持和戰(zhàn)略合作伙伴關(guān)系，加速推動了在高性能物聯(lián)網(wǎng)中 AI 的普及并最大限度的發(fā)揮其效用，鼓勵各利益相關(guān)方和行業(yè)之間開展合作與共創(chuàng)。

這些是 Arm 實現(xiàn)物聯(lián)網(wǎng)邊緣 AI 愿景的重要支柱。我們堅信，就像拖拉機曾經(jīng)大幅改變了農(nóng)業(yè)和食物供應(yīng)鏈一樣，邊緣 AI 也將轉(zhuǎn)變我們與物理世界的互動方式，開啟人類創(chuàng)新創(chuàng)造的嶄新篇章。