詳解為什么要在微控制器上使用TinyML？與TinyML的作用和潛力

TinyML證明了小芯片也可以發(fā)覺更多可能。這種新方法不是在大型，耗電的云端計(jì)算機(jī)上運(yùn)行復(fù)雜的機(jī)器學(xué)習(xí)（ML）模型，而是在終端設(shè)備上運(yùn)行優(yōu)化的識(shí)別模型，而這些微控制器僅消耗不超過幾毫瓦的功率。

在Arm和行業(yè)領(lǐng)導(dǎo)者Google，Qualcomm等人的支持下，這一新興的細(xì)分市場(chǎng)tinyML有潛力改變我們物聯(lián)網(wǎng)（IoT）處理數(shù)據(jù)的方式，其中數(shù)十億個(gè)微型設(shè)備已用于提供更大的洞察力以及增強(qiáng)消費(fèi)，醫(yī)療，汽車和工業(yè)等領(lǐng)域的效率。

為什么要在微控制器上使用TinyML？

諸如Arm Cortex-M系列之類的微控制器是ML的理想平臺(tái)，因?yàn)樗鼈円驯粡V泛使用。它們可以快速，高效地執(zhí)行實(shí)時(shí)計(jì)算，因此可靠性高，響應(yīng)速度快，并且由于它們僅消耗很少的電量，因此可以部署在更換電池困難或不便的地方。也許更重要的是，它們足夠便宜，幾乎可以在任何地方使用。市場(chǎng)分析機(jī)構(gòu)IDC報(bào)告稱，2018年售出了281億個(gè)微控制器，并預(yù)測(cè)到2023年年出貨量將增長(zhǎng)到382億個(gè)。

微控制器上的ML成為我們用于分析和理解IoT生成數(shù)據(jù)的新技術(shù)。特別是，深度學(xué)習(xí)方法可用于處理信息并理解來自傳感器的數(shù)據(jù)，傳感器執(zhí)行諸如檢測(cè)聲音，捕獲圖像和跟蹤運(yùn)動(dòng)之類的事情。

以緊湊格式進(jìn)行高級(jí)模式識(shí)別

通過研究機(jī)器學(xué)習(xí)中涉及的數(shù)學(xué)，數(shù)據(jù)科學(xué)家發(fā)現(xiàn)他們可以通過進(jìn)行某些更改來降低復(fù)雜性，例如用簡(jiǎn)單的8位運(yùn)算代替浮點(diǎn)計(jì)算。這些變化創(chuàng)建了機(jī)器學(xué)習(xí)模型，該模型可以更有效地工作，并且需要更少的處理和內(nèi)存資源。

TinyML技術(shù)的飛速發(fā)展得益于新技術(shù)和開發(fā)人員的參與。僅在幾年前，我們還慶祝我們能夠運(yùn)行語(yǔ)音識(shí)別模型的能力，該模型能夠在受限的Arm Cortex-M3微控制器上僅使用15 KB（KB）的代碼和22KB的數(shù)據(jù)就可以檢測(cè)到某些單詞，以便喚醒系統(tǒng)。

從那時(shí)起，Arm推出了新的機(jī)器學(xué)習(xí)（ML）處理器，稱為Ethos-U55和Ethos-U65，這是一種microNPU，專門設(shè)計(jì)用于加速嵌入式和IoT設(shè)備中的ML推理。

與我們今天看到的令人印象深刻的示例相比，Ethos-U55與具有AI功能的Cortex-M55處理器相結(jié)合，將大大提高機(jī)器學(xué)習(xí)性能并提高能源效率。我們預(yù)計(jì)在未來12個(gè)月內(nèi)會(huì)推出響應(yīng)芯片。

TinyML使邊緣設(shè)備更上一層樓

TinyML的潛在用例幾乎是無限的。開發(fā)人員已經(jīng)在與TinyML合作，探索各種新想法：響應(yīng)信號(hào)燈改變信號(hào)以減少擁堵，工業(yè)機(jī)器可以預(yù)測(cè)何時(shí)需要維護(hù)，傳感器可以監(jiān)視農(nóng)作物中是否存在有害昆蟲，可以在庫(kù)存不足時(shí)請(qǐng)求補(bǔ)貨的貨架，醫(yī)療監(jiān)護(hù)儀可以在保持隱私的同時(shí)跟蹤生命周期等等。

TinyML可以使端點(diǎn)設(shè)備更一致，更可靠，因?yàn)椴辉傩枰蕾嚪泵Φ膿頂D的昂貴的互聯(lián)網(wǎng)連接云端，也不必進(jìn)行復(fù)雜的數(shù)據(jù)傳輸。減少甚至消除與云的交互具有以下好處：減少能源消耗，顯著減少處理數(shù)據(jù)的延遲，以及提高安全性。

當(dāng)然，這些在微控制器上執(zhí)行推理的TinyML模型無意取代當(dāng)前在云端進(jìn)行的復(fù)雜推理，這毫無價(jià)值。他們要做的是將特定功能從云降低到端點(diǎn)設(shè)備上。這樣，開發(fā)人員可以在需要時(shí)保持云交互。

TinyML還為開發(fā)人員提供了一套功能強(qiáng)大的新工具來解決問題。ML使檢測(cè)基于規(guī)則的系統(tǒng)難以識(shí)別的復(fù)雜事件成為可能，因此端點(diǎn)AI設(shè)備可以開始進(jìn)行新任務(wù)。而且，由于ML使得可以用文字或手勢(shì)來控制設(shè)備，而不是按鈕或智能手機(jī)，因此可以在更具挑戰(zhàn)性的操作環(huán)境中更堅(jiān)固耐用地部署設(shè)備。

TinyML不斷擴(kuò)展的生態(tài)系統(tǒng)

行業(yè)參與者已經(jīng)迅速認(rèn)識(shí)到TinyML的價(jià)值，并迅速采取行動(dòng)以創(chuàng)建一個(gè)廣泛的生態(tài)系統(tǒng)。從熱情的愛好者到經(jīng)驗(yàn)豐富的專業(yè)人員，各個(gè)級(jí)別的開發(fā)人員，現(xiàn)在可都以訪問易于入門的工具。所需要的只是一臺(tái)筆記本電腦，一個(gè)開源軟件庫(kù)和一條USB線，用于將筆記本電腦連接到價(jià)格低至幾美元的廉價(jià)開發(fā)板上。實(shí)際上，在2021年初，Raspberry Pi發(fā)布了他們的第一塊微控制器板，這是市場(chǎng)上最便宜的開發(fā)板之一，僅售4美元。名為Raspberry PiPico的芯片是由RP2040 SoC供電，RP2040 SoC是一款功能強(qiáng)大的雙Arm Cortex-M0 +處理器。 RP2040 MCU能夠運(yùn)行TensorFlow Lite Micro，我們預(yù)計(jì)在接下來的幾個(gè)月中，該板將有各種各樣的ML用例。

Arm是TinyML的強(qiáng)烈支持者，因?yàn)槲覀兊奈⒖刂破骷軜?gòu)對(duì)于IoT至關(guān)重要，并且因?yàn)槲覀兛吹搅嗽O(shè)備上推理的潛力。Arm與Google的合作使開發(fā)人員更容易在注重功耗的環(huán)境中部署端點(diǎn)機(jī)器學(xué)習(xí)。 Arm CMSIS-NN庫(kù)與Google的TensorFlow Lite Micro（TFLu）框架相結(jié)合，使數(shù)據(jù)科學(xué)家和軟件開發(fā)人員可以利用Arm的硬件優(yōu)化功能，而無需成為嵌入式編程專家。最重要的是，Arm在Cortex-M硬件Keil MDK以及我們的物聯(lián)網(wǎng)操作系統(tǒng)Mbed OS的優(yōu)化工具上進(jìn)行了大量投資，以幫助開發(fā)人員在部署ML應(yīng)用程序時(shí)快速地從原型開發(fā)到生產(chǎn)。

沒有許多早期貢獻(xiàn)者，TinyML將是不可能的。Pete Warden，是tinyML的“奠基人”和Google TensorFlow Lite Micro的技術(shù)負(fù)責(zé)人。來自Arm生態(tài)系統(tǒng)的創(chuàng)新者Kwabena Agyeman，他開發(fā)了OpenMV，該項(xiàng)目致力于低成本，可擴(kuò)展，基于Python的機(jī)器視覺模塊的支持機(jī)器學(xué)習(xí)算法。另外一位Arm生態(tài)系統(tǒng)創(chuàng)新者，Daniel Situnayake，Edge Impulse的創(chuàng)始人，tinyML工程師和開發(fā)人員，該公司提供涵蓋數(shù)據(jù)收集，模型訓(xùn)練和模型優(yōu)化的完整TinyML管道。此外，Arm的合作伙伴（例如提供了NanoEdge AI的公司Cartesiam.ai，NanoEdge AI是一種工具，可根據(jù)在真實(shí)條件下觀察到的傳感器行為在端點(diǎn)上創(chuàng)建軟件模型）將TinyML推向另一個(gè)高度。

Arm還是TinyML基金會(huì)的合作伙伴，TinyML基金會(huì)是一個(gè)開放的社區(qū)，負(fù)責(zé)協(xié)調(diào)，以幫助人們聯(lián)系，分享想法并參與其中。有許多本地化的TinyML聚會(huì)，包括英國(guó)，以色列和西雅圖，以及全球范圍的tinyML峰會(huì)。
編輯：lyn