AI在MCU和傳感器的應用會有什么火花

通過Cube.AI軟件功能包，現(xiàn)在可以用STM32微控制器產(chǎn)品來支持機器的人工智能/深度學習。傳感器也可以更加智能化。在傳感器上運用人工智能，一來可以降低整個系統(tǒng)的能耗，二來可以把本身的噪聲、穩(wěn)定性和精度做得更好。

有這么一雙“魔鞋”，它傳感器內部運行AI算法，能夠梳理用戶行走和跑步生成的數(shù)據(jù)，提供有關如何提高運動效率的建議，還能記錄用戶的日常運動方式和健康狀況，并關聯(lián)到各種健身和保險服務。這就是日本公司No New Folk Studio推出的第一款智能鞋Orphe?Track，背后的功臣就是ST。
日前，在本屆STM32峰會上，人工智能（AI）成為最亮眼的關鍵詞。ST把它運用到了MCU和傳感器（邊緣計算）上。
?

MCU+軟件功能包即可實現(xiàn)機器學習？

意法半導體微控制器事業(yè)部全球市場總監(jiān)Daniel Colonna在會上指出，STM32未來規(guī)劃有六點宏觀趨勢：價格更親民；更安全；更多硬件加速器和更多模擬外設；更高能效比、更低功耗；更多無線連接；以及更強計算性能。
他表示，ST會不斷地提升單核頻率，并在雙核方面推出更多產(chǎn)品。該公司擁有廣泛的MCU產(chǎn)品線，現(xiàn)在又有了雙核微處理器（MPU），Cortex-A + Linux，而能為更復雜的應用提供更好的解決方案。

拋開性能指標不談，今天咱們主要看看AI在MCU和傳感器上的應用。
Colonna先生指出，STM32推出之初就是想要提升大家的生產(chǎn)率，讓大家的工作更加簡單。ST非常關注于人工智能的開發(fā)?，F(xiàn)在可以用STM32微控制器產(chǎn)品來支持機器的人工智能/深度學習?！吧疃葘W習就是實現(xiàn)神經(jīng)網(wǎng)絡模式的打造，同時能夠去模擬人的大腦。STM32 Cube.AI可以實現(xiàn)類神經(jīng)系統(tǒng)的打造。STM32的產(chǎn)品就是通過這種方式來幫助實現(xiàn)支持人工智能的深度學習。我們希望能夠盡可能致力于人工智能方面的發(fā)展。”他指出?，F(xiàn)在Cube.AI已經(jīng)可用，使用的是浮點計算來實現(xiàn)數(shù)據(jù)的計算。

?

接下來看一下未來人工智能的示例，以及這個功能軟件包包括什么東西。Colonna指出，Cube.AI軟件包可實現(xiàn)音頻和動作分析、字符識別以及圖像分類?，F(xiàn)在的字符識別和動作分析等都還非常簡單，比如人類活動的識別都是根據(jù)于運動感知所做到的。今后我們會看到越來越多的沉浸式、預警性或者預防式的新的維護應用。通過STM32的機器學習，能夠幫助我們實現(xiàn)電機的感應。在電機傳感之后，能夠實現(xiàn)異常檢測，同時可以直接從關鍵的數(shù)據(jù)當中了解到相關的電壓，以及包括電機的控制。未來這個功能包還能在視覺方面有所提升，比如性別識別、面部識別等技術。當然還有可能實現(xiàn)語音識別，比如聲控、關鍵詞的識別以及語境識別，能夠幫助終端產(chǎn)品在深度學習當中不斷地精進和改善。

從安全性角度來說，ST在一直不斷地提升功能的安全性或安全架構和安全平臺。在接下來的可升級擴展過程當中，也會帶來更多的安全性功能，特別從基于基于Cortex的L5產(chǎn)品開始，可以實現(xiàn)強化的IP隔離，而保證產(chǎn)品的安全性。

傳感器+AI，可以實現(xiàn)降低功耗和提升性能的雙重好處

意法半導體大中華暨南亞區(qū)模擬器件、MEMS和傳感器(AMS)產(chǎn)品部市場及應用高級總監(jiān)吳衛(wèi)東重點探討了該公司傳感器的創(chuàng)新之路。他指出，在IoT系統(tǒng)里，非常關鍵的一個部分就是傳感器。例如，AR/VR是近年來非常熱門的話題，隨著現(xiàn)在5G時代越來越近，AR/VR的應用和體驗會逐漸實現(xiàn)。產(chǎn)品里的連接技術已經(jīng)非常成熟。在處理器方面也非常強勁。傳感器也有著多年歷史，那未來又將如何創(chuàng)新呢？
傳感器也可以更加智能化。以AR/VR應用為例，之所以對傳感器有著高需求，是因為這個產(chǎn)品直接連接在頭部。人體是非常重要的傳感器單元，而AV/VR頭盔可以獲取周邊物理現(xiàn)象和信息。在拿到了這些信息的同時，如果經(jīng)過智能處理，再傳給主控處理，就會更簡單。這就是智能傳感器。

在傳感器上運用人工智能，一來可以降低整個系統(tǒng)的能耗，二來可以把本身的噪聲、穩(wěn)定性和精度做得更好。
他介紹說，ST有一款新的六軸加速度計+陀螺儀二合一產(chǎn)品，有客戶已經(jīng)把它運用到智能穿戴的產(chǎn)品里。它集合了原來六軸產(chǎn)品所有的功能，但在上面加了一個機器學習的核，另外還有防抖的核。機器學習的核可以把一些基本的功能、常用的功能學習下來，固化在傳感器里面。所帶來的好處是降低系統(tǒng)功耗，并且利用更少的主控MCU的資源。
具體的功能來講，第一要實現(xiàn)最基本的傳感器的功能，同時器件通過標準的接口，可以把其他傳感器的信號也一起讀進來，進行數(shù)據(jù)融合。第二步要有學習的功能，要做濾波的功能，最后形成了觀念，形成了判斷樹的功能，傳感器的輸出就已經(jīng)不再是原來的加速度值或者陀螺儀的值，而是一些系統(tǒng)可直接調用的指令。
接下來看一個實例。傳統(tǒng)穿戴產(chǎn)品在去做運動的時候往往要調用APP，APP會讀取各種數(shù)據(jù)去做很多的處理。而帶有人工智能的傳感器，則可以直接在器件里去做運算。
另外，坐飛機會有所謂的飛行模式，然而有些時候用戶可能忘了關飛行模式。具備人工智能的傳感器，可以識別不同狀態(tài)的變化，就直接可以檢測到有沒有類似事件的發(fā)生。

然后是音頻和振動的融合。TWS真無線耳機今年成為市場爆量的產(chǎn)品。那為什么要把這兩個傳感器放在一起？可以實現(xiàn)什么新的功能呢？

加速度傳感器實現(xiàn)語音識別，同時麥克風還是做收音功能。傳統(tǒng)的耳機其實不能判別是否處于嘈雜環(huán)境。但是有了耳骨傳導的加速度以后，不說話的時候，它可以把耳機切換到一個模式，可以讓麥克風收的音不進行信號的處理，可以屏蔽掉。在風噪環(huán)境下面，只有人說話的時候，對方才會聽到，如果不說話的時候，整個系統(tǒng)對于數(shù)字處理器來講，可以把麥克風收的音屏蔽掉。

目前在市場上主流的中高端TWS耳機都已經(jīng)有這樣的功能。預計今年也會有很多的廠商把這樣的概念放進去。


還有一個是沖擊感覺，電池是主要的應用。電池本身受環(huán)境、溫度的影響，在具體的使用情況下會有一定的風險，特別是受到撞擊。因此加速度傳感器也可以用于這類安全應用。?

除了運動傳感器，ST也有成像產(chǎn)品和特殊光學器件，例如ToF除了傳統(tǒng)的手機應用，也可以用于各種智能家居以及工業(yè)類應用。成像產(chǎn)品則可以用于汽車中，進行汽車安全保護或者去檢測駕駛員的行為狀態(tài)……
?

最后他指出，ST不是單獨在做傳感器，而是跟其MCU生態(tài)系統(tǒng)相互融合。ST傳感器所有的開發(fā)板，從硬件到軟件到開發(fā)工具，到合作伙伴，都是完全融入在STM32的生態(tài)系統(tǒng)里。這樣，將其融入到開發(fā)當中就非常方便。
ST的傳感器種類非常豐富。作為解決方案的提供商，該公司能夠提供硬件、軟件和方案，并且不斷地對傳感器做創(chuàng)新。創(chuàng)新方案則是低功耗、高精度和智能的傳感器。
最后，當小編問及為什么智能傳感器可以降低功耗、提升性能時，吳總解釋說，傳統(tǒng)、普通的傳感器就是把數(shù)據(jù)采集下來，報到主控那邊去運算和執(zhí)行。這個過程考慮到系統(tǒng)的功耗和延時。邊緣的概念是說，產(chǎn)品內部的傳感器收到信號以后，可以自行處理一部分特定的應用，例如計步、檢測不同的運動狀態(tài)，或是飛行模式/地面模式等等狀態(tài)，這些都可以找到一定的規(guī)律。
我們只要采集到原始數(shù)據(jù)，用機器學習模型學習好，把學習出來判斷的依據(jù)再寫到傳感器里，傳感器就可以有執(zhí)行層面，不需要用到整個處理器去處理，在機器內部通過內置的固定狀態(tài)機就可以去判斷。基本原理就是如此，通過這樣可以考慮到在本體上去運作，比在處理器上運作的功耗小。
未來如果很多應用需要各方面到極限的話，延時也是一個問題，因為不一定是計算能力差，可能是傳輸花時間。傳1M數(shù)據(jù)和傳1K所花的時間是不同的，傳1M原始數(shù)據(jù)肯定會花更多時間，但其實只傳1K的結果就可以了。