如何使用Sensortile.box實(shí)現(xiàn)樂(lè)器檢測(cè)

Funpack9活動(dòng)板卡是來(lái)自ST的SensorTile.box，本期活動(dòng)也順利于6月20日截止了，朋友們使用之后最大的感受便是：“這期板卡太有意思了”、“這期板卡太優(yōu)秀了！”是的，能滿足大家的需求也是我們一直追求的方向。若是你還沒(méi)發(fā)現(xiàn)Funpack活動(dòng)，現(xiàn)在還來(lái)得及，下面還有三期，快來(lái)參加Funpack活動(dòng)吧。

本期活動(dòng)是從三個(gè)任務(wù)中任選其一完成，尤其最后一個(gè)任務(wù)：使用神經(jīng)網(wǎng)絡(luò)系統(tǒng)，實(shí)現(xiàn)特定聲音檢測(cè)功能，如：口哨、咳嗽、鳥(niǎo)叫等，可參考官方提供的嬰兒啼哭檢測(cè)。既有挑戰(zhàn)性，又涉及機(jī)器學(xué)習(xí)，完成也很有成就感。

本期我們有好幾個(gè)小伙伴都選擇完成任務(wù)三，為他們的選擇點(diǎn)贊。本次分享的是來(lái)自中國(guó)科學(xué)技術(shù)大學(xué)的同學(xué)【氫化脫氯次氯酸】使用Sensortile.box的麥克風(fēng)實(shí)現(xiàn)對(duì)鋼琴、吉他、小提琴的聲音檢測(cè)，并在Qeexo AutoML平臺(tái)上完成模型訓(xùn)練。

項(xiàng)目分享：https://www.eetree.cn/project/detail/392

1 平臺(tái)介紹1.1 SensorTile.box開(kāi)發(fā)板STEVAL-MKSBOX1V1（SensorTile.box）是具有無(wú)線物聯(lián)網(wǎng)和可穿戴傳感器平臺(tái)的即用型套件盒，無(wú)論您的專業(yè)水平如何，均可幫助您使用和開(kāi)發(fā)基于遠(yuǎn)程運(yùn)動(dòng)和環(huán)境傳感器數(shù)據(jù)的應(yīng)用程序。

這款超低功耗藍(lán)牙低功耗解決方案由運(yùn)行頻率為120 MHz的ARM Cortex-M4（STM32L4R9）提供支持，具有環(huán)境，音頻和運(yùn)動(dòng)傳感器功能。

環(huán)境傳感器，例如溫度（STTS751），濕度（HTS221）和壓力（LPS22HH）傳感器用于監(jiān)視貨物狀態(tài)和庫(kù)存管理，例如環(huán)境閾值檢測(cè)可用于激活條件或除濕系統(tǒng)容器。

運(yùn)動(dòng)傳感器，如加速度計(jì)（LIS2DW12），用于檢測(cè)運(yùn)動(dòng)，方向，振動(dòng)，碰撞/震動(dòng)事件，自由落體。此外，ST傳感器可以將機(jī)器學(xué)習(xí)核心功能（LSM6DSOX）嵌入傳感器內(nèi)部，并結(jié)合更高的精度，它們提供了低功率解決方案，可以監(jiān)控更復(fù)雜的車輛運(yùn)動(dòng)，跟蹤船只，以進(jìn)行飛機(jī)模式檢測(cè)。

機(jī)上的氣壓計(jì)壓力傳感器（LPS22HH）也可用于檢測(cè)高度變化或檢測(cè)飛機(jī)的起飛和降落，例如在飛行過(guò)程中用于打開(kāi)和關(guān)閉無(wú)線電傳輸。

1.2 Qeexo AutoMLQeexo AutoML是一個(gè)一鍵式自動(dòng)化機(jī)器學(xué)習(xí)平臺(tái)，讓用戶可以利用傳感器數(shù)據(jù)針對(duì)高度受限的環(huán)境快速創(chuàng)建機(jī)器學(xué)習(xí)解決方案。使用AutoML創(chuàng)建的機(jī)器學(xué)習(xí)引擎，具有輕量級(jí)的特點(diǎn)，專為在邊緣設(shè)備上本地化運(yùn)行而設(shè)計(jì)，無(wú)需訪問(wèn)云端。

對(duì)于需要低耗能和低延遲的應(yīng)用來(lái)說(shuō)，比如移動(dòng)、物聯(lián)網(wǎng)、可穿戴設(shè)備、汽車等行業(yè)，AutoML模型是理想的選擇。 2 任務(wù)及實(shí)現(xiàn)方案2.1 本期任務(wù)任務(wù)三：使用神經(jīng)網(wǎng)絡(luò)系統(tǒng)，實(shí)現(xiàn)特定聲音檢測(cè)功能，如：口哨、咳嗽、鳥(niǎo)叫等，可參考官方提供的嬰兒啼哭檢測(cè)。

2.2 方案簡(jiǎn)介我的實(shí)現(xiàn)方案是運(yùn)用SensorTile.box的麥克風(fēng)實(shí)現(xiàn)樂(lè)器聲音（鋼琴、吉他、小提琴）的檢測(cè)，由iPad上的庫(kù)樂(lè)隊(duì)?wèi)?yīng)用模擬樂(lè)器的聲音，模型的訓(xùn)練在Qeexo AutoML平臺(tái)上完成。 3 實(shí)現(xiàn)過(guò)程3.1 傳感器配置新建工程，創(chuàng)建新環(huán)境并命名為mic，選擇麥克風(fēng)傳感器。

3.2 采集數(shù)據(jù)可以采集的數(shù)據(jù)有兩種格式：連續(xù)時(shí)間數(shù)據(jù)和事件。由于我們需要檢測(cè)時(shí)間持續(xù)的聲音，這里選擇連續(xù)數(shù)據(jù)，以樂(lè)器名作為標(biāo)簽，并設(shè)置采集時(shí)間為60s。

分別采集4組訓(xùn)練集數(shù)據(jù)，分別為無(wú)音樂(lè)、小提琴、鋼琴和吉他?？梢栽赿ata選項(xiàng)卡中檢查數(shù)據(jù)，并以圖像方式呈現(xiàn)。

錄入訓(xùn)練集后，繼續(xù)錄入測(cè)試集，并將測(cè)試集數(shù)據(jù)與對(duì)應(yīng)的訓(xùn)練集數(shù)據(jù)進(jìn)行鏈接。

3.3 模型訓(xùn)練點(diǎn)擊start new training，并設(shè)置模型與訓(xùn)練參數(shù)開(kāi)始訓(xùn)練。等待其訓(xùn)練結(jié)束后可以查看各模型的訓(xùn)練結(jié)果

選擇在測(cè)試集準(zhǔn)確度最高的模型Artificial Neural Network，將其下載到SensorTile.box中，點(diǎn)擊右側(cè)的LIVE TEST可以進(jìn)行在線測(cè)試。 3.4 模型測(cè)試對(duì)于SensorTile.box，可以選擇USB連接和藍(lán)牙連接。

選擇連接方式后，即可開(kāi)始測(cè)試。播放音樂(lè)，屏幕中央會(huì)顯示當(dāng)前識(shí)別到的樂(lè)器。

4 心得體會(huì)本次任務(wù)不需要編寫任何代碼，數(shù)據(jù)采集、模型訓(xùn)練等都是在Qeexo AutoML平臺(tái)上完成，操作容易，且不需要了解機(jī)器學(xué)習(xí)的各種原理，極大降低了機(jī)器學(xué)習(xí)的入門門檻。同時(shí)SensorTile.box配有許多傳感器，且有著很高的性能，是一個(gè)進(jìn)行入門機(jī)器學(xué)習(xí)的理想平臺(tái)。

編輯：jq