Syntiant TinyML板搭建Edge Impulse模型實(shí)現(xiàn)語音識(shí)別效果

項(xiàng)目說明

本次項(xiàng)目用 Syntiant TinyML 開發(fā)板自帶的麥克風(fēng)，通過 Edge Impulse 搭建機(jī)器學(xué)習(xí)模型，使板卡上的 LED 燈根據(jù)中文語音指令呈現(xiàn)出不同效果。一共訓(xùn)練了四個(gè)標(biāo)簽的聲音數(shù)據(jù)，具體說明如下。

硬件平臺(tái)

Syntiant TinyML Board 是美國(guó) AI 芯片研發(fā)商 Syntiant 推出的一款 TinyML 開發(fā)板，它配備了超低功耗 Syntiant NDP101 神經(jīng)決策處理器，可以使語音和傳感器應(yīng)用程序分別在 140 和 100 微瓦以下運(yùn)行。與基于 MCU 的傳統(tǒng) MCU 相比，Syntiant TinyML 板的吞吐量提高 20 倍，系統(tǒng)效率提高 200 倍。

?

Syntiant TinyML 板的尺寸非常小，僅為 24 毫米 x 28 毫米，是一個(gè)小型的獨(dú)立系統(tǒng)。開發(fā)者可以直接通過 Micro USB 連接硬件，通過 Edge Impulse 輕松下載經(jīng)過訓(xùn)練的模型，而無需任何專用調(diào)試硬件。

硬件組成：

神經(jīng)決策處理器使用 NDP101，連接了兩個(gè)傳感器

BMI160 6 軸運(yùn)動(dòng)傳感器

SPH0641LM4H 麥克風(fēng)

主機(jī)處理器：SAMD21 Cortex-M0+ 32 位低功耗 48MHz ARM MCU

內(nèi)置 256KB FLASH 和 32KB SRAM

5 個(gè)數(shù)字 I/O（與 Arduino MKR 系列板兼容）

其中包含 1 路 UART 接口和 1 路 I2C 接口（包括在數(shù)字 I/O 引腳中）

2MB 板載串行閃存

一個(gè)用戶定義的 RGB LED

uSD 卡插槽

電路板可使用 5V Micro-USB 或 3.7V LiPo 電池供電

語音訓(xùn)練

打開?studio.edgeimpulse.com?網(wǎng)頁，創(chuàng)建一個(gè)新的項(xiàng)目，例如 Syntiant_TinyML_Voice，作為本次語音訓(xùn)練的項(xiàng)目。

創(chuàng)建完成后進(jìn)入項(xiàng)目主頁面，在這里可以看到訓(xùn)練的大致流程：選擇設(shè)備、選擇語音輸入源、采集語音數(shù)據(jù)、創(chuàng)建 Impulse 模型、訓(xùn)練數(shù)據(jù)、生成固件、部署到硬件。

語音數(shù)據(jù)采集方面，由于我們需要采集類似“打開紅燈”這樣的語音，為了方便采集和訓(xùn)練，我們將采集時(shí)長(zhǎng)定為 2 秒。分別為四個(gè)標(biāo)簽采集 20 組數(shù)據(jù)，按照 8:2 的比例分為訓(xùn)練集和測(cè)試集。

采集數(shù)據(jù)后記得檢查一下數(shù)據(jù)的質(zhì)量，在 Data acquisition 頁面選中任意一條采集的語音數(shù)據(jù)，可以看到聲音的波形，回放該條錄音。在訓(xùn)練之前需要確保所有訓(xùn)練和測(cè)試的數(shù)據(jù)完好，否則會(huì)影響訓(xùn)練效果。

如果數(shù)據(jù)沒問題，接下來就可以創(chuàng)建機(jī)器學(xué)習(xí)模型，一共分為四個(gè)模塊。首先是時(shí)間窗口的設(shè)置，對(duì)于 Syntiant TinyML 語音模塊，Window size 大小固定為 968 ms，Window increase 設(shè)置為 30 ms（窗口增加設(shè)置比較小有利于機(jī)器學(xué)習(xí)匹配出語音）。第二個(gè)模塊選擇 Syntiant audio，第三個(gè)模塊選擇最近鄰分類器（Nearest Neighbor Classifier），最后確認(rèn)輸出 turn_off、turn_on_blue、turn_on_green 和 turn_on_red 四個(gè)標(biāo)簽。點(diǎn)擊 Save Impulse 保存模型。

然后設(shè)置 Mel 濾波器特征參數(shù)，這里采用默認(rèn)參數(shù)。

開始訓(xùn)練模式，訓(xùn)練結(jié)果準(zhǔn)確率為 90.2%，不是特別高，但也可以測(cè)試看看。

點(diǎn)擊左側(cè)邊欄的 Deployment，選擇 Syntiant NDP101 library 下載訓(xùn)練好的庫，將其替換到你的工程中（參考?Syntiant TinyML Board 固件下載）。

Arduino 工程

參考?Syntiant_TinyML_Board_Demo?中的 VoiceResponding 項(xiàng)目，修改標(biāo)簽名稱及其觸發(fā)的動(dòng)作，代碼如下。

?

void on_classification_changed(const char *event, float confidence, float anomaly_score) {

    // here you can write application code, e.g. to toggle LEDs based on keywords
    if (strcmp(event, "turn_on_red") == 0) {
        // Toggle LED
        digitalWrite(LED_RED, HIGH);
        digitalWrite(LED_BLUE, LOW);
        digitalWrite(LED_GREEN, LOW);
    }

    if (strcmp(event, "turn_on_green") == 0) {
        // Toggle LED
        digitalWrite(LED_GREEN, HIGH);
        digitalWrite(LED_BLUE, LOW);
        digitalWrite(LED_RED, LOW);
    }

    if (strcmp(event, "turn_on_blue") == 0) {
        // Toggle LED
        digitalWrite(LED_BLUE, HIGH);
        digitalWrite(LED_GREEN, LOW);
        digitalWrite(LED_RED, LOW);
    }

    if (strcmp(event, "turn_off") == 0) {
        // Toggle LED
        digitalWrite(LED_BLUE, LOW);
        digitalWrite(LED_GREEN, LOW);
        digitalWrite(LED_RED, LOW);
    }}

?

通過 Arduino IDE 重新編譯、上傳到 Syntiant TinyML Board，就可以看到效果啦！?

?

?

審核編輯：劉清