在Arduino Nano BLE Sense 33邊緣設(shè)備上訓(xùn)練神經(jīng)網(wǎng)絡(luò)

描述

TeamName- 尤達(dá)

TeamMembers- Tharun Medini（只有我）

Goal

該項(xiàng)目的主要任務(wù)是在 Arduino Nano BLE Sense 33 等邊緣設(shè)備上訓(xùn)練神經(jīng)網(wǎng)絡(luò)。該設(shè)備的內(nèi)存和處理能力非常有限。因此，我們需要將神經(jīng)網(wǎng)絡(luò)壓縮到一個非常小的占用空間，然后將其與某個特定任務(wù)的真實(shí)輸入信號結(jié)合使用。

Task

我選擇了喚醒詞檢測任務(wù)。在這個任務(wù)中，我們需要邊緣設(shè)備（Arduino Nano BLE Sense 33）來聽聲音，并將口語分類為“是”、“否”、“不是”和靜音。為了觀察性能，我們打算在我們說“是”時點(diǎn)亮板上的綠色 LED，當(dāng)我們說“否”時點(diǎn)亮紅色 LED。換句話來說，當(dāng)我們保持沉默時，藍(lán)色的 LED 應(yīng)該會亮起，并且什么都不會亮起。

WorkFlow

涉及的三個主要步驟是 1) 在 Tensorflow 中訓(xùn)練機(jī)器學(xué)習(xí)模型 2) 將模型量化為低位（通常為 8 位）并將其轉(zhuǎn)換為 C 代碼和 3) 構(gòu)建并將其上傳到 Arduino Nano BLE Sense 33 板。

Data and Model

用于訓(xùn)練的數(shù)據(jù)集是一個語音命令數(shù)據(jù)集，它有 65000 個數(shù)據(jù)點(diǎn)，對應(yīng)于 30 個單詞的一秒話語。我們對數(shù)據(jù)進(jìn)行預(yù)處理，將 30 個類修改為僅 4 個。兩個類明確表示“是”和“否”，將 28 個單詞放入一個名為“未知”的類中，最后一個類表示沉默。數(shù)據(jù)被預(yù)先特征化為 2D 頻譜圖，并使用 CNN 進(jìn)行訓(xùn)練。

Arduino Issues

我訂購了兩塊 Arduino Nano 板，因?yàn)槲以谑褂玫谝粔K時遇到了很多問題。可操作性是命中注定的。我還訂購了具有顯式數(shù)據(jù)模式和電源模式切換的電纜，因?yàn)槟J(rèn)電纜無法正常工作。

另一個主要問題是，從 Arduino IDE 上傳代碼后，COM 端口發(fā)生變化，Arduino 斷開連接。但是，使用網(wǎng)絡(luò)編輯器，我克服了這個問題。

?

?