使用SAMD21 ML評(píng)估套件進(jìn)行手勢(shì)識(shí)別

描述

?

本教程將指導(dǎo)您完成使用 SensiML 構(gòu)建手勢(shì)分類器并將其部署到 Microchip SAMD21 機(jī)器學(xué)習(xí)評(píng)估套件的過程。我們還將就您在設(shè)計(jì)數(shù)據(jù)收集過程時(shí)應(yīng)考慮的因素以及您在開發(fā)自己的應(yīng)用程序時(shí)可能遇到的常見問題的解決方案提供一些指導(dǎo)。

與本指南一起提供的是一個(gè)完全開發(fā)的手勢(shì)分類器項(xiàng)目，包括數(shù)據(jù)集、預(yù)訓(xùn)練的機(jī)器學(xué)習(xí)模型和固件源代碼，可幫助您使用 SensiML 和 SAMD21 ML 評(píng)估套件快速啟動(dòng)和運(yùn)行您自己的項(xiàng)目。

在你開始之前

在我們開始之前，您需要按照以下步驟中的詳細(xì)說明安裝和設(shè)置所需的軟件。

1. 安裝 MPLAB X IDE 和 XC32 編譯器。這些是加載手勢(shì)識(shí)別項(xiàng)目和對(duì) SAMD21 板進(jìn)行編程所必需的。您可以使用 XC32 編譯器的默認(rèn)免費(fèi)許可證，因?yàn)槲覀冊(cè)谶@里不需要任何專業(yè)功能。

2.如果您還沒有，請(qǐng)?jiān)?SensiML注冊(cè)一個(gè)免費(fèi)的社區(qū)版帳戶。我們將使用它來處理我們的傳感器數(shù)據(jù)并生成手勢(shì)分類庫(kù)。

3. 從 SensiML下載頁(yè)面下載 SensiML Data Capture Lab 并安裝。我們將使用它來將數(shù)據(jù)導(dǎo)入到我們的 SensiML 項(xiàng)目中。

4. 最后，前往該項(xiàng)目的 GitHub發(fā)布頁(yè)面并下載ml-samd21-iot-sensiml-gestures-demo.zip包含本指南的數(shù)據(jù)集和預(yù)構(gòu)建固件二進(jìn)制文件的存檔。

刷入手勢(shì)分類器演示固件

我們現(xiàn)在設(shè)置為運(yùn)行預(yù)構(gòu)建的固件。使用以下步驟，使用最新 GitHub 版本中的固件 HEX 文件對(duì)您的設(shè)備進(jìn)行編程

1. 通過 USB 將您的 SAMD21 評(píng)估套件插入您的 PC。SAMD21 應(yīng)自動(dòng)作為 USB 閃存驅(qū)動(dòng)器出現(xiàn)。

2. 打開ml-samd21-iot-sensiml-gestures-demo.zip之前下載的存檔，找到與您的傳感器品牌對(duì)應(yīng)的手勢(shì)分類器演示 hex 文件：

博世 IMU：TDK IMU：binaries/samd21-iot-sensiml-gestures-demo_bmi160.hex
binaries/samd21-iot-sensiml-gestures-demo_icm42688.hex

3. 將 hex 文件拖放到 SAMD21 USB 驅(qū)動(dòng)器上以對(duì)設(shè)備進(jìn)行編程。

手勢(shì)分類器固件概述

有關(guān)此項(xiàng)目中包含的演示固件的描述，包括操作、使用和基準(zhǔn)測(cè)試，請(qǐng)參閱GitHub 存儲(chǔ)庫(kù)中的“README” 。

數(shù)據(jù)收集概述

在我們開始收集數(shù)據(jù)樣本之前，我們應(yīng)該對(duì)數(shù)據(jù)收集過程的設(shè)計(jì)進(jìn)行一些考慮；畢竟，我們收集的數(shù)據(jù)最終將決定我們可以通過機(jī)器學(xué)習(xí)模型實(shí)現(xiàn)的性能類型。

有關(guān)數(shù)據(jù)收集過程的深入指南，請(qǐng)參閱 SensiML 的使用 AutoML 構(gòu)建智能物聯(lián)網(wǎng)設(shè)備白皮書的“傳感器數(shù)據(jù)收集”部分（第 29 頁(yè)）。

數(shù)據(jù)收集：傳感器配置

數(shù)據(jù)收集過程的第一步是為您的應(yīng)用確定最佳傳感器配置；這包括傳感器的物理放置和安裝以及采樣率和靈敏度等信號(hào)處理參數(shù)。

很可能，您用于傳感器配置的許多設(shè)計(jì)參數(shù)是固定的（例如，由于固定板設(shè)計(jì)、共享傳感器使用等），但值得考慮的是應(yīng)用程序設(shè)計(jì)是否最適合您的機(jī)器學(xué)習(xí)任務(wù)，以及是否某些設(shè)計(jì)參數(shù)應(yīng)該改變。在設(shè)計(jì)的這一點(diǎn)上，您應(yīng)該問的問題是：在給定傳感器數(shù)據(jù)輸入的情況下，我是否可以合理地期望一種算法來預(yù)測(cè)所需的輸出？數(shù)據(jù)探索（例如可視化）將有助于在這里產(chǎn)生良好的初始假設(shè)，以及對(duì)信號(hào)域的良好工作知識(shí)（即理解工作中的物理過程）。

以下是我們?cè)趥鞲衅髋渲秒A段可能會(huì)提出的一些具體問題，以及一些可能的答案：

Q : 傳感器采樣參數(shù)應(yīng)該如何配置？（即采樣率、靈敏度/輸入范圍等）

答：選擇一種傳感器配置，以合理緊湊的表示形式捕獲感興趣的事件，并具有良好的信干比。

問：傳感器應(yīng)該如何放置？（即安裝和方向）

答：選擇一個(gè)可以最大限度地減少對(duì)干擾（例如來自發(fā)動(dòng)機(jī)的振動(dòng)）的敏感性的位置。

問：傳感器應(yīng)該如何固定？

答：選擇一種方法，以確保讀數(shù)隨時(shí)間和不同傳感器部署之間的一致性。

為了說明，以下是為該項(xiàng)目選擇的主要傳感器配置參數(shù)及其選擇背后的理由：

ParameterValue : 僅加速度計(jì)

選擇的手勢(shì)應(yīng)該對(duì)設(shè)備旋轉(zhuǎn)基本不變

參數(shù)值：100 Hz 采樣率

所選手勢(shì)的頻率范圍通常 < 5 Hz（即 10 Hz 奈奎斯特率），但選擇 100 Hz 是為了在數(shù)據(jù)收集過程中具有靈活性

ParameterValue : 16 G 加速度計(jì)范圍

最不敏感的設(shè)置，因?yàn)槲覀儗?duì)微動(dòng)不感興趣

數(shù)據(jù)收集：收集協(xié)議

數(shù)據(jù)收集過程的下一步是將收集數(shù)據(jù)時(shí)使用的協(xié)議放在一起。

粗略地說，我們希望通過協(xié)議實(shí)現(xiàn)三件事：

1. 一種可重復(fù)的數(shù)據(jù)收集方法

可重復(fù)的方法確保數(shù)據(jù)收集過程以規(guī)定的方式執(zhí)行，測(cè)量之間的差異最小，并確保我們數(shù)據(jù)的完整性。

2. 采樣參數(shù)將確保我們有足夠數(shù)量的樣本用于開發(fā)，以及足夠的多樣性（即覆蓋率）以使我們的最終模型能夠很好地泛化

一個(gè)好的經(jīng)驗(yàn)法則是，對(duì)于要分類的每一類事件，您至少需要數(shù)十個(gè)樣本（30 個(gè)是一個(gè)很好的起點(diǎn)）；但是，這個(gè)數(shù)字可能會(huì)根據(jù)樣本之間的差異而增加。以手勢(shì)應(yīng)用程序?yàn)槔?，如果您?a target='_blank' class='arckwlink_none'>檢測(cè)一個(gè)圓圈手勢(shì)，但希望您的模型不受圓圈手勢(shì)的大小或速度的影響，您將需要更多的樣本來覆蓋性能范圍。

選擇樣本量時(shí)要考慮的另一件事是，您總是會(huì)在樣本中捕獲噪聲——即意外的差異；希望有足夠的樣本，訓(xùn)練算法將有足夠的信息來學(xué)習(xí)區(qū)分感興趣的信號(hào)和噪聲。

給智者的一句話：從小處做起！預(yù)計(jì)您的數(shù)據(jù)收集過程的開發(fā)將需要一些迭代；首先完善您的流程，然后開始擴(kuò)大規(guī)模。

3.在收集過程中要捕獲的一組元數(shù)據(jù)變量，可用于解釋樣本之間的已知差異

元數(shù)據(jù)變量（或標(biāo)簽）是你留下的面包屑，一旦它們加入到更大的樣本池中，你就可以追蹤它們；除其他外，這些標(biāo)簽可用于探索數(shù)據(jù)中的子組（例如，由單個(gè)測(cè)試對(duì)象執(zhí)行的所有手勢(shì)）并跟蹤您以后可能發(fā)現(xiàn)的任何數(shù)據(jù)問題（例如硬件問題、異常樣本等）。

對(duì)于這個(gè)演示項(xiàng)目，我們創(chuàng)建了一個(gè)數(shù)據(jù)協(xié)議文檔，其中指定了應(yīng)該如何執(zhí)行手勢(shì)，以及應(yīng)該收集哪些元數(shù)據(jù)。為了說明，下面是限制測(cè)試對(duì)象如何執(zhí)行收集手勢(shì)的指令。斜體文本定義了我們明確控制的固定實(shí)驗(yàn)參數(shù)。

• 對(duì)象應(yīng)該以一種他們覺得自然的方式流暢地做出手勢(shì)。
• 對(duì)象應(yīng)連續(xù)做手勢(shì)至少十秒鐘
• 對(duì)象應(yīng)該站立
• 受試者應(yīng)使用慣用手
• 受試者應(yīng)用拇指和食指握住板子，繩子朝下，如下圖所示
• 受試者應(yīng)執(zhí)行遵循指定軌跡描述的手勢(shì)（例如順時(shí)針輪）

此外，為每個(gè)數(shù)據(jù)收集記錄了以下元數(shù)據(jù)值。

• 拍攝日期
• SAMD21測(cè)試板ID
• 測(cè)試環(huán)境標(biāo)識(shí)
• 測(cè)試對(duì)象ID
• （僅適用于空閑類數(shù)據(jù)）SAMD21 板的放置和方向

數(shù)據(jù)收集：后處理

最后，對(duì)所有數(shù)據(jù)樣本進(jìn)行后處理以形成最終數(shù)據(jù)集。

• 數(shù)據(jù)被精確地分成十秒的樣本
• 樣本被格式化為具有以下命名約定的 CSV 文件：

----.csv

• 樣品被分成幾份，80% 用于開發(fā)，20% 用于測(cè)試
• 對(duì)拆分進(jìn)行分層，以便開發(fā)集和測(cè)試集的每個(gè)類別和每個(gè)主題 ID 的樣本比例相同。

數(shù)據(jù)收集：數(shù)據(jù)捕獲工具

對(duì)于本指南，我們將使用手勢(shì)演示中包含的預(yù)構(gòu)建數(shù)據(jù)集，但要構(gòu)建您自己的數(shù)據(jù)集，您可以使用 MPLAB X數(shù)據(jù)可視化器和機(jī)器學(xué)習(xí)插件。這些插件可以串聯(lián)使用來捕獲樣本并將它們導(dǎo)出為 CSV 或 DCLI 文件（SensiML 的本機(jī)格式），這些文件可以輕松導(dǎo)入 SensiML 的數(shù)據(jù)捕獲實(shí)驗(yàn)室。

為了將 ML 評(píng)估套件與 MPLAB Data Visualizer 一起使用，您需要使用 GitHub 上維護(hù)的數(shù)據(jù)記錄器固件。為方便起見，此項(xiàng)目中使用的傳感器配置的預(yù)構(gòu)建二進(jìn)制文件已打包在最新版本中ml-samd21-iot-sensiml-gestures-demo.zip包含的存檔中：

博世 IMU：binaries/samd21-iot-data-visualizer_bmi160_100hz-axayzgxgygz-16g-2000dps.hexTDK IMU：binaries/samd21-iot-data-visualizer_icm42688_100hz-axayzgxgygz-16g-2000dps.hex

有關(guān)數(shù)據(jù)捕獲過程的更多信息，請(qǐng)參閱將ML 插件與 SensiML指南一起使用。

使用 Data Capture Lab 導(dǎo)入數(shù)據(jù)

讓我們繼續(xù)將數(shù)據(jù)導(dǎo)入新的 SensiML 項(xiàng)目。

1. 將包含手勢(shì)數(shù)據(jù)集的存檔提取ml-samd21-iot-sensiml-gestures-demo.zip到工作目錄中。

2. 打開 SensiML Data Capture Lab 工具并為本指南創(chuàng)建一個(gè)新項(xiàng)目。

3. 打開新創(chuàng)建的項(xiàng)目后，導(dǎo)航到文件菜單并單擊從 DCLI 導(dǎo)入…項(xiàng)，如下圖所示。

4. 在出現(xiàn)的對(duì)話框中，導(dǎo)航到您之前提取ml-samd21-iot-sensiml-gestures-demo.zip存檔的文件夾，然后打開位于 的 DCLI 文件dataset/train/train.dcli。逐步完成生成的導(dǎo)入提示，將所有設(shè)置保留為默認(rèn)設(shè)置，直到您到達(dá)Select a Device Plugin窗口。

5. 當(dāng)您到達(dá)Select a Device Plugin對(duì)話框時(shí)，單擊SAMD21 ML Eval Kit項(xiàng)，如下圖所示，然后單擊Next 。

6、選擇設(shè)備插件后，會(huì)出現(xiàn)插件詳情頁(yè)面；單擊“下一步”前進(jìn)到“傳感器屬性”頁(yè)面。在屬性頁(yè)面上，填寫與下圖所示配置匹配的字段（如果您使用的是 TDK IMU，則選擇 ICM 傳感器），然后單擊Next 。

7. 最后，在Save Sensor Configuration窗口中為傳感器配置命名。如下圖所示，我們簡(jiǎn)單地選擇了名稱BMI160 。

8. 重復(fù)步驟三、四導(dǎo)入測(cè)試樣本（dataset/test/test.dcli）；這是將用于驗(yàn)證模型的數(shù)據(jù)。出現(xiàn)提示時(shí)，使用我們?cè)谏弦徊街袆?chuàng)建的相同傳感器配置。

至此，我們的項(xiàng)目已經(jīng)設(shè)置好我們需要的數(shù)據(jù)，我們可以進(jìn)入模型開發(fā)階段。

?

圖 7：導(dǎo)入手勢(shì)數(shù)據(jù)集的項(xiàng)目。

?

模型開發(fā)

現(xiàn)在讓我們進(jìn)入 Analytics Studio 以生成我們的分類器模型。

1. 在您的網(wǎng)絡(luò)瀏覽器中打開Analytics Studio并登錄。

2. 導(dǎo)航到主頁(yè)選項(xiàng)卡以查看您的項(xiàng)目并打開您在上一節(jié)中創(chuàng)建的項(xiàng)目，如下圖所示。

?

圖 8：打開您的新 SensiML 項(xiàng)目。

?

3. 導(dǎo)航到準(zhǔn)備數(shù)據(jù)選項(xiàng)卡以創(chuàng)建將用于訓(xùn)練機(jī)器學(xué)習(xí)模型的查詢。如下圖所示填寫字段；這些查詢參數(shù)將僅選擇訓(xùn)練折疊中的樣本，并且僅使用加速度計(jì)軸。

SensiML Query確定將選擇我們數(shù)據(jù)集中的哪些數(shù)據(jù)進(jìn)行訓(xùn)練。我們可以使用它來排除樣本（例如我們的測(cè)試樣本）或排除數(shù)據(jù)軸（例如陀螺儀軸）。

?

圖 9：在訓(xùn)練模型時(shí)創(chuàng)建要使用的查詢。

?

4. 切換到構(gòu)建模型選項(xiàng)卡開始開發(fā)機(jī)器學(xué)習(xí)模型。如下圖所示填寫字段。請(qǐng)注意，唯一需要更改默認(rèn)設(shè)置的設(shè)置是查詢（在最后一步中創(chuàng)建）、優(yōu)化指標(biāo)（f1-score）和窗口大小（200 個(gè)樣本）。

由于手勢(shì)數(shù)據(jù)集的類分布不平衡，此處選擇準(zhǔn)確度優(yōu)化指標(biāo)會(huì)使模型優(yōu)化偏向樣本較多的類；因此，我們選擇f1-score來提供更好的模型性能代表性度量。我們?cè)谶@里選擇 200 的窗口大小（即 100 Hz IMU 采樣率時(shí)兩秒），因?yàn)檫@足以覆蓋至少一個(gè)周期我們感興趣的手勢(shì)。

圖 10：用于生成手勢(shì)分類器模型的管道設(shè)置。

?

5. 輸入管道設(shè)置后，單擊優(yōu)化按鈕。此步驟將使用 AutoML 技術(shù)為給定輸入數(shù)據(jù)的手勢(shì)分類任務(wù)自動(dòng)選擇最佳特征和機(jī)器學(xué)習(xí)算法。此過程通常需要幾分鐘。

?有關(guān) AutoML 配置參數(shù)的更多詳細(xì)信息，請(qǐng)參見AutoML 文檔頁(yè)面。

6.構(gòu)建模型優(yōu)化步驟完成后，導(dǎo)航到測(cè)試模型選項(xiàng)卡。

?

圖 11：驗(yàn)證生成的分類器模型。

?

一個(gè)。選擇我們?cè)谏弦徊街袆?chuàng)建的管道。

灣。選擇上一步生成的模型之一，通常，秩為0的模型是所有生成的候選模型中的最佳折衷。

C。選擇折疊列中的倒三角形圖標(biāo)并選擇測(cè)試以過濾數(shù)據(jù)，以便僅選擇測(cè)試樣本。

d。單擊位于表最左列的省略號(hào) (...)，然后選擇全選以包括所有測(cè)試樣本。

e. 單擊計(jì)算摘要以生成測(cè)試樣本的混淆矩陣。這應(yīng)該需要幾分鐘；完成后，您將看到如下圖所示的表格，匯總了分類結(jié)果。

?混淆矩陣?yán)L制了真實(shí)標(biāo)簽（行）與預(yù)測(cè)標(biāo)簽（列）的分類結(jié)果。最右邊的列顯示每個(gè)類的敏感度（或召回）分?jǐn)?shù)（真陽(yáng)性預(yù)測(cè)/總真陽(yáng)性），最底部的行顯示精度分?jǐn)?shù)（真陽(yáng)性預(yù)測(cè)/總陽(yáng)性預(yù)測(cè)）。

?

圖 12：測(cè)試樣本的分類結(jié)果。

?

7. 最后，導(dǎo)航到下載模型選項(xiàng)卡以部署您的模型。使用您在前面的步驟中創(chuàng)建的Pipeline 、Model和Data Source填寫Knowledge Pack設(shè)置，并選擇Library輸出格式（參見圖 13 以供參考），然后單擊Download按鈕。

庫(kù)格式適用于所有 SensiML 訂閱層，將為生成的機(jī)器學(xué)習(xí)模型生成預(yù)編譯庫(kù)，以及定義用戶 API 的頭文件。

圖 13：知識(shí)包部署設(shè)置。

?

您現(xiàn)在應(yīng)該有一個(gè)用于 SAMD21 的編譯庫(kù)，其中包含您可以集成到您自己的項(xiàng)目中的機(jī)器學(xué)習(xí)模型。有關(guān) Analytics Studio 的更多詳細(xì)信息，請(qǐng)?jiān)L問 SensiML 的文檔頁(yè)面。

知識(shí)包集成

讓我們使用我們的 SensiML 庫(kù)（即知識(shí)包）并將其集成到現(xiàn)有的 MPLAB X 項(xiàng)目中，使用手勢(shì)演示項(xiàng)目作為模板。

使用本指南隨附的 MPLAB X 項(xiàng)目作為您自己項(xiàng)目的起點(diǎn)。這將省去您自己進(jìn)行硬件和項(xiàng)目配置的麻煩。

1. 從GitHub存儲(chǔ)庫(kù)下載手勢(shì)演示源代碼或使用 git clone https://github.com/MicrochipTech/ml-samd21-iot-sensiml-gestures-demo/克隆存儲(chǔ)庫(kù)。除了演示源代碼之外，該存儲(chǔ)庫(kù)還包含為使用 SensiML 知識(shí)包而預(yù)先配置的 MPLAB X 項(xiàng)目。

2. 將 SensiML 知識(shí)包的內(nèi)容（上一節(jié)中下載的 ZIP 存檔）解壓縮到 MPLAB X 項(xiàng)目所在的同一根文件夾中，以便覆蓋現(xiàn)有的知識(shí)包文件夾。

3.導(dǎo)航到knowledgepack/knowledgepack_project解壓后的知識(shí)包中的文件夾，定位到app_config.h；將此文件移動(dòng)到固件src目錄（與 .X 項(xiàng)目相同的根文件夾）以替換現(xiàn)有的app_config.h；這將確保您的應(yīng)用程序的傳感器配置與模型開發(fā)中使用的傳感器配置相匹配。

4.在 MPLAB X IDE 中打開項(xiàng)目。samd21-iot-sensiml-gestures-demo.X

5. 在 MPLAB X 中，打開Source Files下的 main.c 文件。

6. 向下滾動(dòng)到class_map定義變量的位置 - 請(qǐng)參閱下圖以供參考。修改字符串以匹配在 Analytics Studio的下載模型步驟中class_map顯示的類映射。請(qǐng)注意，“UNK”類（整數(shù) 0）由 SensiML 保留，因此此映射不會(huì)更改。

?

圖 14：類到標(biāo)簽的映射。

?

7. 在主 while 循環(huán)內(nèi)向下滾動(dòng)一點(diǎn)，直到到達(dá)如下圖所示的部分，該部分以調(diào)用buffer_get_read_buffer. kb_run_model這是代碼的核心：它通過函數(shù)調(diào)用我們從 IMU 獲得的每個(gè)樣本的 SensiML 知識(shí)包，并kb_reset_model在成功進(jìn)行推理時(shí)調(diào)用。

在此處修改 LED 代碼以反映您的類映射。?

該kb_run_model函數(shù)是 SensiML SDK 的主要入口點(diǎn)；它在內(nèi)部緩沖我們給它的樣本，并在它有足夠的數(shù)據(jù)時(shí)進(jìn)行推斷。對(duì)于本指南中的項(xiàng)目，每 200 個(gè)樣本進(jìn)行一次推斷 - 這對(duì)應(yīng)于我們在 Analytics Studio 中模型開發(fā)的查詢步驟中定義的窗口大小參數(shù)。將返回一個(gè)負(fù)整數(shù)，直到它有足夠的數(shù)據(jù)來運(yùn)行推理。kb_run_model

?

圖 15：主循環(huán)代碼。

?

好的，你現(xiàn)在應(yīng)該準(zhǔn)備好編譯了。繼續(xù)并單擊工具欄中的Make and Program Device按鈕以編譯您的固件并將其刷新到 SAMD21 MCU。

最后的話

而已！您現(xiàn)在應(yīng)該基本了解如何使用 SensiML 和 SAMD21 ML 評(píng)估套件開發(fā)手勢(shì)識(shí)別應(yīng)用程序。

有關(guān)數(shù)據(jù)驅(qū)動(dòng)設(shè)計(jì)過程的深入指南，請(qǐng)參閱 SensiML 的使用 AutoML 構(gòu)建智能物聯(lián)網(wǎng)設(shè)備白皮書。

要了解有關(guān) SensiML 工具包的更多信息，包括其他機(jī)器學(xué)習(xí)應(yīng)用程序的教程，請(qǐng)轉(zhuǎn)到 SensiML入門頁(yè)面。