修補(bǔ)Edge Impulse為MCU創(chuàng)建圖像、音頻和運動分類模型

描述

當(dāng)我還是個孩子的時候，我對毒藤的反應(yīng)非常糟糕：疼痛、發(fā)癢的皮疹需要去看醫(yī)生以獲得強(qiáng)效藥物。毒藤很難識別，并且在難以接收手機(jī)信號的地方（森林、遠(yuǎn)足小徑、偏遠(yuǎn)地區(qū)）被發(fā)現(xiàn)。擁有一個可以識別低功耗且不需要互聯(lián)網(wǎng)連接的毒藤（或其他壞東西）的邊緣設(shè)備不是很酷嗎？

在過去的一年里，我開始嘗試使用 TinyML，最近從 Arducam 購買了 Pico4ML 。我很感興趣，因為它配備了 Raspberry Pi RP2040 MCU、單色攝像頭、小型 LCD 顯示器、麥克風(fēng)和 IMU，所有這些都在一個小尺寸中。我慢慢開始玩這些演示以了解它可以做什么。我還開始修補(bǔ) Edge Impulse，為各種 MCU 創(chuàng)建圖像、音頻和運動分類模型。

當(dāng)“ Eyes on Edge: tinyML Vision Challenge ”宣布時，我決定嘗試測試我的新技能！

我從 Edge Impulse 開始并拍攝照片來填充我的圖像分類模型。我開發(fā)了 3 個類別：毒藤、非毒藤植物和未知植物（不是植物的隨機(jī)物品的照片）。我遵循了 Edge Impulse關(guān)于如何開發(fā)模型的指導(dǎo)。我使用我女兒的小型數(shù)碼相機(jī)拍照并將圖像批量上傳到我的 Edge Impulse 項目。

?

將照片上傳到 Edge Impulse 項目

?

之后我設(shè)計了沖動。為了與 Pico4ML 的約束保持一致，我選擇了 96x96 單色圖像并使用 Edge Impulse 建議的默認(rèn)圖像和遷移學(xué)習(xí)塊。

?

?

我選擇 MobilenetV1 0.2 作為模型，同樣是因為 Pico4ML 的內(nèi)存限制。雖然不理想，也不是最準(zhǔn)確的，但對于應(yīng)用程序和硬件來說已經(jīng)足夠了。二十個神經(jīng)元似乎產(chǎn)生了最好的結(jié)果。我還為更多樣化的數(shù)據(jù)集選擇了數(shù)據(jù)增強(qiáng)。

?

?

?

選擇這些參數(shù)后，我訓(xùn)練了模型。結(jié)果如下：

?

?

對于幾百張圖片來說還不錯！這當(dāng)然不是最好的模型，對于看起來像毒藤但不是的植物有些混淆。我認(rèn)為通過毒藤和類似植物（即荊棘葉和黑莓葉）的附加質(zhì)量圖像可以進(jìn)一步改進(jìn)模型。

構(gòu)建并測試模型后，我將其導(dǎo)出到 C++ 庫以集成到我的項目中。現(xiàn)在，我沒有在 1 次迭代中完成這項工作。在要使用的照片數(shù)量/質(zhì)量和模型類型方面進(jìn)行了大量試驗（我使用的第一個模型對于 Pico4ML 來說太大了，而且內(nèi)存不足）。我沒有意識到我必須經(jīng)歷多少次迭代！

?

?

我在 Raspberry Pi 4B 上進(jìn)行了開發(fā)，因為那似乎是最簡單的界面。我處理了 Pico4ML github上的代碼/指令。我使用 person_detection 演示作為起點，這樣我就可以了解圖像是如何被接收的，以及它們是如何傳遞給 ML 算法的。這是我花費*大量*時間的地方，我感謝 Edge Impulse 團(tuán)隊一直支持我并在他們的論壇上為我回答問題。

該演示使用 tensorflow lite 微型模型，因此在設(shè)置和推理方面，界面與 Edge Impulse 模型有很大不同。對于那些合法的編碼員來說，這可能不是什么大問題，但對于那些十多年沒有編碼的人來說，讓 Edge Impulse 模型與硬件正常工作是一個漫長的過程（請參閱上面的注釋我的原始模型對于硬件來說太大并且導(dǎo)致內(nèi)存問題）。

一旦我確信我讓它工作了，我的現(xiàn)場結(jié)果并不像我希望的那樣令人印象深刻，所以我繼續(xù)改進(jìn)模型，直到我覺得它“足夠好”。下圖顯示了從相機(jī)接收到的圖像，以及該圖像是毒藤的概率。如果概率大于 60%，數(shù)字變?yōu)榧t色：小心！

?

成功！（大多數(shù)時候?。?/font>

?

?

這是一個有趣的練習(xí)，我真的覺得它處于 TinyML 的流血“邊緣”。Pico4ML 是低功耗的，所以我可以用一個簡單的 5V 手機(jī)電池充電器給它斷電。我的 USB 數(shù)據(jù)線有一個開/關(guān)開關(guān)，因此只需點擊一下，對圖像進(jìn)行分類，然后點擊關(guān)閉。對于電力和互聯(lián)網(wǎng)不可用的偏遠(yuǎn)地區(qū)非常有效。

?

簡單設(shè)置：電池、USB 數(shù)據(jù)線、Pico4ML

該項目的未來擴(kuò)展可能是對您在遠(yuǎn)足露營時想在偏遠(yuǎn)地區(qū)了解的其他“壞”東西進(jìn)行分類：“這種漿果有毒嗎？這種蘑菇怎么樣？” 隨著 MCU 變得更強(qiáng)大，可以使用具有更好輸入的更好模型（例如，使用彩色圖像而不是單色圖像）。其他改進(jìn)可能是多個類（而不是我這里的二進(jìn)制分類），最終是對象檢測！

這是我提交給 hackster.io 的第一個項目，希望你喜歡它！