TinyML：ESP32 CAM和TFT上的實(shí)時(shí)圖像分類

描述

不久前，我決定試用ESP32 Cam 和 Edge Impulse示例，但發(fā)現(xiàn)它壞了。缺少很多庫依賴項(xiàng)。事實(shí)證明，Espressif 已將他們的esp-face存儲庫大修為esp-dl ，并且更專注于更昂貴的 ESP-EYE。

您可以在原始存儲庫或這篇關(guān)于如何在Edge Impulse上訓(xùn)練您自己的 TinyML 模型的文章中找到說明。下載部署的Arduino庫后，在我的腳本中更改導(dǎo)入的庫名稱。

我復(fù)制了必要的文件并使其工作。但這仍然不是一個(gè)優(yōu)雅的解決方案；您必須在連接到相同（穩(wěn)定）WiFi 的計(jì)算機(jī)上的瀏覽器中查看圖像。您需要刷新頁面（發(fā)送新請求）才能獲得新照片。

所以我決定改進(jìn)它，看看我是否可以直接在 TFT 彩色顯示器上顯示圖像。

起初它不成功，因?yàn)榇蠖鄶?shù)示例使用TJpg_Decoder并且它使用大量內(nèi)存，導(dǎo)致 ESP32-CAM 崩潰然后重啟。然后我發(fā)現(xiàn) ESP32 庫中有一個(gè)函數(shù)可以將 JPEG 轉(zhuǎn)換為 RGB565（這是 Adafruit 驅(qū)動程序使用的格式）。我什至可以將圖像縮放到 1/2 邊尺寸 (= 1/4)，以便它很好地適合 ST7735S 160x128 或 128x128 顯示器。一切正常，問題解決。

（不，我無法使用 Adafruit 產(chǎn)品，但我想它們的工作原理是一樣的。）

您可以在我的 repo 上找到有關(guān)布線、訓(xùn)練數(shù)據(jù)（Kaggle 貓狗數(shù)據(jù)集）和模型（帶遷移學(xué)習(xí)的 MobileNetV1 96x96 0.25）的更多詳細(xì)信息。還有我的模型庫的副本和樣板版本（不使用按鈕和 TFT）。

?

Edge Impulse 的訓(xùn)練準(zhǔn)確率為 89.8%，測試準(zhǔn)確率為 86.97%。捕獲的圖像為 240x240（在 TFT 上調(diào)整為 120x120，模型調(diào)整為 96x96）。ESP32-CAM 上的模型推理（預(yù)測）時(shí)間為 2607 毫秒（2.6 秒）。它并不快，但設(shè)置非常便宜我認(rèn)為這實(shí)際上可以用作現(xiàn)實(shí)世界的應(yīng)用程序......？