帶Spresense的AI相機

描述

這個項目是關(guān)于什么的？

該設(shè)備使用攝像頭和經(jīng)過訓練的神經(jīng)網(wǎng)絡(luò)模型來識別我何時坐在燈旁邊并將其打開。

它可以識別模式，可以計算人數(shù)，還可以針對特定命令進行訓練。此外，這可以節(jié)省我們不在場時的能量切換。

怎么運行的？

Spresense 主板使用攝像頭和經(jīng)過訓練的模型來檢測用戶何時在場。通過將 Spresense 巧妙地放置在房間的角落，它可以在用戶穿過房間時打開和關(guān)閉燈。為此，Spresense 連接到充當開關(guān)的繼電器。這允許用戶在不接觸開關(guān)的情況下四處走動，并更好地利用能源。此應用需要 Spresense 主板 + Spresense 相機板。

原型

構(gòu)建原型的步驟和軟件

?

創(chuàng)建數(shù)據(jù)集

首先我們需要選擇興趣區(qū)域。在這種情況下，應使用以下代碼將 56x56 像素調(diào)整為 28x28。

興趣區(qū)

?

然后我們需要記錄至少 600 張照片，一半是有人坐著的，另一半只是沙發(fā)。用不同的光照條件記錄它們。將create_dataset.ino修改為您感興趣的區(qū)域。

img.clipAndResizeImageByHW(small, lefttop_x, lefttop_y,
                    rightbottom_x, rightbottom_y, out_height, out_width)

錄制完成后，從 SD 卡中復制圖像并將它們分類在兩個文件夾中。

用于創(chuàng)建數(shù)據(jù)集的文件夾結(jié)構(gòu)

?

現(xiàn)在，在 Neural Network Console 中單擊 DATASET > Create Dataset > Image Classification 并添加指定

數(shù)據(jù)集常用選項

?

訓練模型

找到更適合您的問題的模型。這對我有用。

使用的神經(jīng)網(wǎng)絡(luò)層配置

?

然后，運行訓練，運行評估，導出 NNB 模型并粘貼到 SD 卡中。在我的例子中，模型小于 5 KB！

推理

使用您感興趣的區(qū)域修改inference.ino上的以下行并運行它！

img.clipAndResizeImageByHW(small, lefttop_x, lefttop_y,
                    rightbottom_x, rightbottom_y, out_height, out_width)

如您在下一張照片中所見，我使用帶光耦合器的 3.3V 繼電器來切換燈。

總裝

?

?