基于M5Stick-V和M5Stack的辦公桌機(jī)器人助手

描述

介紹

該項(xiàng)目以實(shí)用的方式展示了如何使用設(shè)備 M5StickV 作為開發(fā)系統(tǒng)來執(zhí)行情緒分類。要執(zhí)行此分類，必須有一個數(shù)據(jù)庫，其中情緒按代表不同情緒的類別劃分。使用 KDEF 數(shù)據(jù)庫（http://kdef.se/ ）進(jìn)行訓(xùn)練，該數(shù)據(jù)庫共有 4, 900 張人類面部表情圖像。這組圖像包含 70 個人，表現(xiàn)出 7 種不同的情緒表達(dá)。

在開始訓(xùn)練階段之前，有必要進(jìn)行預(yù)處理階段，在該階段調(diào)整圖像的大小。這是必要的，因?yàn)樵谑褂?mobilenet 網(wǎng)絡(luò)架構(gòu)時，需要將每個圖像調(diào)整為 224x224。

Windows 10 被用作執(zhí)行訓(xùn)練階段的操作系統(tǒng)，這個階段可能會延遲 3 到 4 個小時（取決于計(jì)算機(jī)的特性）。在訓(xùn)練中完成后，系統(tǒng)會生成 *.h5 模型，一旦有了這個模型，就需要將其轉(zhuǎn)換為 tensorflow lite *.tflite 格式。這是使用命令完成的：

tflite_convert --keras_model_file " + keras_model_path + " --output_file " + tflite_path

已有我們的*.tflite模型，下面將其轉(zhuǎn)換為*.kmodel。這是必要的，因?yàn)?M5StickV 的 KPIU 只接受帶有此擴(kuò)展名的模型。這是使用 ncc ( https://github.com/kendryte/nncase/releases/tag/v0.2.0-alpha2 ) 完成的。

ncc.exe -i tflite -o k210model --dataset " + path_all_dataset + " " + tflite_path + " " + kmodel_path

在此步驟中，數(shù)據(jù)集的所有圖像都位于一個名為數(shù)據(jù)集的文件夾中，這一點(diǎn)非常重要。

在這一點(diǎn)上，我們必須有這樣的東西：

模型結(jié)構(gòu)

?

一旦您擁有 *.kmodel 格式的模型，您就可以通過兩種方式訪問??該模型。在我的情況下，第一次使用 SD 內(nèi)存時，我的 M5StatickV 不再讀取它 :(，這可以通過以下方式完成：

task = kpu.load("/sd/model.kmodel")

或者我們可以使用應(yīng)用程序Kflash_gui，將模型下載到地址0x300000，如下圖所示。

Kflash_gui

?

。

?

機(jī)器人 1

?

?

?

機(jī)器人 2

?

機(jī)器人 3

?

?

機(jī)器人 4

?

機(jī)器人 5

?

?

連接圖

?

?

?