讓人們?cè)贑OVID時(shí)代移動(dòng)和互動(dòng)

描述

激勵(lì)

今天的生活與 COVID-19 之前的生活大不相同。成人和兒童都被迫隔離，事實(shí)證明這不僅對(duì)身體有害，而且對(duì)精神和情感造成傷害。我們的目標(biāo)是提供一種不僅安全，而且具有娛樂(lè)性和挑戰(zhàn)性的娛樂(lè)方式。

MOTIVATE 是我們的創(chuàng)作，它提供了一個(gè)虛擬迷宮，用戶在其中與其他用戶和 AI 機(jī)器人競(jìng)爭(zhēng)以完成迷宮而不被捕獲。完成迷宮不僅需要身體能力，還需要空間和邏輯推理。

?

?

?

?

1 / 3

?

游戲設(shè)置

玩家首先選擇他們的迷宮。他們可以選擇一個(gè)活躍的游戲或請(qǐng)求一個(gè)新生成的迷宮。活躍游戲可以有其他活躍玩家或機(jī)器人，而新游戲是本地游戲而不是多人游戲。然后玩家繼續(xù)選擇他們的角色類別。職業(yè)是：巫師、盜賊和戰(zhàn)士。奇才將盜賊送回開始，盜賊將戰(zhàn)士送回開始，戰(zhàn)士將奇才送回（roshambo風(fēng)格）。玩家還可以通過(guò)選擇游戲選項(xiàng)卡并使用靈敏度滑塊隨時(shí)設(shè)置移動(dòng)和轉(zhuǎn)動(dòng)靈敏度以及“后退”和“左/右滑動(dòng)”動(dòng)作。一旦用戶做出他/她的選擇，他們通過(guò)滑動(dòng)并選擇游戲選項(xiàng)卡來(lái)繼續(xù)游戲。

游戲玩法

游戲是實(shí)時(shí)進(jìn)行的，玩家使用動(dòng)作來(lái)導(dǎo)航迷宮。玩家的目標(biāo)是在最短的時(shí)間內(nèi)走到迷宮的盡頭。不過(guò)也有障礙。玩家必須找出最短路徑，同時(shí)在可能屬于競(jìng)爭(zhēng)角色類別的其他玩家周圍導(dǎo)航。捷徑確實(shí)存在。如果使用正確的動(dòng)作，迷宮將包含“高”和“低”的墻壁，用戶可以通過(guò)這些墻壁。高墻是綠色的，可以“蹲”過(guò)，低墻是黃色的，可以“跳”過(guò)。

游戲運(yùn)動(dòng)

玩家可以使用以下動(dòng)作在迷宮中導(dǎo)航：

• 向前——向前走。將玩家向前移動(dòng) 1 步
• 左/右轉(zhuǎn) - 向左或向右旋轉(zhuǎn)。向左或向右改變玩家方向 90 度。
• *向后 - 向后走。將玩家向后移動(dòng) 1 步
• *左/右滑動(dòng) - 向左或向右側(cè)步。將玩家向左或向右移動(dòng) 1 步。

*可選，可以在游戲選項(xiàng)卡上切換。

迷宮標(biāo)簽

迷宮選項(xiàng)卡是玩游戲的主要選項(xiàng)卡。玩家有兩張地圖；以玩家為中心并以玩家為中心的主要相對(duì)地圖以及具有靜態(tài)方向并顯示整個(gè)地圖以及所有玩家和位置的較小絕對(duì)地圖。選項(xiàng)卡的右下部分有信息窗格。在這個(gè)窗格中，玩家可以看到他們的步數(shù)、活動(dòng)動(dòng)作分類、對(duì)手的名字、經(jīng)過(guò)的時(shí)間以及穩(wěn)定性和動(dòng)作 LED。穩(wěn)定性 LED 指示設(shè)備被保持在正確的位置。如果設(shè)備未保持在正確位置，此 LED 將閃爍。運(yùn)動(dòng) LED 指示分類器正在運(yùn)行并處理來(lái)自 IMU 的信號(hào)。

訓(xùn)練選項(xiàng)卡

訓(xùn)練選項(xiàng)卡用于收集用于構(gòu)建激勵(lì) CNN 模型的訓(xùn)練樣本。用戶可以使用右側(cè)控制按鈕選擇他們的類操作，并使用中間控制按鈕打開/關(guān)閉收集。將以 30Hz 的頻率收集樣本。并通過(guò) AWS IoT (MQTT) 提供給激勵(lì)后端。

建造

激勵(lì)具有三個(gè)主要組成部分；激勵(lì)模型、后端和應(yīng)用程序。該模型是一個(gè)基本的 CNN 分類器，在 Core2 上本地運(yùn)行，并提供 IMU 測(cè)量的實(shí)時(shí)分類以確定玩家運(yùn)動(dòng)。后端用于生成和分發(fā)迷宮、收集訓(xùn)練數(shù)據(jù)和多人游戲管理。應(yīng)用程序是在 Core2 上本地編譯和運(yùn)行的一組代碼和包。

模型

訓(xùn)練中使用的模型數(shù)據(jù)是；20 個(gè)標(biāo)準(zhǔn)化 IMU 讀數(shù)樣本 @ 30 Hz。（約 2/3 秒的訓(xùn)練樣本）。標(biāo)準(zhǔn)化通過(guò)以下方式完成：

(Sa-Samin)/(Samax-Samin) * 255和(Sg-Sgmin)/(Sgmax-Sgmin) * 255

在哪里：

• Sa - 加速度計(jì) XYZ 樣本
• Sg - 陀螺儀 XYZ 樣本
• Samin/max - 加速度計(jì)最小值/最大值（通過(guò)檢查發(fā)現(xiàn)）
• Sgmin/max - 陀螺儀最小/最大值（通過(guò)檢查發(fā)現(xiàn)）

模型數(shù)據(jù)標(biāo)注如下：

• 0 - 休息
• 1 - 前鋒
• 2 - 向后
• 3 - 左轉(zhuǎn)
• 4 - 右轉(zhuǎn)
• 5 - 向上（跳躍）
• 6 - 向下（蹲下）
• 7 - 左側(cè)臺(tái)階
• 8 - 右側(cè)踏步

該模型是一個(gè)簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)，具有以下架構(gòu)：

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d (Conv2D)              (None, 20, 6, 16)         208       
_________________________________________________________________
max_pooling2d (MaxPooling2D) (None, 6, 2, 16)          0         
_________________________________________________________________
dropout (Dropout)            (None, 6, 2, 16)          0         
_________________________________________________________________
conv2d_1 (Conv2D)            (None, 6, 2, 16)          1040      
_________________________________________________________________
max_pooling2d_1 (MaxPooling2 (None, 2, 2, 16)          0         
_________________________________________________________________
dropout_1 (Dropout)          (None, 2, 2, 16)          0         
_________________________________________________________________
flatten (Flatten)            (None, 64)                0         
_________________________________________________________________
dense (Dense)                (None, 16)                1040      
_________________________________________________________________
dropout_2 (Dropout)          (None, 16)                0         
_________________________________________________________________
dense_1 (Dense)              (None, 9)                 153       
=================================================================
Total params: 2,441
Trainable params: 2,441
Non-trainable params: 0

培訓(xùn)結(jié)果

以下是每個(gè)標(biāo)簽的 F1 分?jǐn)?shù)。達(dá)到了 A.95 F1 復(fù)合精度。

class   precision    recall  f1-score   support             
0       1.00      0.95      0.98        44            
1       0.90      0.94      0.92        95            
2       0.93      0.91      0.92       109            
3       1.00      1.00      1.00        52            
4       1.00      1.00      1.00        41            
5       1.00      1.00      1.00        38            
6       0.99      1.00      0.99        71            
7       0.88      0.91      0.89        54            
8       0.95      0.91      0.93        45      

accuracy                               0.95       549    
macro avg          0.96      0.96      0.96       549 
weighted avg       0.95      0.95      0.95       549

將模型部署到設(shè)備

提供的 jupyter notbook 的最后一步是下載模型結(jié)果。在將模型導(dǎo)入您的應(yīng)用程序時(shí)，請(qǐng)使用 `xxd` 工具將 tflite 模型文件轉(zhuǎn)換為 ac 源文件并將結(jié)果復(fù)制到您的項(xiàng)目中。

xxd -i mot-imu-quant.tflite > mot-imu-model.cc
sed -i 's/mot_imu_quant_tflite/g_model/g' mot-imu-model.cc # change model name to match code
cp mot-imu-model.cc <to your project>

后端

后端由一些不同的 AWS 服務(wù)組成，如下所示：

• Maze Proxy - 為 Maze 服務(wù)提供 HTTP 前端。
• Maze API - 用于迷宮生成和傳播的 HTTPS Restful 接口。
• Maze Generator - 用于檢索和生成迷宮的 Lambda。
• MOT MQTT - MQTT 中間件，用于定義主題拓?fù)?、生?MOT 設(shè)備密鑰和 MQTT 消息傳播以進(jìn)行游戲。
• 游戲管理器 - 運(yùn)行 MOT 機(jī)器人和游戲管理器的 EC2 系統(tǒng)。

迷宮生成和游戲機(jī)器人/管理器的代碼可以在mot-play存儲(chǔ)庫(kù)中找到。后端當(dāng)前存在并且可用。如果您希望構(gòu)建此項(xiàng)目而不提供后端，請(qǐng)聯(lián)系一組密鑰。

應(yīng)用

該應(yīng)用程序由 platformio 項(xiàng)目中的一組 c++ 和 c 代碼組成。重新創(chuàng)建應(yīng)用程序的步驟如下：

• 安裝可視化代碼
• 安裝平臺(tái)
• 克隆激勵(lì)存儲(chǔ)庫(kù)。
• 在激勵(lì)存儲(chǔ)庫(kù)的根目錄中打開 Visual Code。
• 生成sdkconfig
• 使用 menuconfig 更新 sdkconfig

pio run -t menuconfig
# Update the following to be unique
MOT MQTT Config -> MOT Client ID 
# Update the following with your WiFi Config
WiFi Configuration -> SSID
WiFi Configuration -> WiFi Password

• 為 AWS IoT 連接請(qǐng)求（或生成）MOT 證書并復(fù)制到：

.../motivate/maze-app/certs

• 構(gòu)建并刷新您的設(shè)備