帶有EdgeImpulse的基于視覺的手勢(shì)控制無人機(jī)

描述

介紹

“無人機(jī)”一詞通常指任何無人駕駛飛機(jī)。這些飛行器有時(shí)被稱為“無人機(jī)”（UAV），可以執(zhí)行從軍事行動(dòng)到包裹遞送等一系列令人印象深刻的任務(wù)。無人機(jī)可以像飛機(jī)一樣大，也可以像手掌一樣小。最初為軍事和航空航天行業(yè)開發(fā)的無人機(jī)因其帶來的安全性和效率的提高而成為主流。這些機(jī)器人無人機(jī)在沒有飛行員的情況下運(yùn)行并具有不同程度的自主性。無人機(jī)的自主性水平可以范圍從遠(yuǎn)程駕駛（人類控制其運(yùn)動(dòng)）到高級(jí)自主，這意味著它依賴于傳感器和探測(cè)器系統(tǒng)來計(jì)算其運(yùn)動(dòng)。

由于無人機(jī)可以遠(yuǎn)程控制，并且可以在不同的距離和高度飛行，因此它們是承擔(dān)世界上一些最艱巨工作的理想人選。他們可以在颶風(fēng)過后協(xié)助尋找幸存者，在恐怖局勢(shì)期間讓執(zhí)法部門和軍隊(duì)密切關(guān)注天空，并在地球上一些最極端的氣候條件下推進(jìn)科學(xué)研究。無人機(jī)甚至進(jìn)入了我們的家，成為業(yè)余愛好者的娛樂和攝影師的重要工具。

無人機(jī)有多種用途：

• 軍隊(duì)
• 送貨
• 緊急救援
• 外太空
• 野生動(dòng)物和歷史保護(hù)
• 藥物
• 攝影等

==================================================== ===================

動(dòng)機(jī)

這個(gè)項(xiàng)目背后的主要?jiǎng)訖C(jī)是我對(duì)探索小型無人機(jī)的各種控制方案的好奇心。《微型無人機(jī)語音控制系統(tǒng)的設(shè)計(jì)與開發(fā)》一文講述了無線電、GCS、手勢(shì)、語音、操縱桿、PC、FPV和自主等各種無人機(jī)控制方法。在論文Design and Development of an Android Application for Voice Control of Micro Unmanned Aerial Vehicles中，觀察到medium無線電和手勢(shì)無人機(jī)控制方法的態(tài)勢(shì)感知處于一定水平，而語音控制方法的態(tài)勢(shì)感知能力較高。在這個(gè)項(xiàng)目中，我們將致力于基于視覺的手勢(shì)控制，稍后我們將進(jìn)行語音控制以及其他高級(jí)控制。

該項(xiàng)目的動(dòng)機(jī)還源于需要在低成本可移植和可擴(kuò)展的嵌入式平臺(tái)中實(shí)現(xiàn)這些不同的控制方法，該平臺(tái)具有邊緣計(jì)算，而不依賴于外部資源的工作。

==================================================== ===================

方法

?

==================================================== ===================

DJI Tello 無人機(jī)

DJI Tello是一款小型無人機(jī)，將DJI和Intel I的強(qiáng)大技術(shù)結(jié)合到一個(gè)非常小的封裝中。它是一款輕巧、有趣且易于使用的無人機(jī)，是在投資更昂貴的選擇之前學(xué)習(xí)無人機(jī)駕駛技巧的完美工具。Tello 擁有來自英特爾的 14 核處理器，其中包括板載Movidius Myriad 2 VPU（視頻處理單元）用于高級(jí)成像和視覺處理。它配備了高質(zhì)量的圖像處理器，用于拍攝照片和視頻。該相機(jī)具有 5MP (2592x1936) 照片和 HD720 視頻。無人機(jī)的最長飛行時(shí)間為 13 分鐘。這款令人難以置信的小型無人機(jī)可放在您的手掌中，僅重約 80 克（包括螺旋槳和電池）。您可以通過 Tello 應(yīng)用程序或連接到 Tello 應(yīng)用程序的受支持藍(lán)牙遙控器直接控制 Tello。該無人機(jī)可通過 Python、C++、Scratch 和 DroneBlocks 進(jìn)行編程。

眼鏡

• 重量：約 80 克（含螺旋槳和電池）
• 尺寸：98mm*92.5mm*41mm
• 螺旋槳：3英寸
• 內(nèi)置功能：測(cè)距儀、氣壓計(jì)、LED、視覺系統(tǒng)、WIFI 802.11n 2.4G、720P 實(shí)時(shí)取景
• 端口：Micro USB 充電端口
• 最大飛行距離：100m
• 最大速度：8m/s
• 最長飛行時(shí)間：13 分鐘
• 可拆卸電池：1.1Ah/3.8V
• 照片：5MP（2592×1936）
• 視場(chǎng)：82.6°
• 視頻：HD720P30
• 格式：JPG（照片）；MP4(視頻)
• 電子防抖：是

為項(xiàng)目準(zhǔn)備 Tello Drone

Tello 無人機(jī) SDK提供了有關(guān)如何通過 Tello 命令對(duì)無人機(jī)進(jìn)行編程以完成任務(wù)的大量信息，但在功能上有所限制。Tello SDK 通過 Wi-Fi UDP 端口連接飛行器，用戶可以通過文本命令控制飛行器。我們使用 Wi-Fi 在 Tello 和 M5Stack 模塊之間建立連接。開機(jī)后，Tello 充當(dāng)軟 AP Wi-Fi (192.168.10.1) 通過端口 8889 接受命令。

Tello SDK 包括三種基本命令類型。

控制命令 (xxx)

如果命令成功，則返回“ok”。

如果命令失敗，則返回“錯(cuò)誤”或信息性結(jié)果代碼。

Set Command (xxx a) 設(shè)置新的子參數(shù)值

如果命令成功，則返回“ok”。

如果命令失敗，則返回“錯(cuò)誤”或信息性結(jié)果代碼。

讀取命令 (xxx?)

返回子參數(shù)的當(dāng)前值。

盡管 Tello 非常靈活，我們可以通過許多不同的軸來控制無人機(jī)，但在這個(gè)項(xiàng)目中，我們將使用以下命令。

• 起飛：自動(dòng)起飛。
• 土地：自動(dòng)著陸。
• up x：上升到“x”厘米。
• down x ：下降到“x”厘米。
• left x：向左飛行“x”厘米。
• right x ：向右飛行“x”厘米。
• forward x：向前飛“x”厘米。
• back x ：向后飛“x”厘米。

全套命令請(qǐng)參考SDK 。

作為一項(xiàng)安全功能，如果 15 秒內(nèi)沒有命令，Tello 將自動(dòng)著陸。

Tello API

我們將使用自定義 C++ API ctello ，它允許我們通過 UDP 與 DJI Tello 無人機(jī)通信。

==================================================== ===================

基于視覺的手勢(shì)控制方法

手勢(shì)命令

為了使用視覺手勢(shì)控制我們的 Tello 無人機(jī)，我們將使用手勢(shì)檢測(cè)。6 種基本手勢(shì)被考慮用于控制（怠速、起飛/著陸、前進(jìn)、后退、左、右）。

Takeoff

起飛命令是通過使用豎起大拇指的手勢(shì)發(fā)出的。

Land

使用拇指向下的手勢(shì)發(fā)出 Land 命令。

通過使用張開手掌手勢(shì)發(fā)出前進(jìn)命令。

通過使用閉合的拳頭手勢(shì)發(fā)出向后命令。

使用拇指向左手勢(shì)發(fā)出向左命令。

使用拇指向右手勢(shì)發(fā)出向右命令。

==================================================== ===================

使用邊緣脈沖的基于視覺的手勢(shì)識(shí)別

在Edge Impulse Studio的幫助下，我們將使用機(jī)器學(xué)習(xí)構(gòu)建在微控制器上運(yùn)行的手勢(shì)識(shí)別系統(tǒng)。

為項(xiàng)目準(zhǔn)備 Edge Impulse Studio

• 登錄https://www.edgeimpulse.com/
• 單擊創(chuàng)建項(xiàng)目。

?

• 提供項(xiàng)目名稱并單擊創(chuàng)建。

?

• 從左側(cè)菜單轉(zhuǎn)到“設(shè)備”選項(xiàng)卡，然后選擇“連接新設(shè)備”。

?

• 您將看到各種設(shè)備選項(xiàng)。

?

• 為簡單起見，讓我們連接我們的智能手機(jī)設(shè)備。由于所有現(xiàn)代智能手機(jī)都有板載加速度計(jì)，因此很容易。
• 接下來，您將獲得一個(gè)二維碼和一個(gè)鏈接，以允許從您的智能手機(jī)收集數(shù)據(jù)。

• 掃描此二維碼或通過您的智能手機(jī)設(shè)備打開鏈接。

?

• 通過智能手機(jī)打開鏈接后，智能手機(jī)將顯示在“設(shè)備”部分。

?

==================================================== ===================

數(shù)據(jù)采集

為了為我們的機(jī)器學(xué)習(xí)模型收集數(shù)據(jù)，我們將使用智能手機(jī)上的攝像頭傳感器。為了讓您的機(jī)器學(xué)習(xí)模型能夠看到，捕獲這些對(duì)象的大量示例圖像非常重要。在訓(xùn)練模型時(shí)，這些示例圖像用于讓模型區(qū)分它們。

• 將智能手機(jī)連接到 Edge Impulse 后，轉(zhuǎn)到“ Data Acquisition”選項(xiàng)卡。
• 在手機(jī)中，選擇Collecting images并授予對(duì)相機(jī)的訪問權(quán)限。
• 在下一個(gè)屏幕上，給標(biāo)簽名稱 Eg: takeoff，在相機(jī)前顯示手勢(shì)，然后單擊Capture開始采樣。

• 一旦設(shè)備完成每個(gè)采樣，它就會(huì)將文件上傳回 Edge Impulse。采樣后，數(shù)據(jù)將出現(xiàn)在數(shù)據(jù)采集中。
• 您會(huì)在工作室的“ ”下看到一個(gè)新行。Collected data
• 當(dāng)您單擊它時(shí)，您現(xiàn)在會(huì)看到原始圖像。

?

• 重復(fù)此過程以收集盡可能多的樣本。
• 對(duì)其他標(biāo)簽重復(fù)起飛、著陸、前進(jìn)、后退、左、右。
• 還包括一些噪聲圖像。
• 確保對(duì)手勢(shì)進(jìn)行變化調(diào)整。例如，稍微改變手勢(shì)的方向。您永遠(yuǎn)不會(huì)知道您的用戶將如何使用該設(shè)備。
• 收集到足夠的數(shù)據(jù)后，它們將顯示在同一選項(xiàng)卡下。

?

• 單擊每個(gè)數(shù)據(jù)行以查看其原始圖像。

• 現(xiàn)在我們有足夠的數(shù)據(jù)，我們需要將數(shù)據(jù)拆分為atraining dataset和atest dataset.
• 不用擔(dān)心。Edge Impulse Studio 也為我們提供了便利。
• 前往“ Dashboard section”并向下滾動(dòng)至“ Danger Zone”。
• 點(diǎn)擊“ Rebalance datasheet”，自動(dòng)將數(shù)據(jù)集拆分為訓(xùn)練和測(cè)試，比例為 80/20。

?

• 現(xiàn)在我們已經(jīng)獲取并設(shè)置了我們的訓(xùn)練數(shù)據(jù)以供進(jìn)一步處理。
• 現(xiàn)在，我們的 Edge Impulse 項(xiàng)目中有一個(gè)平衡良好的數(shù)據(jù)集。
• 我們可以使用小部件上方的兩個(gè)按鈕在您的訓(xùn)練和測(cè)試數(shù)據(jù)之間切換Data collected。

==================================================== ===================

手勢(shì)模型訓(xùn)練

由于我們已經(jīng)獲取了所有數(shù)據(jù)，是時(shí)候訓(xùn)練數(shù)據(jù)集以適應(yīng)手勢(shì)模型了，Edge Impulse 使我們無需編寫任何代碼就可以更輕松地生成模型。

有了訓(xùn)練集，我們就可以設(shè)計(jì)一個(gè)沖動(dòng)。脈沖獲取原始圖像，使用預(yù)處理塊來處理圖像，然后使用學(xué)習(xí)塊對(duì)新數(shù)據(jù)進(jìn)行分類。預(yù)處理塊總是為相同的輸入返回相同的值，而學(xué)習(xí)塊從過去的經(jīng)驗(yàn)中學(xué)習(xí)。

• 轉(zhuǎn)到“ Impulse Design”選項(xiàng)卡。
• 我們已經(jīng)Image data為我們填充了該部分。
• 選擇一個(gè)image widthof48x48和 Resize 模式為Squash。
• 現(xiàn)在單擊Add a processing block并選擇Image。
• 該塊接收彩色圖像，可選地使圖像灰度化，然后將數(shù)據(jù)轉(zhuǎn)換為特征數(shù)組。
• 參數(shù)將為我們自動(dòng)填充。
• 現(xiàn)在單擊Add a learning block并選擇Transfer Learning (Images)。
• 參數(shù)將為我們自動(dòng)填充。
• 該塊采用這些特征數(shù)組并學(xué)習(xí)區(qū)分六個(gè)（空閑、起飛、前進(jìn)、后退、左、右）類。
• 該Output features塊將具有我們獲得的所有標(biāo)簽。

?

• 現(xiàn)在單擊Save Impulse以保存配置。
• 前往Image標(biāo)簽。
• 這將在屏幕頂部顯示原始數(shù)據(jù)（您可以通過下拉菜單選擇其他文件），并在右側(cè)顯示預(yù)處理步驟的結(jié)果。
• 您可以使用選項(xiàng)在“RGB”和“灰度”模式之間切換，但現(xiàn)在，將顏色深度保留為“RGB”。

?

• 單擊Save parameters。這會(huì)將您發(fā)送到Transfer learning屏幕。
• 在這里，我們將調(diào)整所有數(shù)據(jù)的大小，對(duì)所有這些數(shù)據(jù)應(yīng)用處理塊，并創(chuàng)建完整數(shù)據(jù)集的 3D 可視化。
• 單擊Generate features。
• 將Feature explorer加載。這是我們數(shù)據(jù)集中所有數(shù)據(jù)的圖。

?

• 因?yàn)閳D像有很多維度（這里：48x48x3=6912 個(gè)特征），我們?cè)诳梢暬霸跀?shù)據(jù)集上運(yùn)行一個(gè)稱為“降維”的過程。
• 在這里，6912?? 個(gè)特征被壓縮到只有 3 個(gè)，然后根據(jù)相似度進(jìn)行聚類。
• 即使我們的數(shù)據(jù)很少，您已經(jīng)可以看到一些簇正在形成，并且可以單擊這些點(diǎn)來查看哪個(gè)圖像屬于哪個(gè)點(diǎn)。

?

• 對(duì)于我們的數(shù)據(jù)集，特征數(shù)據(jù)或多或少是分開的，這是一個(gè)好兆頭。如果您的功能重疊，最好獲取更多數(shù)據(jù)。
• 該頁面還顯示了預(yù)期的設(shè)備性能以及用于計(jì)算特征的處理時(shí)間和峰值 RAM 使用率。

?

處理完所有數(shù)據(jù)后，就該開始訓(xùn)練神經(jīng)網(wǎng)絡(luò)了。神經(jīng)網(wǎng)絡(luò)是一組算法，松散地模仿人腦，旨在識(shí)別模式。我們?cè)谶@里訓(xùn)練的網(wǎng)絡(luò)將信號(hào)處理數(shù)據(jù)作為輸入，并嘗試將其映射到四個(gè)類之一。

那么神經(jīng)網(wǎng)絡(luò)如何知道要預(yù)測(cè)什么？神經(jīng)網(wǎng)絡(luò)由多層神經(jīng)元組成，所有神經(jīng)元相互連接，每個(gè)連接都有一個(gè)權(quán)重。輸入層中的一個(gè)這樣的神經(jīng)元將是 X 軸的第一個(gè)峰值的高度（來自信號(hào)處理塊），而輸出層中的一個(gè)這樣的神經(jīng)元將是takeoff（其中一個(gè)類）。在定義神經(jīng)網(wǎng)絡(luò)時(shí)，所有這些連接都是隨機(jī)初始化的，因此神經(jīng)網(wǎng)絡(luò)將進(jìn)行隨機(jī)預(yù)測(cè)。在訓(xùn)練期間，我們?nèi)缓螳@取所有原始數(shù)據(jù)，要求網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，然后根據(jù)結(jié)果對(duì)權(quán)重進(jìn)行微小的更改（這就是標(biāo)記原始數(shù)據(jù)很重要的原因）。

這樣，經(jīng)過多次迭代，神經(jīng)網(wǎng)絡(luò)就會(huì)學(xué)習(xí)；并且最終將在預(yù)測(cè)新數(shù)據(jù)方面變得更好。

• 前往Transfer learning標(biāo)簽。
• 設(shè)置Number of training cycles至20、Learning rate至0.0005和Minimum confidence rating 至0.60。您可以使用這些值來調(diào)整訓(xùn)練模型的準(zhǔn)確性。

?

• 暫時(shí)將其他參數(shù)保留為默認(rèn)值，然后單擊Start training。
• 現(xiàn)在該Training Output部分被填充。

?

• 它顯示了網(wǎng)絡(luò)的準(zhǔn)確性和混淆矩陣。該矩陣顯示了網(wǎng)絡(luò)何時(shí)做出正確和不正確的決定。
• 它還顯示了此模型的預(yù)期設(shè)備性能。
• 現(xiàn)在我們已經(jīng)生成了模型，我們需要對(duì)其進(jìn)行測(cè)試。

==================================================== ===================

手勢(shì)模型測(cè)試

• 前往Model Testing標(biāo)簽。
• 我們可以在這里看到我們的訓(xùn)練數(shù)據(jù)集。單擊Classify all。

?

• 這將使用模型未知的訓(xùn)練數(shù)據(jù)生成模型驗(yàn)證結(jié)果。我們可以看到，我們的訓(xùn)練模型能夠以 100% 的準(zhǔn)確率進(jìn)行分類，考慮到在訓(xùn)練部分提供給模型的少量訓(xùn)練數(shù)據(jù)，這非常好。
• 它還顯示了錯(cuò)誤預(yù)測(cè)的標(biāo)簽。
• 通過檢查這些結(jié)果Feature explorer，我們可以了解是否有任何標(biāo)簽被錯(cuò)誤分類，并使用更多的訓(xùn)練數(shù)據(jù)來重新訓(xùn)練我們的模型，以便更好地分類這些數(shù)據(jù)。
• 您還可以通過選項(xiàng)卡對(duì)來自智能手機(jī)的數(shù)據(jù)進(jìn)行實(shí)時(shí)分類Live classification。您的設(shè)備應(yīng)在 下顯示為在線Classify new data。將 Sensor 設(shè)置為Camera，單擊Start sampling，開始采集樣本。

?

• 之后，您將獲得有關(guān)網(wǎng)絡(luò)認(rèn)為您所做的事情的完整報(bào)告。
• 現(xiàn)在我們已經(jīng)訓(xùn)練和測(cè)試了我們的模型，讓我們部署它。

==================================================== ===================

手勢(shì)模型部署

通過設(shè)計(jì)、訓(xùn)練和驗(yàn)證的沖動(dòng)，您可以將此模型部署回您的設(shè)備。這使得模型在沒有互聯(lián)網(wǎng)連接的情況下運(yùn)行，最大限度地減少延遲，并以最低的功耗運(yùn)行。Edge Impulse 可以將完整的脈沖（包括信號(hào)處理代碼、神經(jīng)網(wǎng)絡(luò)權(quán)重和分類代碼）打包到單個(gè) C++ 庫中，您可以將其包含在嵌入式軟件中。

• 前往Deployment標(biāo)簽。
• 選擇C++ library。
• 如果您需要構(gòu)建特定 Edge Impulse 支持的硬件，請(qǐng)?jiān)?/font>Build firmware選擇您的開發(fā)板下
• 單擊Build。這將導(dǎo)出沖動(dòng)，并構(gòu)建一個(gè)將在開發(fā)板上一步運(yùn)行的庫。
• 我們將看到一個(gè)彈出窗口，其中包含有關(guān)如何將模型部署到我們的設(shè)備的文本和視頻說明。

?

$ git clone https://github.com/crisdeodates/Tello_EI_vision_gesture_control
$ cd Tello_EI_vision_gesture_control
$ APP_CAMERA=1 make -j4

$ ./build/Tello_EI_vision_gesture_control 0