ASMAv2與OpenVINO的開(kāi)源項(xiàng)目

描述

靈感

幾年來(lái)，我們一直在制造和飛行無(wú)人機(jī)。

我們?cè)?DJI Tello 的基礎(chǔ)上構(gòu)建了一個(gè)初級(jí)版本來(lái)測(cè)試它的可行性，它運(yùn)行良好。

我們現(xiàn)在有一個(gè)穩(wěn)定的 2.0 版本的飛行，并正在努力獲得自主能力。

我們是如何建造的

該應(yīng)用程序的核心使用卷積神經(jīng)網(wǎng)絡(luò)來(lái)檢測(cè)行人。我們正在努力添加更多模型，但截至目前，我們使用來(lái)自英特爾 OpenVINO 模型動(dòng)物園的預(yù)訓(xùn)練 SSD MobileNet V2 person-detector-retail-0013，該模型在 MS COCO 數(shù)據(jù)集上進(jìn)行了訓(xùn)練以進(jìn)行概念驗(yàn)證。我們提取該模型的“人”類作為行人檢測(cè)器。

在輸出視圖中，提供了一些數(shù)據(jù)可視化，以便用戶更好地了解物理距離措施的實(shí)施情況。數(shù)據(jù)分析和可視化可以幫助決策者識(shí)別高峰時(shí)段，檢測(cè)高風(fēng)險(xiǎn)區(qū)域，并采取有效行動(dòng)，盡量減少違反社交距離的行為。

移動(dòng)代理由自主無(wú)人機(jī)組成。該無(wú)人機(jī)體積小、結(jié)構(gòu)緊湊，可裝入 250mm*250mm*350mm 的立方體中。板載 Raspberry Pi 與 4G 模塊相結(jié)合，可實(shí)現(xiàn)遠(yuǎn)程操作。該系統(tǒng)使用 rosbridge 和 roslibjs 來(lái)設(shè)置遠(yuǎn)程終端，幫助我們通過(guò)網(wǎng)絡(luò)瀏覽器與無(wú)人機(jī)進(jìn)行通信。帶有 Ardupilot 自動(dòng)駕駛儀堆棧的 UBlox 7M GPS 模塊可實(shí)現(xiàn)自主導(dǎo)航。

OpenVINO 用法

該項(xiàng)目的深度學(xué)習(xí)推理是在 OpenVINO 的幫助下完成的，從而將推理轉(zhuǎn)移到英特爾神經(jīng)計(jì)算棒上。為了使系統(tǒng)擴(kuò)展，我們可以使用英特爾 MYRIAD FPGA 并且仍然能夠使用相同的代碼。

安裝說(shuō)明

Github 存儲(chǔ)庫(kù)中詳細(xì)提供了所有安裝步驟。

我們遇到的挑戰(zhàn)

最初，由于 COVID19 實(shí)施的封鎖導(dǎo)致物流延遲，導(dǎo)致零件到達(dá)延遲，我們很難設(shè)置無(wú)人機(jī)。在所有部件到貨后，我們花了將近 2 天的時(shí)間讓無(wú)人機(jī)完全穩(wěn)定地飛行。自行設(shè)計(jì)的框架首先使用 PLA 和 FDM 制造。這沒(méi)有我們希望的力量。制造周期進(jìn)行了幾次迭代，并且由于大流行而進(jìn)一步延遲。

在計(jì)算領(lǐng)域，我們最初從 Raspberry Pi 4 獲得的結(jié)果非常糟糕，例如低 FPS 輸出。因此，為了實(shí)現(xiàn)邊緣計(jì)算，我們將英特爾神經(jīng)計(jì)算機(jī)棒與 OpenVINO 結(jié)合在一起。現(xiàn)在性能要快得多。

我們學(xué)到了什么

構(gòu)建這個(gè)項(xiàng)目幫助我們獲得了開(kāi)發(fā)自主系統(tǒng)的實(shí)踐經(jīng)驗(yàn)，這在以前僅限于模擬。在此開(kāi)發(fā)過(guò)程中還獲得了各種制造技術(shù)和組裝技能。我們還學(xué)會(huì)了比較各種可用的硬件，并根據(jù)我們的應(yīng)用和限制做出適當(dāng)?shù)倪x擇。

ASMA 的下一步是什么

我們項(xiàng)目的美妙之處在于，這可以很容易地在閉路電視系統(tǒng)上實(shí)現(xiàn)，以準(zhǔn)確監(jiān)控和跟蹤商場(chǎng)、公園和街道等擁擠場(chǎng)所的人員。這可以作為即插即用設(shè)備輕松實(shí)現(xiàn)，在 COVID 情況結(jié)束后，可以轉(zhuǎn)換為基于 AI 的監(jiān)視系統(tǒng)。