使用樹莓派的AI驅(qū)動(dòng)報(bào)警系統(tǒng)的制作

第1步：大計(jì)劃

在這個(gè)教學(xué)中我們將展示如何：

使用OpenCV和TensorFlow設(shè)置Raspberry Pi

通過(guò)長(zhǎng)USB電纜連接網(wǎng)絡(luò)攝像頭

編寫OpenCV算法以檢測(cè)運(yùn)動(dòng)

使用TensorFlow進(jìn)行對(duì)象檢測(cè)

在Raspberry Pi上設(shè)置Web服務(wù)器以顯示有趣的圖像

與IFTTT集成以在發(fā)現(xiàn)人時(shí)觸發(fā)移動(dòng)警報(bào)

將繼電器HAT連接到Raspberry Pi，并將其連接到可為水池添加水的電磁閥

將水位傳感器連接到Raspberry Pi并使用Pi的GPIO與其連接

寫一些代碼將它們粘合在一起

第2步：購(gòu)物清單

所有組件均可從亞馬遜購(gòu)買。隨意嘗試和交換組件 - 這是一半的樂(lè)趣！

Raspberry Pi

Raspberry Pi電源（不要在這里吝嗇）

記憶卡（越大越好）

案例（這個(gè)大到足以容納Pi和HAT）

USB網(wǎng)絡(luò)攝像頭（任何網(wǎng)絡(luò)攝像頭都可以，但你想要一個(gè)

USB延長(zhǎng)線（如果需要 - 測(cè)量Pi與攝像機(jī)放置位置之間的距離）

繼電器板HAT（這個(gè)有3個(gè)繼電器，我們只需要一個(gè)，但你很快就會(huì)發(fā)現(xiàn)其他用途?。?/p>

電磁閥

電磁閥配件1和配件2（這真的取決于你安裝螺線管，但這些對(duì)我有用）

電磁閥電源（任何24V AC都可以）

電纜（再次，幾乎任何2股電纜都可以 - 電流是最小）

水位浮動(dòng)開關(guān)（這只是一個(gè)例子，檢查可以輕松連接到游泳池的東西）

一些跳線和電線連接器

第3步：設(shè)置您的Raspberry Pi

格式化SD卡。這需要特別小心 - Raspberry Pi只能從FAT格式的SD卡啟動(dòng)。請(qǐng)遵循這些說(shuō)明。

將Raspberry Pi連接到USB鍵盤和鼠標(biāo)，再加上HDMI顯示器，并按照Raspberry Pi NOOBS教程中的說(shuō)明進(jìn)行操作。確保設(shè)置WiFi并啟用SSH訪問(wèn)。不要忘記為默認(rèn)的pi帳戶設(shè)置密碼。

在您的家庭網(wǎng)絡(luò)上為Raspberry Pi設(shè)置靜態(tài)IP - 這將使SSH更加容易。

確保您的臺(tái)式機(jī)/筆記本電腦上安裝了ssh客戶端。對(duì)于PC，我會(huì)推薦Putty，您可以從這里安裝。

將Raspberry Pi中的USB和HDMI取下，重新啟動(dòng)它，然后插入它 - 如果一切正常，你應(yīng)該看到這樣的東西：

Linux raspberrypi 4.14.98-v7+ #1200 SMP Tue Feb 12 20:27:48 GMT 2019 armv7l

The programs included with the Debian GNU/Linux system are free software;

the exact distribution terms for each program are described in the

individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY， to the extent

permitted by applicable law.

Last login： Mon May 13 10:41:40 2019 from 104.36.248.13

pi@raspberrypi：~ $

步驟4：設(shè)置OpenCV

OpenCV是一個(gè)用于計(jì)算機(jī)視覺(jué)的圖像處理功能的驚人集合。它將允許我們從網(wǎng)絡(luò)攝像頭讀取圖像，操縱它們以查找運(yùn)動(dòng)區(qū)域，保存它們等等。 Raspberry Pi上的安裝并不困難，但需要一些小心。

首先安裝virtaulenvwrapper：我們將使用python來(lái)完成所有的編程，virtualenv將幫助我們將OpenCV和TensorFlow的依賴關(guān)系分開Flask或GPIO：

pi@raspberrypi：~ $ sudo pip install virtualenvwrapper

現(xiàn)在您可以執(zhí)行“mkvirtualenv”來(lái)創(chuàng)建一個(gè)新環(huán)境，“workon”來(lái)處理它，等等。

所以，讓我們?yōu)槲覀兊膱D像處理創(chuàng)建一個(gè)環(huán)境，使用python 3作為默認(rèn)解釋器（它是2019年，沒(méi)有理由堅(jiān)持使用舊的python 2）：

pi@raspberrypi：~ $ mkvirtualenv cv -p python3

。..

（cv） pi@raspberrypi：~

我們現(xiàn)在準(zhǔn)備安裝OpenCV。我們將主要遵循Learn OpenCV中的優(yōu)秀教程。特別是按照他們的第1步和第2步：

sudo apt -y update

sudo apt -y upgrade

## Install dependencies

sudo apt-get -y install build-essential checkinstall cmake pkg-config yasm

sudo apt-get -y install git gfortran

sudo apt-get -y install libjpeg8-dev libjasper-dev libpng12-dev

sudo apt-get -y install libtiff5-dev

sudo apt-get -y install libtiff-dev

sudo apt-get -y install libavcodec-dev libavformat-dev libswscale-dev libdc1394-22-dev

sudo apt-get -y install libxine2-dev libv4l-dev

cd /usr/include/linux

sudo ln -s -f 。./libv4l1-videodev.h videodev.h

sudo apt-get -y install libgstreamer0.10-dev libgstreamer-plugins-base0.10-dev

sudo apt-get -y install libgtk2.0-dev libtbb-dev qt5-default

sudo apt-get -y install libatlas-base-dev

sudo apt-get -y install libmp3lame-dev libtheora-dev

sudo apt-get -y install libvorbis-dev libxvidcore-dev libx264-dev

sudo apt-get -y install libopencore-amrnb-dev libopencore-amrwb-dev

sudo apt-get -y install libavresample-dev

sudo apt-get -y install x264 v4l-utils

sudo apt-get -y install libprotobuf-dev protobuf-compiler

sudo apt-get -y install libgoogle-glog-dev libgflags-dev

sudo apt-get -y install libgphoto2-dev libeigen3-dev libhdf5-dev doxygen

sudo apt-get install libqtgui4

sudo apt-get install libqt4-test

現(xiàn)在我們可以使用

就是這樣！我們?cè)赗aspberry Pi上安裝了OpenCV，準(zhǔn)備捕獲照片和視頻，操作它們并且很酷。

通過(guò)打開python解釋器并導(dǎo)入opencv來(lái)檢查是否存在錯(cuò)誤：

pip install opencv-contrib-python

步驟5：設(shè)置TensorFlow

TensorFlow是由Google開發(fā)和維護(hù)的機(jī)器學(xué)習(xí)/人工智能框架。它為各種任務(wù)的深度學(xué)習(xí)模型提供了廣泛的支持，包括圖像中的對(duì)象檢測(cè)，現(xiàn)在在Raspberry Pi上安裝相當(dāng)簡(jiǎn)單。它在輕微Pi上的輕量級(jí)模型的性能大約是每秒1幀，這對(duì)于像我們這樣的應(yīng)用來(lái)說(shuō)非常合適。

我們基本上會(huì)遵循Edje Electronics的優(yōu)秀教程，通過(guò)以下方式進(jìn)行修改：更新的TensorFlow發(fā)行版：

（cv） pi@raspberrypi：~ $ python

Python 3.5.3 （default， Sep 27 2018， 17:25:39）

［GCC 6.3.0 20170516］ on linux

Type “help”， “copyright”， “credits” or “l(fā)icense” for more information.

》》》 import cv2

》》》

現(xiàn)在我們需要編譯Google的protobuf。只需按照相同優(yōu)秀教程的步驟4中的說(shuō)明進(jìn)行操作

最后，克隆并設(shè)置TensorFlow的模型定義 - 按照Edje Electronics教程中的步驟5進(jìn)行操作

隨意按照步驟中的步驟進(jìn)行操作同樣，它是對(duì)Raspberry Pi上物體檢測(cè)的一個(gè)很好的介紹。

步驟6：使用OpenCV進(jìn)行運(yùn)動(dòng)檢測(cè)

讓我們首先測(cè)試OpenCV是否可以與我們的網(wǎng)絡(luò)攝像頭連接：ssh進(jìn)入Raspberry Pi，轉(zhuǎn)移到cv virtualenv（workon cv） ），打開一個(gè)python解釋器（只需輸入python），然后輸入以下python命令：

pi@raspberrypi：~ $ workon cv

（cv） pi@raspberrypi：~ $ pip install tensorflow

（cv） pi@raspberrypi：~ $ sudo apt-get install libxml2-dev libxslt-dev

（cv） pi@raspberrypi：~ $ pip install pillow lxml jupyter matplotlib cython

（cv） pi@raspberrypi：~ $ sudo apt-get install python-tk

運(yùn)氣好的話，你會(huì)發(fā)現(xiàn)OpenCV能夠從攝像頭讀取高清幀。

您可以使用cv2.imwrite（path，frame）將該幀寫入磁盤并將其重新掃描以實(shí)際查看。

檢測(cè)運(yùn)動(dòng)的策略非常簡(jiǎn)單：

處理較低分辨率的幀 - 此處無(wú)需在全高清上運(yùn)行

此外，模糊圖像以確保盡可能少的噪點(diǎn)。

保持最后N幀的運(yùn)行平均值。對(duì)于此應(yīng)用，幀速率約為1 FPS（僅因?yàn)門ensorFlow每幀需要一些時(shí)間），我發(fā)現(xiàn)N = 60會(huì)返回良好的結(jié)果。并且由于仔細(xì)實(shí)現(xiàn)不會(huì)占用更多的CPU，而且可以使用更多的幀（它確實(shí)需要更多內(nèi)存 - 但是當(dāng)我們使用較低分辨率的幀時(shí)，這可以忽略不計(jì)）

從運(yùn)行中減去當(dāng)前圖像平均值（只需要小心輸入 - 你需要允許正值和負(fù)值［-255 。. 255］，所以幀需要轉(zhuǎn)換為int）

你可以在灰色上執(zhí)行減法 - 幀的轉(zhuǎn)換（和平均值），或者為每個(gè)RGB通道單獨(dú)進(jìn)行轉(zhuǎn)換，然后合并結(jié)果（這是我選擇的策略，使其對(duì)顏色變化敏感）

使用

最后查找具有三角形的區(qū)域的輪廓 - 這些區(qū)域是運(yùn)動(dòng)發(fā)生的位置，當(dāng)前圖像與先前圖像的平均值不同。如果需要，我們可以進(jìn)一步找到這些輪廓的邊界框。

我已經(jīng)在DeltaFinder python類中封裝了代碼來(lái)執(zhí)行此操作，您可以在我的github中找到它

步驟7：使用TensorFlow檢測(cè)對(duì)象

如果您已按照TensorFlow安裝程序進(jìn)行操作，則表明您已經(jīng)測(cè)試過(guò)安裝了TensorFlow并正常工作。

為了檢測(cè)一般室外場(chǎng)景中的人，在COCO數(shù)據(jù)集上預(yù)訓(xùn)練的模型表現(xiàn)相當(dāng)不錯(cuò) - 這正是我們?cè)赥ensorFlow安裝結(jié)束時(shí)下載的模型。我們只需要使用它進(jìn)行推理！

同樣，我已經(jīng)在TFClassify python類中封裝了模型加載和推理，以使事情變得更容易，你可以在這里找到。

步驟8：在Raspberry Pi上設(shè)置Web服務(wù)器

訪問(wèn)對(duì)象檢測(cè)結(jié)果的最簡(jiǎn)單方法是使用Web瀏覽器，所以讓我們來(lái)看看在Raspberry Pi上設(shè)置Web服務(wù)器。然后我們可以將其設(shè)置為從給定目錄提供圖片。

Web服務(wù)器框架有多個(gè)選項(xiàng)。我選擇了Flask。它非常易于配置，并且易于使用Python進(jìn)行擴(kuò)展。由于我們需要的“規(guī)模”是微不足道的，所以綽綽有余。

我建議將它安裝在一個(gè)新的virtualenv中，所以：

import cv2

cap = cv2.VideoCapture（0）

cap.set（cv2.CAP_PROP_FRAME_WIDTH， 1920）

cap.set（cv2.CAP_PROP_FRAME_HEIGHT， 1080）

ret， frame = cap.read（）

print（‘Read frame size： {}x{}’.format（frame.shape［1］， frame.shape［0］）

請(qǐng)注意，只要您的瀏覽器與Raspberry在同一個(gè)無(wú)線局域網(wǎng)上，只有正常的網(wǎng)絡(luò)設(shè)置才能訪問(wèn)它皮。您可以在Internet路由器上創(chuàng)建端口映射/NAT配置以允許外部訪問(wèn) - 但我建議不要這樣做。我寫的代碼并不試圖提供在允許對(duì)Raspberry Pi進(jìn)行一般Internet訪問(wèn)時(shí)所需的安全性。

按照Flask快速入門指南測(cè)試您的安裝

步驟9：來(lái)自Raspberry Pi的移動(dòng)通知使用IFTTT

我真的希望在事件發(fā)生時(shí)獲得移動(dòng)通知。在這種情況下，當(dāng)檢測(cè)到人并且水位變低時(shí)。我發(fā)現(xiàn)這樣做的最簡(jiǎn)單方法是使用IFTTT而不必編寫自定義移動(dòng)應(yīng)用程序。 IFTTT代表“If This Then That”并啟用多種類型的事件來(lái)觸發(fā)多種類型的操作。在我們的例子中，我們對(duì)IFTTT Maker Webhook觸發(fā)器感興趣。這允許我們通過(guò)向IFTTT服務(wù)器發(fā)出HTTP POST請(qǐng)求來(lái)觸發(fā)IFTTT操作，該請(qǐng)求具有分配給我們帳戶的特殊密鑰，以及指定發(fā)生的事件的數(shù)據(jù)。我們采取的行動(dòng)就像使用IFTTT移動(dòng)應(yīng)用程序在我們的移動(dòng)設(shè)備上創(chuàng)建通知一樣簡(jiǎn)單，或者比這更復(fù)雜的任何事情。

以下是如何做到這一點(diǎn)：

在ifttt.com上創(chuàng)建IFTTT帳戶

登錄后，轉(zhuǎn)到Webhook服務(wù)設(shè)置頁(yè)面并在瀏覽器中輸入U(xiǎn)RL（例如https://maker.ifttt.com/use/。該網(wǎng)頁(yè)將顯示您的密鑰和用于觸發(fā)操作的URL。

創(chuàng)建一個(gè)IFTTT小程序，當(dāng)Webhook被觸發(fā)時(shí)將生成移動(dòng)通知，其中包含事件的詳細(xì)信息：

單擊“我的小程序”，然后單擊“新小程序”。

單擊“+ this”并選擇“webhooks”。單擊“接收Web請(qǐng)求”以繼續(xù)查看詳細(xì)信息

為您的活動(dòng)命名，例如“PoolEvent”并點(diǎn)擊“創(chuàng)建觸發(fā)器”

點(diǎn)擊“+ that”并選擇“通知”。然后選擇“從IFTTT應(yīng)用程序發(fā)送豐富通知”

對(duì)于“標(biāo)題”選擇類似“PoolPi”的內(nèi)容

對(duì)于“消息”寫“Pool Pi檢測(cè)到：”并點(diǎn)擊“添加成分”。.“Value1”。

返回到您在步驟2中復(fù)制的URL。它將顯示用于調(diào)用新創(chuàng)建的applet的URL。復(fù)制該URL，將占位符{event}替換為事件名稱（在示例中為PoolEvent）

下載，安裝并登錄到IFTTT應(yīng)用程序移動(dòng)設(shè)備

在Raspberry Pi上運(yùn)行此python腳本以查看它是否正常工作（注意可能需要幾秒鐘或幾分鐘才能在您的移動(dòng)設(shè)備上觸發(fā)）：

pi@raspberrypi：~ $ mkvirtualenv webserv

（webserv）pi@raspberrypi： ~ $ pip install Flask

步驟10：向Raspberry Pi添加一個(gè)Relay HAT并將其連接到電磁閥

在繼續(xù)此步驟之前，請(qǐng)關(guān)閉Raspberry Pi：ssh并輸入“sudo shutdown now”，然后斷開電源

我們的目標(biāo)是打開和關(guān)閉電源電磁閥 - 一種閥門，可以根據(jù)電源提供的24V交流電源打開或關(guān)閉供水。繼電器是可以根據(jù)我們的Raspberry Pi可提供的數(shù)字信號(hào)打開或關(guān)閉電路的電子元件。我們?cè)谶@里做的是將繼電器連接到Raspberry Pi的這些數(shù)字信號(hào)引腳，并使其關(guān)閉24V AC電源和電磁閥之間的電路。

Raspberry Pi上的引腳可以充當(dāng)數(shù)字輸入或輸出的稱為GPIO - 通用輸入/輸出，它們是Pi側(cè)面的40個(gè)引腳的行。關(guān)閉Pi并將繼電器HAT牢牢插入其中。我選擇的HAT中有3個(gè)繼電器，我們只使用其中一個(gè)。想象一下你可以用其他兩個(gè)做的所有事情：）

現(xiàn)在重新打開Raspberry Pi。繼電器HAT上的紅色“電源”LED應(yīng)該亮起，表示它正從Pi通過(guò)GPIO獲得電源。讓我們測(cè)試一下我們可以控制它：再次進(jìn)入Pi進(jìn)入Pi，輸入python并輸入：

import requests

requests.post（‘https://maker.ifttt.com/trigger/PoolEvent/with/key/’， json={“value1”：“Hello Notifications”}）

您應(yīng)該聽到一聲“咔嗒”聲，表示繼電器正在使用，并看到一個(gè)LED亮起表示第一個(gè)繼電器處于連接位置。您現(xiàn)在可以輸入

import gpiozero

dev = gpiozero.DigitalOutputDevice（26， initial_value = True）

dev.off（）

這會(huì)將繼電器轉(zhuǎn)到“關(guān)閉”位置（奇怪，我知道。..。..）和從python退出（）。

現(xiàn)在使用跨接電纜和更長(zhǎng)的電纜連接24V電源和電磁閥之間的繼電器。見(jiàn)圖。最后，使用適配器將電磁閥連接到水龍頭，并通過(guò)重復(fù)上述命令準(zhǔn)備好測(cè)試它們 - 它們應(yīng)該打開和關(guān)閉水。

將軟管連接到電磁閥并放入另一端在游泳池深處。您現(xiàn)在有一個(gè)計(jì)算機(jī)控制的池頂關(guān)系統(tǒng)，是時(shí)候連接傳感器告訴它何時(shí)運(yùn)行。

步驟11：連接水位傳感器

水位傳感器只是一個(gè)浮子，當(dāng)浮子是浮子時(shí)連接電路向下，當(dāng)它漂浮時(shí)打破它。如果將其插入池中正確的高度，當(dāng)水位足夠時(shí)，浮子將上升，但當(dāng)水量不足時(shí)，浮子會(huì)下降。

為了讓Raspberry Pi了解水位傳感器的狀態(tài)，我們需要Pi來(lái)感應(yīng)開路或閉路。幸運(yùn)的是，這很簡(jiǎn)單：我們用作控制繼電器的數(shù)字輸出的相同GPIO連接器可以作為輸入（因此GPIO中的I）。具體來(lái)說(shuō)，如果我們將傳感器的一根導(dǎo)線連接到GPIO連接器上的+ 3.3V，另一根傳感器導(dǎo)線連接到我們配置為下拉輸入的引腳（意味著它通常處于GND電壓電平），該引腳將測(cè)量?jī)H當(dāng)水位傳感器關(guān)閉電路時(shí) - 水位低時(shí)，才會(huì)產(chǎn)生數(shù)字“高”或“開”電壓。我使用GPIO引腳16作為輸入，我在上圖中標(biāo)記了它。

將引腳配置為輸入并測(cè)試其當(dāng)前狀態(tài)的python代碼是：

dev.on（）

一個(gè)潛在的挑戰(zhàn)是，當(dāng)傳感器剛剛改變狀態(tài)時(shí)，它將在開啟和關(guān)閉狀態(tài)之間快速振蕩。解決方案被稱為“去抖動(dòng)”，并在采取行動(dòng)之前尋找一致的狀態(tài)變化。 GPIOZERO庫(kù)有代碼可以執(zhí)行此操作，但由于某些原因，代碼對(duì)我來(lái)說(shuō)效果不佳。我寫了一個(gè)簡(jiǎn)單的循環(huán)，當(dāng)檢測(cè)到一致的狀態(tài)變化時(shí)觸發(fā)IFTTT警報(bào)，您可以在我的存儲(chǔ)庫(kù)中找到它。

步驟12：編寫代碼將所有內(nèi)容綁定在一起

就是這樣。我們的設(shè)置已經(jīng)完成。您可以編寫自己的代碼將事物組合到一個(gè)完整的系統(tǒng)中，或者使用我提供的代碼。要做到這一點(diǎn)，只需創(chuàng)建目錄結(jié)構(gòu)并克隆存儲(chǔ)庫(kù)，如下所示：

import gpiozero

level_input = gpiozero.Button（16）

water_low = level_input.is_pressed

接下來(lái)，編輯motion_alert和water_level目錄中名為ifttt_url.txt的文件，以獲得您自己的URL使用您的密鑰進(jìn)行IFTTT Web掛鉤。您可以使用兩個(gè)不同的Web掛鉤進(jìn)行不同的操作。

最后，我們希望此代碼自動(dòng)運(yùn)行。實(shí)現(xiàn)這一目標(biāo)的最簡(jiǎn)單方法是通過(guò)Linux crontab服務(wù)。我們可以為兩個(gè)主要任務(wù)添加一些crontab行：

運(yùn)行我們的三個(gè)程序：每次重啟時(shí)對(duì)象檢測(cè)器，水位傳感器和Web服務(wù)器

清理輸出目錄，刪除舊圖片和舊視頻文件（我選擇刪除文件超過(guò)1天且超過(guò)7天的圖片 - 隨意進(jìn)行實(shí)驗(yàn)）

要執(zhí)行此類型的crontab -e，它將打開您的納米文本編輯器。將以下行添加到文件的底部：

mkdir poolpi

cd poolpi

git clone https://github.com/rafitzadik/PoolPiGuy.git

最后，重新啟動(dòng)Raspberry Pi。它現(xiàn)在已準(zhǔn)備好讓您的游泳池充滿安全。