使用Azure和Nvidia Jetson的智能閉路電視

描述

概述

在本文中，我們將描述使用 Microsoft Azure 服務(wù)和 Nvidia Jetson 硬件創(chuàng)建智能閉路電視系統(tǒng)的過程。我們將使用這些數(shù)據(jù)來跟蹤系統(tǒng)的執(zhí)行情況，并提供一些想法來增強(qiáng)和改進(jìn)整體解決方案。

軟件

• 視覺工作室代碼
• 1x Azure 訂閱（可免費(fèi)試用）

（可選）將 IP 攝像機(jī)記錄發(fā)布到 Microsoft Azure Linux VM

我們需要做的第一件事是確保我們的攝像頭系統(tǒng)可以將記錄正確保存在云端。我們將以允許我們定期備份長達(dá)一個(gè)月的記錄的方式來執(zhí)行此操作，從而在必要時(shí)為恢復(fù)鏡頭留出充足的時(shí)間。如果您使用的不是支持 RTSP 的 IP 攝像機(jī)，則可以跳過此部分。

我們將從部署 Azure Linux VM 開始。從技術(shù)上講，您選擇什么發(fā)行版并不重要，只要您現(xiàn)在如何安裝以下軟件包即可。我們假設(shè)您使用的是基于 Debian 的發(fā)行版，例如示例中的 Ubuntu。

1.) 創(chuàng)建并通過 ssh 連接到一個(gè)新的 Azure Linux VM 實(shí)例

2.) 安裝 vsftpd:

sudo apt-get install vsftpd  

3.) 為本地用戶訪問和 PASV 模式配置 vsftpd：

sudo nano /etc/vsftpd.conf   

確保將以下選項(xiàng)設(shè)置為禁用匿名登錄允許本地用戶訪問/寫入權(quán)限

# Allow anonymous FTP? (Disabled by default).  
anonymous_enable=NO  
#  
# Uncomment this to allow local users to log in.  
local_enable=YES  
#  
# Uncomment this to enable any form of FTP write command.  
write_enable=YES  

接下來，將以下內(nèi)容添加到 /etc/vsftpd.conf 的最頂部，確保替換占位符值 <>

listen_port= port here>  
pasv_enable=YES  
pasv_max_port= port number here>  
pasv_min_port= port number here>  
pasv_addr_resolve=YES  
pasv_address=

listen_port 應(yīng)該是一個(gè)沒有被其他服務(wù)使用的端口號(hào)，類似地，用于 psv_max_port 和 pasv_min_port 的端口范圍不應(yīng)該被使用。建議為 psv_max_port 和 pasv_min_port 使用不超過 10 個(gè)端口的范圍。這將允許您為其他服務(wù)保留端口，但會(huì)將您的最大 ftp 連接數(shù)限制為 10，請(qǐng)根據(jù)您的用例進(jìn)行調(diào)整。

您的VMDomain.cloudapp.net的完整 DNS可以在 Azure 門戶中虛擬機(jī)的概述部分獲得。如果您已配置解析到您的 VM 的自定義 DNS，您也可以在此處使用該值。

配置完成后，重啟服務(wù)：

sudo service vsftpd restart  

4.) 允許流量進(jìn)出 Azure 網(wǎng)絡(luò)安全組中的 FTP 服務(wù)

在 Microsoft Azure 門戶中，找到您的 VM 的網(wǎng)絡(luò)安全組并創(chuàng)建一個(gè)新規(guī)則以允許來自之前配置的 listen_port 的流量。例如，如果您選擇端口 7001，它將如下所示：

接下來，對(duì) psv_max_port 和 pasv_min_port 范圍執(zhí)行相同的操作。例如，如果您選擇 pasv_min_port = 10050 和 psv_max_port = 10060

?

5.) 配置攝像頭通過 FTP 將記錄發(fā)布到 Azure VM

注意：根據(jù)您選擇的相機(jī)，可用選項(xiàng)可能會(huì)有所不同。

我們將首先登錄我們的 Foscam 相機(jī)，選擇“設(shè)置”=>“網(wǎng)絡(luò)”=>“FTP 設(shè)置”

填寫適當(dāng)?shù)闹挡⑦x擇測(cè)試，注意在FTP服務(wù)器連接中指定Camera目錄。這是存儲(chǔ)攝像機(jī)記錄的位置。

。

運(yùn)行以下命令：

crontab -e  

并為有問題的相機(jī)添加以下行：

@daily find /home/myuser/Camera/* -type f -mtime +8 -exec rm {} \;   

7.) 在 Azure 中為 Linux VM 配置計(jì)劃備份

導(dǎo)航到您的 VM 的概述并選擇“備份”，這將為您提供用于配置 VM 的計(jì)劃備份的選項(xiàng)。您的用例可能會(huì)有所不同，但這對(duì)我來說非常有用，讓我晚上睡得很舒服 =)

下面提供了一個(gè)示例備份策略配置：

將對(duì)象檢測(cè)添加到我們的相機(jī)提要中

我們之前使用備份策略將我們的攝像機(jī)源設(shè)置為記錄到 Microsoft Azure 中，以確保過去的記錄可以使用大約 1 個(gè)月。

如果您使用的是受支持的 Foscam 相機(jī)，您需要確保能夠連接到它的 RTSP 流。

話雖如此，請(qǐng)繼續(xù)閱讀 @ https://github.com/toolboc/IntelligentEdgeHOL提供的自述文件，并在完成這些步驟并驗(yàn)證對(duì)象檢測(cè)正在攝像頭流上運(yùn)行后返回本文。

啟動(dòng)并運(yùn)行流后，您應(yīng)該能夠開始以每秒 10 幀左右的速度檢測(cè)80 個(gè)受支持的對(duì)象，這對(duì)于 100 美元的設(shè)備來說還不錯(cuò)！

將檢測(cè)到的對(duì)象數(shù)據(jù)推送到 Azure 時(shí)序見解中

現(xiàn)在我們有能力在我們的攝像頭源中檢測(cè)對(duì)象，讓我們將它推送到一個(gè)服務(wù)中，這將使我們能夠輕松地挖掘數(shù)據(jù)以對(duì)我們的結(jié)果進(jìn)行分析。Azure 時(shí)序見解旨在存儲(chǔ)、可視化和查詢大量時(shí)序數(shù)據(jù)，例如 IoT 設(shè)備生成的數(shù)據(jù)。如果您想在云中存儲(chǔ)、管理、查詢或可視化時(shí)間序列數(shù)據(jù)，Time Series Insights 可能適合您。

這將使我們能夠提取一些基本的見解，這些見解可能使我們能夠構(gòu)建更有趣的東西。例如，想象一下，當(dāng)郵車實(shí)際停在車道上時(shí)收到警報(bào)，使用國家公園管理局的攝像頭輸入來計(jì)算野生動(dòng)物的種類，或者能夠分辨出人們?cè)谒麄儾粦?yīng)該在的地方并隨著時(shí)間的推移對(duì)他們進(jìn)行計(jì)數(shù)！

首先轉(zhuǎn)到 Azure 并導(dǎo)航到您在上一步中創(chuàng)建的資源組。此資源組應(yīng)包含一個(gè) IoT 中心實(shí)例。將新的時(shí)序見解環(huán)境添加到資源組中，并選擇適當(dāng)?shù)膶舆M(jìn)行部署。

接下來，將事件源配置為指向您在上一步中創(chuàng)建的 IoT 中心，并確保為其創(chuàng)建一個(gè)新的 IoT 中心使用者組。

實(shí)例部署完成后，您可以轉(zhuǎn)到時(shí)間序列見解門戶，您可以在其中開始處理檢測(cè)到的對(duì)象數(shù)據(jù)。

您會(huì)注意到我的相機(jī)提要在晚上產(chǎn)生了零結(jié)果。

例如，在這個(gè)視圖中，一個(gè)或多個(gè)人似乎很可能在 7 月 16 日中午 12:35 左右出現(xiàn)在攝像機(jī)的視野中

讓我們卷磁帶吧！

同樣，如果我們將查詢調(diào)整到更寬一點(diǎn)的范圍，我們可以看到過去一小時(shí)內(nèi)車道上似乎有 3 輛車經(jīng)過。我想這種類型的數(shù)據(jù)對(duì)停車場(chǎng)或城市規(guī)劃者可能非常有用。

結(jié)論

我們已經(jīng)演示了如何使用Microsoft Azure 中的虛擬機(jī)來設(shè)置閉路電視系統(tǒng)，以便在異地存儲(chǔ)記錄。然后，我們通過使用相對(duì)便宜的Nvidia Jetson Nano設(shè)備分析相機(jī)流上的幀來檢測(cè)提要中的對(duì)象并通過在設(shè)備上運(yùn)行特殊的Azure IoT Edge模塊將它們發(fā)布到Azure IoT Hub來增強(qiáng)該系統(tǒng)。這使我們能夠使用 GPU 加速以每秒大約 10 幀的速度執(zhí)行對(duì) 80 個(gè)獨(dú)特對(duì)象的檢測(cè)。最后，我們將該數(shù)據(jù)推送到Azure Time Series Insights實(shí)例中以對(duì)我們的數(shù)據(jù)執(zhí)行分析。

可以理解，此內(nèi)容可能并非特定于您的用例，但我希望它有助于創(chuàng)建旨在部署在“邊緣”環(huán)境中的類似物聯(lián)網(wǎng)解決方案。我們已經(jīng)確定了對(duì)象檢測(cè)算法的一些問題，但重要的是要注意它總是可以重新訓(xùn)練或用更合適的東西替換。一旦我們擁有能夠準(zhǔn)確檢測(cè)我們感興趣的內(nèi)容的 AI 服務(wù)，我們已經(jīng)表明，您可以通過利用時(shí)間序列見解等服務(wù)快速深入了解收集的數(shù)據(jù)點(diǎn)，從而非常輕松地提取見解。因此，我們已經(jīng)解決了很多大的一般性問題，這些問題應(yīng)該有助于開發(fā)更具體的東西。

如果你喜歡這個(gè)內(nèi)容并想了解我最新項(xiàng)目的最新信息，你可以在 Twitter 上關(guān)注我@pjdecarlo。

我總是有興趣了解其他人如何解釋這些內(nèi)容以供自己使用。如果您有任何很棒的想法來增強(qiáng)此項(xiàng)目或受此內(nèi)容啟發(fā)的您自己的想法，請(qǐng)?jiān)谠u(píng)論中分享。

下次見，祝黑客愉快！