使用Home Assistant進(jìn)行TensorFlow對象檢測

描述

介紹

警告：目前 Home Assistant 中的 Tensorflow 集成存在問題，這是由于在多個(gè)平臺上支持 Tensorflow 的復(fù)雜性而出現(xiàn)的。除非您對調(diào)試安裝問題非常有信心，否則我不建議您嘗試遵循本指南。另請注意，Hassbian 不再由 Home Assistant 維護(hù)。

TensorFlow是一種流行的開源機(jī)器學(xué)習(xí)框架，可用于圖像處理中的廣泛應(yīng)用，特別是用于對象檢測。家庭自動(dòng)化項(xiàng)目中有許多對象檢測應(yīng)用，例如在攝像頭輸入中定位車輛或?qū)櫸锏葘ο?，然后根?jù)這些對象的存在執(zhí)行操作（使用自動(dòng)化）。Home-Assistant是一個(gè)流行的開源 Python 3 家庭自動(dòng)化平臺，可以在 Raspberry Pi 上運(yùn)行。TensorFlow 對象檢測在一些設(shè)置后可在 Home-Assistant 中使用，允許人們在他們的家庭自動(dòng)化項(xiàng)目中開始使用對象檢測，而無需大驚小怪。Home-Assistant 文檔提供了開始使用 TensorFlow的說明對象檢測，但所描述的過程比典型的家庭助手組件要復(fù)雜一些。如文檔所述，此組件需要下載文件，在您的計(jì)算機(jī)上編譯，并添加到 Home Assistant 配置目錄。我在 GitHub 上托管了一些代碼來簡化設(shè)置過程，本指南將介紹熟悉的 Raspberry Pi 硬件上的簡化設(shè)置過程。

家庭助理設(shè)置

我在 Raspberry Pi 4 上使用 Home-Assistant 0.98 版的 Hassbian 部署，但請注意，其他 Home-Assistant 部署的步驟應(yīng)該相同（警告，Hassio 還不允許安裝 TensorFlow，所以不要嘗試它）。關(guān)于硬件的說明，TensorFlow 模型需要大約 1 GB 的 RAM，因此雖然可以在 RPI3 上運(yùn)行，但體驗(yàn)太差了，我什至不建議嘗試。作為最低要求，我推薦具有 > 2GB RAM 的 RPI4。

有關(guān)設(shè)置的更多信息，請參閱Hassbian 文檔，但基本過程是：

• 將 Hassbian 磁盤映像閃存到 SD 卡（我使用Etcher ）
• 將您的 Wifi 憑據(jù)添加到 SD 卡上的文本文件中
• 將 SD 卡插入您的 Pi
• 插入鍵盤并顯示到 Pi 以監(jiān)控安裝過程

您可以通過連接到 Pi 的鍵盤來完成整個(gè) TensorFlow 設(shè)置，但我建議通過 Hassbian 腳本安裝Cloud9 Web IDE。此 IDE 允許您從網(wǎng)絡(luò)上的任何計(jì)算機(jī)通過 Home-Assistant 前端執(zhí)行 TensorFlow 設(shè)置過程。按照此處的說明安裝 Cloud9 ，然后導(dǎo)航到http://hassbian.local:8181您現(xiàn)在可以使用面板 iframe在 Home-Assistant GUI 上顯示 Cloud9 IDE ，通過添加到 Home-Assistant configuration.yaml文件進(jìn)行配置（通過 Cloud9 IDE 編輯）：

panel_iframe:    
cloud9:    
  title: cloud9    
  icon: mdi:wrench    
  url: http://hassbian.local:8181/ide.html

編輯文件后，最好使用配置驗(yàn)證工具。要使用它，從側(cè)面板，配置 -> 常規(guī) -> 檢查配置（在配置驗(yàn)證下））。

?

圖 1. 顯示 OK 配置的配置驗(yàn)證工具。

?

如果您從配置檢查工具中獲得確定，則需要重新啟動(dòng) Home-Assistant 以使更改生效（從側(cè)面板配置 -> 常規(guī) -> 重新啟動(dòng)（在服務(wù)器管理下））。重新啟動(dòng)時(shí)，您應(yīng)該看到以下內(nèi)容：

?

圖 2. 通過 Panel iframe 在 HA 前端查看的 Cloud9 IDE 插件。

?

TensorFlow 設(shè)置

確保您正在運(yùn)行 Home-Assistant 的最新版本。我建議您閱讀TensorFlow 組件文檔以了解設(shè)置過程，但在本指南中，我們跳過了幾個(gè)步驟，因?yàn)槲以?GitHub 上提供了所需的代碼。

第 1 步：安裝 TensorFlow。我們需要 TensorFlow 可用于 Home-Assistant。從 Cloud9 IDE 中的命令行：

• sudo apt-get install libatlas-base-dev libopenjp2-7 libtiff5
• 從 Pi 切換到 homeassistant 用戶 ->sudo -u homeassistant -H -s
• 激活homeassistant python環(huán)境->cd /srv/homeassistant/然后source bin/activate
• 從 pypi -> 安裝 tensorflow pip3 install tensorflow==1.13.2（檢查當(dāng)前版本要求）

第 2 步：從我的 GitHub 獲取 TensorFlow 需要的文件。在任何計(jì)算機(jī)上，導(dǎo)航到：https ://github.com/robmarkcole/tensorflow_files_for_home_assistant_component并下載 ZIP 文件或克隆存儲庫。使用 Cloud9 IDE 將tensorflow/object_detection存儲庫中的文件夾復(fù)制到 Home-Assistant 的配置文件夾中。生成的文件夾結(jié)構(gòu)如圖 2 所示。

第 3 步：為目標(biāo)檢測選擇合適的模型。我給這個(gè)步驟一個(gè)單獨(dú)的部分。

型號選擇

TensorFlow“模型”是具有擴(kuò)展名的二進(jìn)制文件，.pb其中包含 TensorFlow 將用于執(zhí)行對象檢測的神經(jīng)網(wǎng)絡(luò)的權(quán)重。這是您無需擔(dān)心的細(xì)節(jié)，但需要的是選擇合適的模型并將其放置在配置目錄中。正如組件文檔所建議的那樣，互聯(lián)網(wǎng)上有一系列可用的模型，或者您甚至可以創(chuàng)建自己的模型。一般來說，模型的準(zhǔn)確性和速度之間需要權(quán)衡取舍。由于 Raspberry Pi 的 CPU 和 RAM 有限，我們應(yīng)該選擇輕量級的型號，例如為手機(jī)設(shè)計(jì)的型號。TensorFlow 模型動(dòng)物園提供可下載模型的列表，因此請導(dǎo)航至動(dòng)物園自述文件并選擇模型。在這里，我們將遵循文檔建議并選擇ssd_mobilenet_v2_coco模型。從命令行，并注意到我們?nèi)栽谑褂?/font>homeassistant用戶配置文件：

TENSORFLOW_DIR="/home/homeassistant/c9workspace/homeassistant/tensorflow"    
cd $TENSORFLOW_DIR    
curl -OL http://download.tensorflow.org/models/object_detection/ssd_mobilenet_v2_coco_2018_03_29.tar.gz    
tar -xzvf ssd_mobilenet_v2_coco_2018_03_29.tar.gz

請注意，我們設(shè)置環(huán)境變量TENSORFLOW_DIR以確保將下載的文件放在本文中配置說明所需的位置。現(xiàn)在我們有一個(gè)可用的模型文件，我們可以配置 TensorFlow 組件。

TensorFlow 組件配置

您將需要一個(gè)相機(jī)源來提供圖像。我只是設(shè)置了一個(gè)local_file 相機(jī)，但您可以使用任何相機(jī)源。請注意您的相機(jī)的 entity_id（我的是camera.local_file）并將以下內(nèi)容添加到您的 configuration.yaml 文件中：

image_processing:    
 - platform: tensorflow    
   scan_interval: 20000    
   source:    
     - entity_id: camera.local_file    
   model:    
     graph: /home/homeassistant/c9workspace/homeassistant/tensorflow/ssd_mobilenet_v2_coco_2018_03_29/frozen_inference_graph.pb

再次檢查您的配置更改是否有效并重新啟動(dòng) Home-Assistant。

TensorFlow 組件使用

現(xiàn)在是有趣的部分，使用 TensorFlow 組件！請注意，在重新啟動(dòng)時(shí) Home-Assistant 將在其日志中發(fā)出有關(guān)未安裝 OpenCV 的警告，您可以忽略此，因?yàn)?TensorFlow 可以改用 Pillow。另請注意，我們進(jìn)行了配置scan_interval: 20000，這意味著 TensorFlow 圖像處理不會(huì)自動(dòng)執(zhí)行（默認(rèn)每 10 秒一次），而是僅在我們通過調(diào)用scan服務(wù)觸發(fā)它時(shí)執(zhí)行，您可以從 Home-Assistant 前端的服務(wù)開發(fā)人員工具中執(zhí)行此操作. 下圖向您展示了 TensorFlow 組件如何顯示其結(jié)果：

執(zhí)行掃描后

?

?

查看 TensorFlow 檢測數(shù)據(jù)。模型正確識別了這只狗。

?

您現(xiàn)在可以在 Home-Assistant自動(dòng)化中使用對象檢測數(shù)據(jù)。Home-Assistant論壇是獲取自動(dòng)化想法的好地方，請查看。

概括

在本文中，我們介紹了設(shè)置 Home-Assistant 以使用 TensorFlow 執(zhí)行對象檢測的過程，然后在相機(jī)圖像上執(zhí)行對象檢測。希望這將使您能夠以最小的麻煩將尖端的 AI 技術(shù)投入到您的家庭自動(dòng)化項(xiàng)目中的生產(chǎn)中。

故障排除

• 當(dāng)我使用 Tensorflow 時(shí)，Home-Assistant 崩潰了，為什么？您可能沒有足夠的可用內(nèi)存，因?yàn)槟Ｐ托枰s 1 GB 的 RAM。終止 pi 上的一些進(jìn)程，然后重試

使用碼頭工人？

社區(qū)成員創(chuàng)建了輪子以在此處的 Alpine linux docker 容器中安裝 tensorflow