熱面部檢測器開源分享

描述

介紹

在這個項目中，我構建了一個設備，該設備可用于從熱像儀讀數中檢測面部，并可以通過推斷面部皮膚溫度來準確測量人的溫度。如果檢測到高溫，人們可以使用他們的智能手機掃描二維碼（顯示在屏幕上）以獲取更多信息。此外，還會顯示當地求助熱線電話號碼，該人可以聯系以進行查詢。

主要特點

• 非接觸式
• 易于大規(guī)模使用、復制和部署
• 低成本
• 開源
• 用戶隱私
• 對發(fā)展中國家友好
• 準確性
• 速度

設備選擇

balenaFin v1.0 套件與 Raspberry PI Compute Module 3+ 一起使用。

?

Gameduino 3 shield 用作顯示器。對于熱像儀 Pimoroni MLX90640 傳感器，其分辨率為 32x24 像素。

?

連接圖可在原理圖部分獲得。

設備設置

要使用容器在 balenaFin 上設置應用程序，我們需要注冊并登錄 balenaCloud。登錄后，我們可以通過單擊顯示如下表單的創(chuàng)建應用程序按鈕來創(chuàng)建應用程序。我們應該選擇Balena Fin (CM3)作為Default device type和Starter作為Application type 。

?

單擊創(chuàng)建的應用程序鏈接，然后單擊添加設備按鈕后，我們可以填寫設備信息。我們應該選擇Development作為版本，并選擇帶有 ssid 和密碼的 Wifi + E以太網連接用于家庭/工作路由器。

?

?

我們現在可以通過單擊底部的按鈕來下載 balenaOS。

要將 balenaOS 刷入 balenaFin，我們可以使用 balenaEcther，可以從這里下載https://www.balena.io/etcher。我們應該使用 USB 電纜將計算機連接到 balenaFIn 并連接電源適配器。

?

刷機完成后，我們應該拔下 USB 線并斷開/重新連接電源適配器。幾分鐘后，我們應該能夠在 balenaCloud 儀表板中看到該設備。

?

MLX90640 傳感器使用 I2C 獲取熱讀數。為了快速讀取數據，我們應該在設備配置中更新將 DT 參數定義為“i2c_arm=on”、“spi=on”、“audio=on”、“i2c1_baudrate=1000000” 。

部署

我們現在可以將應用程序容器部署到設備上。我們將啟用本地模式，如下所示，以便我們可以使用 balena CLI（一個命令行工具）與 balenaCloud 交互以進行快速開發(fā)和部署。balena CLI 安裝說明可以在這里找到https://github.com/balena-io/balena-cli/blob/master/INSTALL.md 。

?

以下是部署命令。

$ balena login
$ git clone https://github.com/metanav/thermal_face_detection
$ cd thermal_face_detection
$ sudo balena scan
Reporting scan results
-
host: df0925a.local

$ balena push df0925a.local

Dockerfile 中提到了所有先決條件和依賴項，該文件可以在上面克隆的存儲庫的根目錄中找到。一切都會自動安裝并部署到目標設備。

人臉檢測的模型選擇

公共領域可用的深度學習模型主要用于照相機拍攝的圖像。通常他們需要配備顯卡或神經網絡加速器的高端計算機才能以高幀速率運行。對于這個項目，我想保持低成本，但仍然開發(fā)一種可以以相當快的速度準確使用的設備。為此目的，使用了 BlazeFace 模型，該模型在低分辨率熱像儀圖像中檢測人臉時表現出相當高的準確性。該模型與默認的訓練權重一起使用，無需對熱圖像進行任何遷移學習。

應用程序開發(fā)

主應用程序有兩個部分。第一部分是用 Python 3 編寫的，主要是關于從熱像儀獲取數據并進行人臉檢測和溫度測量。第二部分是用 C 語言編寫的，主要用于處理 Gameduino 3 TFT 顯示器以顯示熱圖像和信息。該代碼可在代碼部分中提到的 Github 存儲庫中獲得。

在設備上進行推理

BlazeFace TensorFlow Lite 模型是從https://github.com/google/mediapipe 下載的。TensorFlow Lite Runtime Python API 用于在設備上運行推理。

演示

人臉檢測（常溫）

帶口罩的人臉檢測（常溫）

人臉檢測（高溫）

共同利益的用例

它是一種易于使用的低功耗設備，可以安全使用，因為所有操作都是非接觸式和離線的。該設備不使用照相機來檢測人臉，而是使用熱傳感器生成熱圖像并使用現成的本地部署深度學習模型檢測人臉。使用此設備沒有隱私威脅，因為它不會捕獲用戶的任何真實圖像，也不會將任何數據發(fā)送到云或任何其他位置。互聯網連接僅用于部署和更新。該設備可以安裝在商場、學校和辦公室。此外，在發(fā)展中國家，該設備可用于電力和互聯網稀缺的貧困地區(qū)。在這些區(qū)域，它可以使用電池進行操作，并且可以在安裝前進行部署。

改進范圍

通過使用熱像儀圖像進行遷移學習，可以進一步提高人臉檢測的準確性。目前該設備只顯示英文信息，可以支持多國語言。幫助熱線電話號碼和二維碼 URL 是針對我所在地區(qū)的硬編碼，但它可以基于設備的地理位置，并且可以使用balenaCloud 中的設備環(huán)境變量進行設置。

所有說明都可以在代碼部分提到的 Github 存儲庫中找到。我要感謝Hackster.io和本次比賽的所有贊助商，感謝 Balena 提供 balenaFin 開發(fā)工具包。