使用計算機視覺進行電梯乘客計數(shù)

描述

隨著電梯在人們生活中越來越不可或缺，安全也越來越成為人們關(guān)注的問題。超載是電梯事故的重要原因。現(xiàn)有的電梯使用稱重傳感器來尋找電梯中的負(fù)載，它們有時會出現(xiàn)故障。而且他們的維護太貴了。為了避免此類事故的發(fā)生，我們打算設(shè)計一種裝置，可以實時高速統(tǒng)計乘客數(shù)量，并在乘客數(shù)量超過閾值時發(fā)出警報。該設(shè)備可以安裝在電梯的任何位置。與現(xiàn)有技術(shù)相比，其實施成本太低，且易于維護。

它是如何工作的？

在這個原型中，我們只考慮兩層樓，一樓和一樓。在電梯里的所有乘客都進入后，任何人都需要按下關(guān)閉按鈕。然后我們統(tǒng)計乘客人數(shù)，如果超過閾值設(shè)備就會發(fā)出警報。因此，一些人可以從中撤離，如果他們聽到這個 auido 視覺警報。如果它不高于閾值，電梯將繼續(xù)前進。用戶可以在代碼中設(shè)置閾值乘客限制。

除了超載警報，我們還提供電梯統(tǒng)計數(shù)據(jù)。這意味著該設(shè)備可以將帶有特定時間戳的電梯計數(shù)上傳到 excel 軟件。按下關(guān)閉按鈕后，計數(shù)將始終更新。該數(shù)據(jù)的一個有趣方面是可以通過任何圖形或圖表輕松地將其可視化。因此，它對分析電梯使用情況的任何人都非常有用。這是來自設(shè)備的計數(shù)，它以 CSV 格式記錄（在 Microsoft Excel 中打開）。

下面是為上述數(shù)據(jù)生成的各種圖表。

簇狀列

折線圖

餅形圖

考慮購物中心電梯的情況，因此通過使用這些統(tǒng)計數(shù)據(jù)，如果電梯的使用率過高，購物中心所有者可以輕松地添加電梯，如果使用率過低，也可以移除電梯。這是該項目的一個主要方面。

尼克拉愿景

在這個項目中，我們使用的是 Nicla Vision，它是 Arduino 的一個微型 AI 開發(fā)板。它配備了一個 2MP 彩色攝像頭，能夠智能地處理和從它看到的任何事物中提取有用的信息。

數(shù)據(jù)收集和標(biāo)記

為了收集數(shù)據(jù)，我們將電路板安裝在三腳架上，并使用長長的 USB 數(shù)據(jù)線將其連接到筆記本電腦。下圖顯示了數(shù)據(jù)采集設(shè)置。

整個設(shè)置在房間的一端，而我們實際上站在另一端。所以我們的微控制器單元可以很容易地接載乘客。您可以按照本教程將 Nicla vision 連接到 Edge Impulse。我們捕獲了 73 張圖像并將它們分為測試和訓(xùn)練。這些圖像一次只包含一個人或兩個人。然后我們一張一張地標(biāo)記每張圖片，這里我們只有一個名為“people”的類別。Nicla 視覺的方向提供倒置圖像，這根本不是問題。

沖量設(shè)計

這是該項目的機器學(xué)習(xí)管道

我們選擇圖像寬度和高度為 96x96，調(diào)整大小模式為“適合最短軸”。保存脈沖后，我們移至圖像選項卡并選擇“灰度”作為顏色深度，并保存圖像的參數(shù)和生成的特征。下圖顯示了生成的特征。

模型訓(xùn)練

這是我們用于生成模型的神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)置和架構(gòu)。

我們只是將訓(xùn)練周期從60改為70 。進一步增加訓(xùn)練周期或?qū)W習(xí)率可能會使數(shù)據(jù)過度擬合，因此我們堅持這樣做。作為神經(jīng)網(wǎng)絡(luò)架構(gòu)，我們使用了FOMO (MobileNet V2 0.35) 。結(jié)果令人驚訝。我們得到了大約 96% 的模型準(zhǔn)確率（使用量化的 int 版本）。

測試模型

現(xiàn)在是測試模型的時候了。首先，我們測試了之前分離的測試數(shù)據(jù)，我們得到了大約 84% 的準(zhǔn)確率。好像還可以

現(xiàn)在讓我們繼續(xù)進行 Live 分類。因此，我們正在測試從 Nicla vision 捕獲的 3 個示例圖像，讓我們看看我們的模型如何執(zhí)行。

測試 1

測試 2

測試 3

在我們所有的測試樣本中，該模型都表現(xiàn)非常出色。

部署

現(xiàn)在我們有了 ML 模型，我們需要將它部署到我們的 Nicla 愿景中。我們剛剛通過按下構(gòu)建按鈕創(chuàng)建了一個 arduino 庫，因此將下載一個 zip 文件。

然后我們將該庫添加到 Arduino。然后我們修改了示例草圖以完成項目。您可以在此 github 存儲庫中找到代碼和資產(chǎn)。

附加硬件和外殼

除了 Nicla Vision，我們還使用了蜂鳴器和 LED 來發(fā)出警報。

但是 Nicla 的輸出電流 (4.7 mA) 不足以正確啟動 LED 和蜂鳴器。所以我們使用了一個 2N222A 晶體管來驅(qū)動這些設(shè)備。因此，除了 USB 電源外，我們還使用了 5V 的外部電源為 Nicla vision 本身供電。按鈕也用于檢查門是否關(guān)閉。

最后，我們?yōu)檫@個設(shè)備做了一個漂亮的小盒子。

然后我們將每個組件插入其中。

我們的設(shè)備已準(zhǔn)備好實施。

TeraTerm

我們使用該軟件從 Nicla 視覺流式傳輸數(shù)據(jù)。流數(shù)據(jù)可以以任何格式記錄在任何地方。這里我們采用 CSV（逗號分隔值）格式，因此可以使用 Microsoft excel 輕松打開該文件。

確保在記錄數(shù)據(jù)之前勾選時間戳。下圖顯示了從我們的設(shè)備流式傳輸?shù)氖纠龜?shù)據(jù)，該數(shù)據(jù)在 excel 中打開。

我們可以通過選擇該文本輕松地從該數(shù)據(jù)生成圖形報告。下圖表示上述數(shù)據(jù)的折線圖。

有多種可用選項，如下所示。

項目演示

結(jié)論

該裝置可以很容易地與任何電梯集成，因此電梯只有在乘客在允許范圍內(nèi)時才會啟動。為了降低成本，我們可以使用 ESP32 Eye-like 微控制器單元代替 Nicla Vision。