使用計算機(jī)視覺為工業(yè)工人進(jìn)行跌倒檢測

描述

在制造業(yè)和建筑業(yè)，工人每天都面臨著嚴(yán)重的健康和安全風(fēng)險。工地或生產(chǎn)車間的工人可能會被材料和設(shè)備絆倒或被掉落的物體擊中。如果不及早發(fā)現(xiàn)跌倒，可能會造成嚴(yán)重傷害。作為解決方案，我們正在開發(fā)一種設(shè)備，可以快速檢測監(jiān)控區(qū)域的跌倒情況，并向特定區(qū)域的指定人員發(fā)出警報。該設(shè)備由 Raspberry Pi 4 和一個運(yùn)行 FOMO 的攝像頭模塊組成，能夠?qū)崟r檢測跌倒。每個事件都可以寫入數(shù)據(jù)庫并顯示在網(wǎng)絡(luò)儀表盤中，因此安全管理員可以輕松檢查受監(jiān)控設(shè)施中的當(dāng)前安全狀態(tài)。在執(zhí)行層面，

數(shù)據(jù)采集??和標(biāo)記

數(shù)據(jù)收集是每個機(jī)器學(xué)習(xí)項(xiàng)目的第一步。正確收集數(shù)據(jù)是影響模型性能的主要因素之一。為您收集的項(xiàng)目提供廣泛的視角和縮放級別會很有幫助。您可以從任何設(shè)備或開發(fā)板獲取數(shù)據(jù)，或上傳您自己的數(shù)據(jù)集，進(jìn)行數(shù)據(jù)采集。因?yàn)槲覀冇凶约旱臄?shù)據(jù)集，所以我們使用“數(shù)據(jù)采集”選項(xiàng)卡上傳它們。首先，我們將 Raspberry pi 與 Edge Impulse 連接起來，并通過將攝像頭安裝在建筑物的屋頂上來捕捉圖像。要將 Raspberry pi 與 Edge Impulse 鏈接起來，請按照本教程進(jìn)行操作。神經(jīng)網(wǎng)絡(luò)訪問的數(shù)據(jù)越多，它們識別物體的能力就越好。

?

收集完圖像后，我們通過移至標(biāo)記隊列對其進(jìn)行標(biāo)記。在我們的例子中，我們只有兩個標(biāo)簽 - Standing 和 Fall。令人驚訝的事實(shí)是，Edge Impulse 將嘗試通過在后臺運(yùn)行對象跟蹤算法來自動執(zhí)行此過程，以使此標(biāo)記過程更容易。然后我們將圖像拆分為測試集和訓(xùn)練集，這對于驗(yàn)證我們的模型非常重要。在那里我們保持 78/22 的比例，最好保持這樣的比例。

沖量設(shè)計

這是我們的沖動。如您所見，我們使用 96x96 圖像并將調(diào)整大小模式設(shè)置為“適合最短軸”，因?yàn)樵诖嗽O(shè)置中，F(xiàn)OMO 表現(xiàn)非常好。

?

在圖像選項(xiàng)卡中，我們使用灰度作為顏色深度。然后我們?yōu)槲覀兊膱D像生成特征。即使對象相同，特征也可以區(qū)分。

?

模型

現(xiàn)在是時候開始訓(xùn)練機(jī)器學(xué)習(xí)模型了。從頭開始生成機(jī)器學(xué)習(xí)模型需要花費(fèi)大量時間和精力。相反，我們將使用一種稱為“遷移學(xué)習(xí)”的技術(shù)，該技術(shù)使用我們數(shù)據(jù)上的預(yù)訓(xùn)練模型。這樣我們就可以用更少的數(shù)據(jù)輸入創(chuàng)建一個準(zhǔn)確的機(jī)器學(xué)習(xí)模型。然后我們調(diào)整訓(xùn)練參數(shù)以獲得精度更高的模型，最后我們得到了這個。

?

我們使用FOMO (MobileNet V2 0.35)作為神經(jīng)網(wǎng)絡(luò)。這是我們的訓(xùn)練輸出。我們得到了 98% 的準(zhǔn)確率。

?

通過檢查混淆矩陣，很明顯該模型運(yùn)行良好，但我們需要檢查是否存在過度擬合的可能性。這是我們在模型測試選項(xiàng)卡下的模型測試結(jié)果，它也適用于測試數(shù)據(jù)。

?

測試

為了進(jìn)行測試，我們使用了測試和訓(xùn)練中未提供的圖像。在這里，我們正在測試 2 個樣本圖像，讓我們看看我們的模型的表現(xiàn)如何。

?

?

在我們所有的測試樣本中，該模型的表現(xiàn)都非常好，因此我們可以繼續(xù)將其部署到設(shè)備上。

Linux Python 開發(fā)工具包

?

通過使用這個庫，我們可以使用 Python 在 Linux 機(jī)器上運(yùn)行我們的機(jī)器學(xué)習(xí)模型。為此，我們需要遵循此安裝指南。然后我們從 Edge Impulse 下載模型并修改示例代碼，使我們的項(xiàng)目活躍起來。