使用Openvino從視頻中實(shí)時(shí)檢測逃票

。

2018 年因逃票損失的收入估計(jì)為 2.15 億美元

• 2018 年因逃票損失的收入估計(jì)為 2.15 億美元
• 地鐵 9600 萬美元，公共汽車 1.19 億美元
• 預(yù)計(jì)未收回的收入比 2015 年增加了 1.1 億美元

逃票的最終成本

?

多倫多交通委員會(huì)的類似報(bào)告發(fā)現(xiàn)，僅在 2018 年，他們就因逃票損失了約 6100 萬加元。[這里]

主要挑戰(zhàn)：

數(shù)據(jù)采集

• 數(shù)據(jù)采集
• 執(zhí)法
• 種族社會(huì)經(jīng)濟(jì)偏見

數(shù)據(jù)采集

當(dāng)前用于估計(jì)逃票的數(shù)據(jù)收集過程遠(yuǎn)非完美，并且依賴于人工生成的數(shù)據(jù)和采樣技術(shù)。

MTA 逃票數(shù)據(jù)收集

?

MTA 逃票數(shù)據(jù)收集（來源）。該系統(tǒng)應(yīng)：

檢測每一幀中的人

• 檢測每一幀中的人
• 跨框架跟蹤人員
• 對(duì)每一幀中人的動(dòng)作進(jìn)行分類
• 跨幀執(zhí)行動(dòng)作識(shí)別

如果一個(gè)人走到旋轉(zhuǎn)柵門并跳過它，我們將其歸類為逃票。但是我無法訪問數(shù)據(jù)，所以我將管道分解為單獨(dú)的任務(wù)并獨(dú)立解決每個(gè)任務(wù)。

人員檢測：

這通常使用對(duì)象檢測來完成，幸運(yùn)的是，openvino 為對(duì)象檢測提供了廣泛的預(yù)訓(xùn)練和優(yōu)化模型，這些模型可以立即使用，具有良好的準(zhǔn)確性和較短的推理時(shí)間。我使用了來自 openvino 模型動(dòng)物園的預(yù)訓(xùn)練mobilenet ssd檢測器。

人物姿勢(shì)估計(jì)：

姿勢(shì)估計(jì)返回一組定義人的姿勢(shì)的關(guān)鍵點(diǎn)。我們使用姿勢(shì)估計(jì)作為特征來將人的姿勢(shì)分類為打磨或行走。我再次在 openvino 模型動(dòng)物園中找到了一個(gè)現(xiàn)成的用于姿勢(shì)估計(jì)的預(yù)訓(xùn)練模型。

姿勢(shì)分類：

我們根據(jù)前一階段的姿勢(shì)特征將每個(gè)人分類為跳躍或行走。在姿勢(shì)關(guān)鍵點(diǎn)空間中，這兩個(gè)姿勢(shì)狀態(tài)很容易分離。在訓(xùn)練了一個(gè)使用谷歌圖像構(gòu)建的非常小的數(shù)據(jù)集的隨機(jī)森林模型之后，我能夠在驗(yàn)證集上獲得近乎完美的準(zhǔn)確度。Sklearn 用于此。示例訓(xùn)練圖像如下所示

將關(guān)鍵點(diǎn)作為分類器的特征而不是原始圖像有一個(gè)額外的好處，即分類器無法訪問原始圖像并且將無法學(xué)習(xí)與種族和性別等的虛假相關(guān)性。我使用了一個(gè)人跟蹤器，它根據(jù)貪婪分配和 IOU 成本對(duì)應(yīng)幀之間的檢測。類似于iou_tracker。這會(huì)為每個(gè)人分配一個(gè) ID，該 ID 會(huì)跨幀保留。

狀態(tài)機(jī)：

這是我們編寫逃票檢測邏輯的地方。逃票按順序定義：步行 -> 跳躍 -> 步行。此外，該狀態(tài)機(jī)還用于通過施加轉(zhuǎn)換閾值對(duì)狀態(tài)進(jìn)行時(shí)間平滑；分類器應(yīng)該為成功轉(zhuǎn)換預(yù)測 n 幀的相同狀態(tài)。這通過消除隨機(jī)錯(cuò)誤來減少誤報(bào)。

粗略的成本效益估計(jì)

該系統(tǒng)目前在 NCS2（神經(jīng)計(jì)算棒 2）上以 2 fps（每秒幀數(shù)）運(yùn)行。考慮到在短時(shí)間內(nèi)可能的有限移動(dòng)，我相信以大約 4 fps 的速度運(yùn)行系統(tǒng)應(yīng)該足以準(zhǔn)確地跟蹤對(duì)象和捕獲逃票。在 NC2 上以高達(dá) 5 fps 的速度運(yùn)行系統(tǒng)似乎是一個(gè)簡單的工程問題，可以通過以下實(shí)驗(yàn)來實(shí)現(xiàn)：

• 設(shè)計(jì)較小的網(wǎng)絡(luò)（較小的骨干網(wǎng)，如squeezenet等）
• 使用單一模型進(jìn)行檢測和姿態(tài)估計(jì)（自下而上的方法）
• 模型的進(jìn)一步量化

安裝此解決方案的粗略估計(jì)如下所示。請(qǐng)注意，這些估算忽略了與產(chǎn)品（邊緣軟件、服務(wù)器端和前端）相關(guān)的軟件成本，因?yàn)樗Q于許多設(shè)計(jì)因素。這些粗略的估計(jì)只是為了強(qiáng)調(diào)投資規(guī)模與可能的收益。

假設(shè)紐約 472 個(gè)地鐵站中的每一個(gè)都部署了 5 個(gè)系統(tǒng)。

粗略成本估算

?

假設(shè)在該系統(tǒng)之上設(shè)計(jì)的干預(yù)政策能夠?qū)⒌罔F逃票行為減少 10%。每年因逃票損失 9600 萬美元，該解決方案將在一個(gè)月內(nèi)節(jié)省 0.1 x 96 /12 = 80 萬美元。從而在第一個(gè)月內(nèi)獲得全部投資回報(bào)，每年節(jié)省 960 萬美元。

可能的改進(jìn)

• 使用自下而上的方法進(jìn)行聯(lián)合人員定位和姿勢(shì)檢測以減少計(jì)算。
• 通過在標(biāo)記的 MTA 監(jiān)視數(shù)據(jù)上重新訓(xùn)練/微調(diào)整個(gè)模型管道，可以提高性能。這是因?yàn)槊總€(gè)系統(tǒng)都會(huì)生成具有某些特征屬性的數(shù)據(jù)分布。例如，遮擋模式、捕獲角度和照明條件對(duì)于 MTA 監(jiān)控?cái)?shù)據(jù)將是獨(dú)一無二的。在訓(xùn)練中使用類似的數(shù)據(jù)應(yīng)該能夠提高性能。

結(jié)論

我相信使用像這里提出的自動(dòng)逃票檢測管道可以提高地鐵站的安全性，鼓勵(lì)公民的守法行為，并為市政當(dāng)局節(jié)省數(shù)百萬美元。

?