AI City競(jìng)賽：智能交通視頻分析的ImageNet

“智能交通視頻分析界的ImageNet競(jìng)賽”——英偉達(dá)城市挑戰(zhàn)賽落下帷幕。新加坡松下研究院聯(lián)合中科院自動(dòng)化所，提出了一種雙模態(tài)動(dòng)靜聯(lián)合檢測(cè)方案，在交通異常檢測(cè)比賽中拔得頭籌，獲得了很高檢測(cè)準(zhǔn)確度的同時(shí)保持了極低的檢測(cè)時(shí)間誤差。由于提出的方案具有準(zhǔn)確度高，魯棒性強(qiáng)，對(duì)數(shù)據(jù)的分辨率敏感度低等優(yōu)點(diǎn)，可以作為真實(shí)場(chǎng)景下的異常檢測(cè)的一種可靠的解決方案。

2020年，全球?qū)⒂惺畠|個(gè)攝像頭。未來，智能視頻分析可以解決交通、公共安全、預(yù)防犯罪、高效資源利用等一些城市規(guī)模問題，改善大型公共和私人空間（比如商場(chǎng)、體育館、火車站、機(jī)場(chǎng)等）的用戶體驗(yàn)。

雖然目前存在一些用于視頻檢索的語料庫和基準(zhǔn)（例如，NIST TRECVID），但對(duì)于交通或公共安全來說，還缺少大規(guī)模帶標(biāo)記的高質(zhì)量視頻數(shù)據(jù)的語料庫，而要將視頻分析應(yīng)用在現(xiàn)實(shí)世界問題中，這樣的數(shù)據(jù)庫必不可少。

英偉達(dá) AI City 挑戰(zhàn)賽正是在這樣的背景下提出，受 ImageNet 數(shù)據(jù)集啟發(fā)，AI City 競(jìng)賽旨在創(chuàng)建優(yōu)質(zhì)視頻數(shù)據(jù)集，使全球的學(xué)術(shù)和工業(yè)研究團(tuán)隊(duì)能夠推動(dòng)各種智能視頻分析的最新技術(shù)，解決現(xiàn)實(shí)世界的問題。

AI City 挑戰(zhàn)賽由英偉達(dá)聯(lián)合紐約州立大學(xué)奧爾巴尼分校、愛荷華州立大學(xué)、圣何塞州立大學(xué)、華盛頓大學(xué)發(fā)起，吸引了來自華盛頓大學(xué)、UIUC、北京大學(xué)、IBM等全球多所高校和機(jī)構(gòu)的參與。

競(jìng)賽從 2018 年 1 月 20 日開始，4 月 5 日結(jié)束，一共有三項(xiàng)任務(wù)（track）。最開始有 70 多支隊(duì)伍報(bào)名，但由于問題很難、時(shí)間很緊等種種原因，最終 22 支隊(duì)伍提交了方案。在CVPR 2018上，主辦方公布了結(jié)果[2]。

其中，華盛頓大學(xué)取得了任務(wù) 1 和任務(wù) 3 的冠軍，而任務(wù) 2 交通異常檢測(cè)的冠軍，則由新加坡松下研究院申省梅團(tuán)隊(duì)，聯(lián)合中科院自動(dòng)化所獲得。任務(wù) 2 的亞軍，是北京郵電大學(xué)的團(tuán)隊(duì)。

AI City 競(jìng)賽：智能交通視頻分析的ImageNet

去年，第一屆 AI City 挑戰(zhàn)賽，重點(diǎn)是對(duì)岔路口交通攝像頭視頻語料庫進(jìn)行對(duì)象檢測(cè)、定位和分類。今年第二屆 AIC18，組織者決定“跳出邊界框”，向更加接近現(xiàn)實(shí)世界問題的場(chǎng)景靠攏。

比如說，美國(guó)的道路交通管理局，急需能夠自動(dòng)分析交通視頻內(nèi)容的系統(tǒng)，因?yàn)樽屓祟悂碛^看所有這些視頻是不現(xiàn)實(shí)的；實(shí)際上，現(xiàn)在很多攝像頭采集的大量數(shù)據(jù)都被浪費(fèi)了，沒有得到有效利用。

在與多個(gè)交通運(yùn)輸機(jī)構(gòu)以及公共安全機(jī)構(gòu)磋商后，競(jìng)賽組織者將重點(diǎn)放在三項(xiàng)任務(wù)上：

估計(jì)交通流量特征，例如在任何時(shí)間每輛可見車輛的精確位置和速度。

利用無監(jiān)督的方法來檢測(cè)由碰撞、停車等引起的異常情況。這可以讓人也加入到?jīng)Q策的過程中來，注意到有意義的視覺信息，以便及時(shí)干預(yù)可以被挽救的生命。

城市環(huán)境中多攝像機(jī)跟蹤和對(duì)象重識(shí)別。這對(duì)交通分析以及識(shí)別和預(yù)防犯罪非常有用，也能使用戶盡可能快地對(duì)正在發(fā)生中的事件做出反應(yīng)。

競(jìng)賽的數(shù)據(jù)從美國(guó)多個(gè)城市和州挑選交叉路口和高速公路的數(shù)據(jù)（見下圖）收集而來。他們專門組建了一組作為對(duì)照組的車隊(duì)，并使用這些車輛產(chǎn)生的數(shù)據(jù)來生成Ground Truth。

AIC18數(shù)據(jù)集：從愛荷華州和硅谷高速路上獲取的數(shù)據(jù)樣本

交通異常檢測(cè)：?jiǎn)栴}定義難、數(shù)據(jù)匱乏，算法設(shè)計(jì)難度高

交通事故的異常檢測(cè)在安全城市中扮演著非常關(guān)鍵的角色，交通的異常狀況會(huì)大大降低交通通行效率，因此需要對(duì)其進(jìn)行檢測(cè)和監(jiān)控，如果發(fā)生異常就進(jìn)行報(bào)警和救援，盡快排出由事件帶來的交通不便，恢復(fù)正常的交通。

傳統(tǒng)的的交通異常檢測(cè)方法，主要有電磁感應(yīng)環(huán)形線圈式和波式，它們均是基于車輛經(jīng)過時(shí)利用反射波的頻率變化來檢測(cè)車輛信息。但使用“磁”與“波”檢測(cè)的方法均不能提供全面的交通信息，因此有很大的局限性。

基于視頻的交通異常檢測(cè)，是應(yīng)用攝像機(jī)等視覺傳感器和以計(jì)算機(jī)視覺理論為基礎(chǔ)，依靠交通流動(dòng)的信息（比如光流）和跟蹤單個(gè)車輛去檢測(cè)異常，比如用物體跟蹤的方法去識(shí)別異常的行為[3]。

但是，獲取的車輛軌跡由于遮擋問題通常包含一定的噪音。為了克服這個(gè)問題，一些學(xué)者嘗試?yán)靡曨l中 low-level 的特征去提出一種基于概率模型的異常檢測(cè)框架進(jìn)行判斷[4][5]。

實(shí)際場(chǎng)景中的交通異常行為存在定義困難，無法獲取異常的先驗(yàn)的信息，同時(shí)存在攝像機(jī)視角的變化，高密度車流，目標(biāo)遮擋，天氣情況（比如下雪天氣），光照的變化（比如白天和黑夜），采集數(shù)據(jù)分辨率低和真實(shí)場(chǎng)景數(shù)據(jù)匱乏等因素的影響，設(shè)計(jì)一套魯棒性強(qiáng)的異常檢測(cè)系統(tǒng)面臨著巨大的挑戰(zhàn)。

冠軍技術(shù)分享：首創(chuàng)雙模態(tài)動(dòng)靜聯(lián)合檢測(cè)方法

任務(wù)2 的視頻是以各種視角、在不同天氣和道路狀況下記錄下的真實(shí)交通視頻。 這些問題讓設(shè)計(jì)異常檢測(cè)的方法變得十分困難。因此，大多數(shù)成功的方法都基于交通運(yùn)動(dòng)流分析（例如，使用光流），而不是試圖檢測(cè)和跟蹤各個(gè)車輛。

冠軍團(tuán)隊(duì)提出的方案叫做“雙模型車輛動(dòng)態(tài)學(xué)習(xí)”（Dual-Mode Vehicle Motion Pattern Learning）[1]。比賽負(fù)責(zé)人、論文第一作者徐炎向新智元介紹，在交通異常檢測(cè)的任務(wù)中，他們是首次提出以雙模態(tài)動(dòng)靜態(tài)聯(lián)合檢測(cè)的方法去解決這個(gè)問題。

“我們充分挖掘了交通異常檢測(cè)的特性，即異常車輛的速度有明顯的變化和車輛會(huì)被迫停止。基于這兩個(gè)特性，我們分別提出了動(dòng)靜態(tài)兩種模態(tài)進(jìn)行分析?！?/p>

動(dòng)態(tài)方案的結(jié)果。上圖顯示了正常時(shí)的速度，下圖則是發(fā)生異常的情況。在下排右邊的圖表中，可以看見一輛車的速度與其他不同，最后停下來。

“在動(dòng)態(tài)方案中，我們首先對(duì)行駛車輛進(jìn)行檢測(cè)，基于可靠光流信息對(duì)各個(gè)車輛進(jìn)行追蹤。同時(shí)，我們?cè)O(shè)計(jì)了一種簡(jiǎn)單有效的基于近鄰規(guī)則的噪點(diǎn)去除方法，去解決跟蹤過程中車輛的遮擋問題。獲取得到比較魯棒的車輛軌跡后，通過計(jì)算不同車輛的相對(duì)速度大小及其變化趨勢(shì)，我們可以很精準(zhǔn)的找到異常車輛。

“在靜態(tài)方案中，我們首先對(duì)視頻進(jìn)行背景建模，提取背景圖片。同時(shí)，異常的車輛也會(huì)被保留在背景圖片中。我們訓(xùn)練了一個(gè)只包含背景和車輛二分類器，有效地去除背景圖片進(jìn)行車輛檢測(cè)過程中出現(xiàn)的 false positive 結(jié)果。

“最后，我們提出了一種基于vehicle re-identification方案，對(duì)兩種模態(tài)進(jìn)行整合，極大地提高了整個(gè)檢測(cè)系統(tǒng)的準(zhǔn)確度。相比其他的方案，我們提出的雙模態(tài)動(dòng)靜聯(lián)合檢測(cè)方案有準(zhǔn)確度高，魯棒性強(qiáng)，對(duì)數(shù)據(jù)的分辨率敏感度低等優(yōu)點(diǎn)?！?/p>

基于靜態(tài)車輛分析檢測(cè)道路異常的流程圖

總結(jié)：數(shù)據(jù)、數(shù)據(jù)、數(shù)據(jù)

徐炎表示，他們對(duì)這次比賽投入了很大的精力，從一開始熟悉比賽規(guī)則、數(shù)據(jù)下載分析、任務(wù)問題的定義、中間的不同算法設(shè)計(jì)、快速實(shí)驗(yàn)驗(yàn)證、失敗結(jié)果分析，到最后的多模型融合、提交實(shí)驗(yàn)結(jié)果，“每一個(gè)步驟我們都去做到最好”。

其中，花費(fèi)精力最多的一個(gè)步驟是算法設(shè)計(jì)及快速驗(yàn)證。團(tuán)隊(duì)當(dāng)時(shí)嘗試提出了好幾種不同的解決方案，通過快速的實(shí)驗(yàn)驗(yàn)證方法，最后只選取了兩個(gè)方案（雙模態(tài)分析）用于提交結(jié)果。

當(dāng)時(shí)有一個(gè)方案是嘗試用 supervised 的方法去做，去收集一些數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行標(biāo)注，最后用于訓(xùn)練。但實(shí)驗(yàn)結(jié)果差強(qiáng)人意，原因是收集的數(shù)據(jù)量太小，而且與測(cè)試數(shù)據(jù)差異明顯，經(jīng)過快速的實(shí)驗(yàn)驗(yàn)證后，團(tuán)隊(duì)最后放棄了這個(gè)方案。

由于異常場(chǎng)景定義困難，訓(xùn)練數(shù)據(jù)缺乏，導(dǎo)致監(jiān)控場(chǎng)景下的異常檢測(cè)是一個(gè)非常挑戰(zhàn)性的任務(wù)。這一次松下申省梅團(tuán)隊(duì)基于對(duì)測(cè)試數(shù)據(jù)的分析，挖掘了其中特性，針對(duì)性地設(shè)計(jì)出了有效的規(guī)則，使得在測(cè)試數(shù)據(jù)集上獲得非常好的效果。

“通過對(duì)失敗結(jié)果的觀察，我們?cè)O(shè)計(jì)的模型會(huì)漏檢極其小的異常車輛，或者會(huì)把背景錯(cuò)檢成車輛，”徐炎說：“原因是我們采用的車輛檢測(cè)模型在小型車輛上表現(xiàn)不佳，并且訓(xùn)練檢測(cè)模型的數(shù)據(jù)和最終測(cè)試的數(shù)據(jù)分布不一致，所以提高檢測(cè)型的性能是未來工作的一個(gè)方向。”

“另一方面，我們的模型在已定義的兩種異常情況下（車禍和拋錨）表現(xiàn)很好，但是對(duì)于其他異常（比如車輛非法轉(zhuǎn)向）可能表現(xiàn)不佳。如果能夠獲取得到類似異常的真實(shí)數(shù)據(jù)，我們可以通過分析這些數(shù)據(jù)，掌握一些規(guī)律，用這些數(shù)據(jù)去訓(xùn)練模型，當(dāng)做一個(gè)有監(jiān)督學(xué)習(xí)的task，會(huì)極大的提高系統(tǒng)的穩(wěn)健性?！?/p>