基于機(jī)器視覺技術(shù)的人車路特征提取中的應(yīng)用案例

隨著經(jīng)濟(jì)的快速發(fā)展，中國機(jī)動車保有量突破4.26億輛，成為全球機(jī)動車保有量最大的國家，汽車數(shù)量的急劇增加導(dǎo)致各類交通事故頻發(fā)，造成大量的財(cái)產(chǎn)損失和人員傷亡，給社會帶來了巨大的安全隱患。在以往的交通事故中，由于高疲勞、接打電話分心等駕駛員狀態(tài)造成的交通事故占比龐大，已經(jīng)成為威脅生命安全的最大殺手。因此，如何精準(zhǔn)預(yù)測駕駛員狀態(tài)進(jìn)而提高車輛駕駛安全性已成為人們關(guān)注的焦點(diǎn)。

有研究表明，人-車-路多模態(tài)特征融合在駕駛員狀態(tài)識別中的準(zhǔn)確率優(yōu)于其他單模態(tài)的特征，其中駕駛員的生理特征和車輛運(yùn)行狀態(tài)的特征較易獲取，但基于圖像資料對駕駛員的行為及道路狀況等特征的提取仍然面臨著一些挑站，隨著計(jì)算機(jī)視覺的發(fā)展，圖像檢測技術(shù)的應(yīng)用已經(jīng)為解決這一難題提供了有力的幫助。

01 ? 基于駕駛員-車輛-道路信息的駕駛員狀態(tài)識別

首先，駕駛場景的核心三要素為駕駛員、汽車和和道路信息。在外部信息的干擾下，以駕駛員為核心感知道路狀況和車輛狀態(tài)，作出正確決策并執(zhí)行是保證車輛安全運(yùn)行的關(guān)鍵。有研究表明，90% 以上的交通事故與駕駛員的狀態(tài)相關(guān)，如果我們能夠?qū)崟r(shí)的監(jiān)測到駕駛員的狀態(tài)并及時(shí)給予合適的預(yù)警將會大大降低交通事故的發(fā)生概率，減少人員傷亡和財(cái)產(chǎn)損失。

利用人-車-路多模態(tài)特征進(jìn)行駕駛員狀態(tài)識別的技術(shù)路線如下圖所示：

1首先，將通過多模態(tài)生理、眼動、生物力學(xué)等傳感器采集到的駕駛員的生理數(shù)據(jù)，踏板、GPS、IMU及CAN協(xié)議采集到的車輛運(yùn)行數(shù)據(jù)，音視頻采集到的駕駛員的行為及道路環(huán)境數(shù)據(jù)進(jìn)行數(shù)據(jù)降噪。 2其次，利用卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神網(wǎng)絡(luò)等深度學(xué)習(xí)算法，傅里葉變換和拉普拉斯空間濾波等生理信號分析算法，進(jìn)行多模態(tài)人-車-路特征提取，并根據(jù)問卷量表等方式進(jìn)行標(biāo)簽設(shè)置。 2接著，采用特征級融合、決策級融合或者混合融合等不同的方式對特征進(jìn)行融合，采用主成分分析，方差分析等方式進(jìn)行特征篩選，構(gòu)建數(shù)據(jù)集。 3然后，將最終構(gòu)建的數(shù)據(jù)集輸入算法模型中訓(xùn)練，并根據(jù)模型評估結(jié)果進(jìn)行參數(shù)調(diào)整，找到最優(yōu)模型。 4最后，利用滑動窗口的方式對實(shí)時(shí)采集的多模態(tài)原始數(shù)據(jù)進(jìn)行自動化特征提取，輸入到最優(yōu)模型中進(jìn)行預(yù)測，輸出駕駛員的實(shí)時(shí)狀態(tài)。

02 ? 機(jī)器視覺技術(shù)在人車路特征提取中的應(yīng)用

針對基于圖像資料對駕駛員的行為及道路狀況等特征的提取問題，目前比較流行的兩個(gè)思路為圖像分類模型和目標(biāo)檢測模型，圖像分類模型特別適合用于靜態(tài)場景的行為判別，比如駕駛員是否系安全帶。目標(biāo)檢測模型能夠定位目標(biāo)的位置，適合需要精確定位和目標(biāo)檢測的場景，如檢測道路上的速限標(biāo)志、停車標(biāo)志、路線指示、交通流量等信息，下文將圍繞這兩個(gè)維度對相關(guān)的模型展開介紹。

01 MSA-CNN模型與駕駛員行為特征提取 ?

駕駛員在行駛過程中的喝水、打電話和抽煙等注意力分散行為會嚴(yán)重的影響道路安全，對這些行為的精準(zhǔn)識別在智能駕駛領(lǐng)域有著重要的意義?；诙喑叨茸⒁饬C(jī)制的卷積網(wǎng)絡(luò)模型（MSA-CNN）具備輕量化處理和視覺注意力機(jī)制等特點(diǎn)，輕量化技術(shù)在保證高精度的同時(shí)減少了模型的參數(shù)量，降低了計(jì)算復(fù)雜度。視覺注意力機(jī)制有利于抑制全局背景信息的干擾，更有效的抽取細(xì)粒度行為特征，上述兩個(gè)特點(diǎn)有效的提高了該模型對駕駛員行為的辨識能力。

MSA-CNN模型結(jié)構(gòu) 基于多尺度注意力機(jī)制的卷積網(wǎng)絡(luò)模型（MSA-CNN）包括三個(gè)模塊，分別是多尺度卷積模塊、特征強(qiáng)化模塊和分類模型，其中多尺度卷積模塊和特征強(qiáng)化模塊是其核心。

? 01多尺度卷積模塊構(gòu)成 ?

多尺度卷積網(wǎng)絡(luò)模塊采用了輕量化的多尺度卷積單元LMCU（light-weight Multi-scale Convolution Unit,LMCU）用于從靜態(tài)圖像中提取細(xì)粒度的駕駛員行為特征。

1LMCU模塊首先使用了先通道升維后通道降維的Bottleneck結(jié)構(gòu)，在減少模型參數(shù)的同時(shí)提高模型的性能。 2壓縮層為1×1的卷積網(wǎng)絡(luò)，能夠減少特征圖的通道數(shù)。 3Bottleneck Layer是模型的中間層包括3×3，5×5，7×7三種深度可分離卷積核，可以同時(shí)捕獲不同尺度的特征，提高模型對多尺度信息的敏感性。 4隨后使用Maxout激活函數(shù)對特征進(jìn)行融合，以促進(jìn)多尺度信息的交互。 5最后，輸出層采用了Residual Unit的跳躍機(jī)制進(jìn)行連接，減輕梯度消失問題，提高網(wǎng)絡(luò)的訓(xùn)練收斂性

? 02多尺度卷積模塊的優(yōu)勢 ?

普通卷積的每個(gè)通道都要經(jīng)過一個(gè)不一樣的卷積核卷積，然后對得到的所有數(shù)據(jù)進(jìn)行相加得到一個(gè)新的通道，也就是說經(jīng)過普通卷積得到的新一層的特征，其每個(gè)通道都整合了上一層網(wǎng)絡(luò)中所有通道的信息，每個(gè)輸出通道都需要一組與原通道數(shù)量相同的卷積核來進(jìn)行卷積。

深度可分離卷積包括深度卷積和1×1卷積，深度卷積的每個(gè)通道在經(jīng)過卷積核后并沒有進(jìn)行相加的操作，根據(jù)卷積核個(gè)數(shù)的不同，一個(gè)輸入通道既可以對應(yīng)一個(gè)輸出通道，也可以對應(yīng)多個(gè)輸出通道，即可以對一個(gè)通道進(jìn)行多次信息提取。

在經(jīng)過上述處理后，存在兩個(gè)問題，首先是通道的數(shù)量無法變化，其次輸出通道只包含了對應(yīng)輸入通道的信息，沒有包含所有輸入通道的信息，沒有起到信息整合的作用。所以進(jìn)行了逐點(diǎn)卷積，采用1×1×M的卷積核，M為上一層的通道數(shù)，這種卷積運(yùn)算會將上一層的特征圖在深度方向上進(jìn)行加權(quán)組合，生成新的特征圖，有幾個(gè)卷積核就會輸出幾個(gè)特征圖。

特征圖經(jīng)過3×3、5×5、7×7的可分離卷積運(yùn)算之后即可獲得一組多尺度的特征集合，LMCU采用了Maxout激活函數(shù)融合多尺度信息，接著，對融合之后的特征圖進(jìn)行Batch normalization和RELU處理，輸出處理后的特征圖，并使用1*1的卷積對融合之后的特征圖進(jìn)行降維處理，再使用跳躍連接機(jī)制，對結(jié)果與原始值進(jìn)行連接輸出。

03特征強(qiáng)化網(wǎng)絡(luò)模塊 ?

特征強(qiáng)化網(wǎng)絡(luò)模塊采用了空間注意力機(jī)制和通道注意力機(jī)制，其中空間注意力機(jī)制用于衡量圖像中不同像素區(qū)域的顯著性，通道注意力機(jī)制更多的關(guān)注不同特征圖之間的相互依賴關(guān)系。空間注意力機(jī)制和通道注意力機(jī)制通常包括系列融合和并聯(lián)融合兩種方式，研究表明并聯(lián)融合的方式更好。

? 04分類網(wǎng)絡(luò)模塊 ?

分類網(wǎng)絡(luò)模塊包含全連接層和softmax分類器，全連接層用于特征學(xué)習(xí)及數(shù)據(jù)的扁平化處理，softmax分類器用于特征分類并估計(jì)不同類別的概率分布，最終輸出駕駛員行為識別結(jié)果。

05模型性能評估 ?

本研究從識別精度和計(jì)算效率兩個(gè)方面評估了MSA-CNN模型的性能，并與現(xiàn)有的駕駛員行為識別方法和模型做了對比，表明MSA-CNN模型在大部分?jǐn)?shù)據(jù)集上的精確度高于其他對比方法，計(jì)算效率較高，處理速度達(dá)到了25fps,且達(dá)到了準(zhǔn)確率和計(jì)算時(shí)間的良好平衡。

02RefineDet模型與道路特征提取 ?

交通標(biāo)識的準(zhǔn)確識別在日常出行中具有重要意義，它能夠?yàn)轳{駛員提供及時(shí)的交通規(guī)則信息，避免道路擁堵，促進(jìn)駕駛規(guī)范，提高道路安全。交通標(biāo)識檢測和識別的核心技術(shù)是目標(biāo)檢測，然而在對交通標(biāo)識進(jìn)行檢測時(shí)，通常面臨三個(gè)嚴(yán)峻的挑戰(zhàn)，首先，交通標(biāo)識的尺寸通常比較小，在原始圖像中所占的比例也有限，進(jìn)行檢測時(shí)輸出的特征包含的信息也相對較少，從而導(dǎo)致漏檢或者誤檢。其次，相似性交通標(biāo)識比較多，每一大類交通標(biāo)識有相同的顏色或者形狀，這種情況下就比較容易出現(xiàn)誤檢現(xiàn)象。同時(shí)，駕駛中速度一般較高，對時(shí)效性的要求也較高。

Dense-RefineDet模型結(jié)構(gòu)

RefineDet通過錨點(diǎn)細(xì)化模塊（Anchor Refinement Module，ARM）、檢測模塊（Object Detection Module，ODM）和特征傳遞模塊（Transfer Connection Block，TCB）三個(gè)模塊的協(xié)同工作，在一階目標(biāo)檢測中獲得更高的監(jiān)測精度。錨點(diǎn)細(xì)化模塊可以優(yōu)化描點(diǎn)的位置和尺寸，以更好地匹配目標(biāo)的實(shí)際形狀和大小。檢測模塊利用錨點(diǎn)細(xì)化模塊傳遞過來的特征對待檢測目標(biāo)進(jìn)行分類和定位處理。特征傳遞模塊的作用是將錨點(diǎn)細(xì)化模塊提取的特征傳遞給檢測模塊，同時(shí)在過程中進(jìn)行了特征融合。

Dense-RefineDet模型以RefineDet為基礎(chǔ)框架，構(gòu)建了基于錨框設(shè)計(jì)和稠密連接的交通標(biāo)識識別模型，其骨干網(wǎng)絡(luò)是VGG16，輸入圖像尺寸為 640x640。遵循多尺度輸出策略，用于檢測的輸出特征一共有 4 層，分別是 Conv4-3 層、Conv5-3層、Conv7 層和 Conv8-2，對應(yīng)的特征尺寸大小分別為 80x80、40x40、20x20以及10x10。

? 01小目標(biāo)錨框設(shè)計(jì)的優(yōu)勢 ?

我們圍繞錨框形狀設(shè)計(jì)和錨框坐標(biāo)設(shè)計(jì)提出了一個(gè)針對小目標(biāo)的方法，該方法能夠更好的進(jìn)行形狀匹配，提高小目標(biāo)的檢測精度：

1應(yīng)用K-means確定錨框形狀。以訓(xùn)練集的所有矩形邊界框?yàn)閿?shù)據(jù)集，對其進(jìn)行K均值聚類，k=4,。 2確定錨框坐標(biāo)。Dense-RefineDet輸出了四層不同尺寸的特征，為尺寸最大的淺層特征配置兩組尺寸較小的錨框，所有錨框的中心坐標(biāo)設(shè)置為（0,25，0,25），（0,25，0,75），（0,75，0,25）和（0,75，0,75）該層的錨框數(shù)量為8。 3對于其余三層而言，配置全部的四組錨框，錨框的中心坐標(biāo)保持不變，每個(gè)特征單元的錨框數(shù)量為4,下圖為錨框效果圖。

4對于每一個(gè)樣本計(jì)算其矩形邊界框跟所有錨框的交并比（IOU）。將其中擁有最大交并比的錨框確定為該檢測目標(biāo)的匹配錨框，同時(shí)也將交并比大于某一閾值(一般為0,5）的所有錨框作為該目標(biāo)檢測的匹配項(xiàng)。 5如圖（a）中的紅色框表示的是形狀確定的錨框，其中心坐標(biāo)是（0,5，0,5）。藍(lán)色框表示的是和紅色框形狀相同的錨框，他的中心坐標(biāo)為（0,25，0,75）。待檢測目標(biāo)和紅色錨框之間的IOU要小于和藍(lán)色錨框之間的IOU，這表示藍(lán)色框更適合定位該目標(biāo)。 6在（b）中，紅色錨框無法同時(shí)匹配兩個(gè)待檢測目標(biāo)，此時(shí)，中心位于特征單元邊角位置的兩個(gè)藍(lán)色錨框則可以同時(shí)匹配上述待檢測目標(biāo)。黑色矩形代表的是特征圖中的特征單元，紅色框和藍(lán)色框表示的是形狀確定的錨框，黃色框表示的是待檢測目標(biāo)。 ?

02特征傳遞模塊 ?

采用稠密連接的方式進(jìn)行特征傳遞，稠密鏈接將高一層級的特征層（Conv8-2層）進(jìn)行反卷積得到和自身特征層尺寸相同的特征圖，通過對應(yīng)元素加和的方式進(jìn)行融合，得到最終的特征融合層。最后將融合特征傳遞到ODM。對于剩余的特征層，直接將其傳遞到 ODM。這樣做的優(yōu)勢在于CNN結(jié)構(gòu)中淺層特征圖包含豐富的空間信息，而深層特征圖則包含豐富的語義信息，兩者結(jié)合則可以獲取額外的上下文信息，從而提高檢測精度。

? 03模型性能評估 ?

在Tsinghua-Tencent 100K數(shù)據(jù)集上對比了Dense-RefineDet模型與其他深度學(xué)習(xí)方法的性能，Dense-RefineDet在中等尺寸和大尺寸交通標(biāo)識識別上的召回率和精度均由于其他模型，在小尺度模型上的召回率雖略遜于DRMR-CNN,但精度和速度高于前者。同時(shí)，Dense-RefineDet模型的速度達(dá)到0.13秒/幀，這在業(yè)界屬于速度非常快的模型，能夠滿足道路標(biāo)識檢測中實(shí)時(shí)性的需求。

? ? 參考文獻(xiàn)

【1】李林糠.基于計(jì)算機(jī)視覺的安全輔助駕駛系統(tǒng)[D].西安電子科技大學(xué)2018.

【2】范延軍基于機(jī)器視覺的先進(jìn)輔助駕駛系統(tǒng)關(guān)鍵技術(shù)研究[D1. 東南大學(xué)2016.

【3】RAGESH N，RAJESH R. Pedestrian detection in automotive safety:understanding state-of-the-art[J].IEEE Access,20197: 47864-47890.

【4】SWATHI M,SURESH K. Automatic traffic sign detection and recognition:A review[C]//2017 International Conference on Algorithms, Methodology,Models and Applications in Emerging Technologies (ICAMMAET), 2017:1-6

【5】HILLEL A B, LERNER R, DAN L, et al. Recent progress in road and lanedetection: a survey[J]. Machine Vision & Applications,2014,25(3): 727-745.

【6】Y. Yanbin, Z. Lijuan, L. Mengjun, S. Ling, Early warning of traffic accident inshanghai based on large data set mining, in: 2016 InternationalConferenceon Intelligent Transportation, Big Data Smart City (ICITBS), 2016, pp. 18-21http://dx.doi.org/10.1109/ICITBS.2016.149.

【7】M. Peden, Global collaboration on road traffic injury prevention, Int. J. Inj[2]Control Saf. Promot.12 (2) (2005) 85-91.

【8】F. Jimnez, J.E. Naranjo, J.J. Anaya, F. Garca, A. Ponz, J.M. Armingol, Advanceddriver assistance system for road environments to improve safety and efficiencyTransp. Res. Procedia 14 (2016) 2245-2254, Transport Research Arena TRA2016

【9】P. Viswanath, K. Chitnis, P. Swami, M. Mody, S. Shivalingappa, S. NagoriM. Mathew, K. Desappan, S. Jagannathan, D. Poddar, A. Jain, H. Garud, VAppia, M. Mangla, S. Dabral, A diverse low cost high performance platform foradvanced driver assistance system (adas) applications, in: 2016 IEEE Conferenceon Computer Vision and Pattern Recognition Workshops (CVPRW), 2016, pp819-827,http://dx.doi.org/10.1109/CVPRW.2016.107.

【10】Y. Ouerhani, A. Alfalou, M. Desthieux, C. Brosseau, Advanced driver assistancesystem: Road sign identification using viapix system and a correlation techniqueOpt. Lasers Eng.89 (2017) 184-194, 3DIM-DS 2015: Optical Image Processingin the context of 3D Imaging, Metrology, and Data Security.

編輯：黃飛

?