汽車疲勞駕駛識(shí)別預(yù)警系統(tǒng)如何識(shí)別駕駛員疲勞狀態(tài)？

駕駛疲勞是指駕駛員由于睡眠不足或長(zhǎng)時(shí)間持續(xù)駕駛造成的反應(yīng)能力下降，這種下降表現(xiàn)在駕駛員困倦、打瞌睡、駕駛操作失誤或完全喪失駕駛能力。

駕駛疲勞反映在生理與心理兩個(gè)方面，生理反映包括神經(jīng)系統(tǒng)的功能、血液和眼睛的變化；心理反映包括反應(yīng)時(shí)延長(zhǎng)、注意力分散、動(dòng)作不協(xié)調(diào)。美國(guó)印第安那大學(xué)對(duì)交通事故原因的調(diào)查研究發(fā)現(xiàn)85％的事故與駕駛員有關(guān)，車輛和環(huán)境因素只占15％。

駕駛員在事故發(fā)生前一瞬間的行為和故障直接導(dǎo)致了事故的發(fā)生，這些行為包括知覺(jué)的延遲、對(duì)環(huán)境的決策錯(cuò)誤、對(duì)危險(xiǎn)情況的處理不當(dāng)?shù)取Ｔ谒械鸟{駛員錯(cuò)誤中，最常見(jiàn)的是知覺(jué)延遲和決策錯(cuò)誤，這些錯(cuò)誤會(huì)產(chǎn)生注意力不集中、反映遲鈍、操作不當(dāng)?shù)龋a(chǎn)生這些錯(cuò)誤的根本原因就是駕駛疲勞。由于司機(jī)疲勞駕駛導(dǎo)致警惕性水平的下降，從而造成交通事故的增長(zhǎng)，這已成為了社會(huì)普遍關(guān)注的一個(gè)熱點(diǎn)。

如果司機(jī)疲勞駕駛，那么他的觀察、識(shí)別和車輛控制能力都會(huì)顯著下降，嚴(yán)重威脅自身的安全和其他人的生命。隨著交通運(yùn)輸業(yè)的發(fā)展，交通事故已成為當(dāng)前各國(guó)所面臨的嚴(yán)重問(wèn)題。

駕駛?cè)似跔顟B(tài)主要監(jiān)測(cè)方法

關(guān)于駕駛?cè)似诩白⒁夥稚⒌劝踩珷顟B(tài)的監(jiān)測(cè)預(yù)警技術(shù)，由于它在交通事故預(yù)防方面的發(fā)展前景而受到各國(guó)高度的重視，研究人員根據(jù)駕駛?cè)似跁r(shí)在生理和操作上的特征進(jìn)行了多方面的研究，一些研究成果已形成產(chǎn)品并開(kāi)始進(jìn)入市場(chǎng)。

駕駛?cè)似跔顟B(tài)的檢測(cè)方法可大致分為基于駕駛?cè)松?a target="_blank">信號(hào)、基于駕駛?cè)松矸磻?yīng)特征、基于駕駛?cè)瞬僮餍袨楹突谲囕v狀態(tài)信息的檢測(cè)方法。

1、基于駕駛?cè)松硇盘?hào)的檢測(cè)方法

針對(duì)疲勞的研究最早始于生理學(xué)。相關(guān)研究表明，駕駛?cè)嗽谄跔顟B(tài)下的生理指標(biāo)會(huì)偏離正常狀態(tài)的指標(biāo)。因此可以通過(guò)駕駛員的生理指標(biāo)來(lái)判斷駕駛?cè)耸欠襁M(jìn)入疲勞狀態(tài)。目前較為成熟的檢測(cè)方法包括對(duì)駕駛?cè)说哪X電信號(hào)EEG、心電信號(hào)ECG等的測(cè)量。

研究人員很早就已經(jīng)發(fā)現(xiàn)EEG能夠直接反映大腦的活動(dòng)狀態(tài)。研究發(fā)現(xiàn)在進(jìn)入疲勞狀態(tài)時(shí)，EEG中的delta波和theta波的活動(dòng)會(huì)大幅度增長(zhǎng)，而alpha波活動(dòng)會(huì)有小幅增長(zhǎng)。另一項(xiàng)研究[6]通過(guò)在模擬器和實(shí)車中監(jiān)測(cè)EEG信號(hào)，試驗(yàn)結(jié)果表明EEG對(duì)于監(jiān)測(cè)駕駛?cè)似谑且环N有效的方法。研究人員同時(shí)發(fā)現(xiàn)，EEG信號(hào)特征有很大的個(gè)人差異，如性別和性格等，同時(shí)也和人的心理活動(dòng)相關(guān)很大。

ECG主要被用于駕駛負(fù)擔(dān)的生理測(cè)量中。研究表明在駕駛?cè)似跁r(shí)ECG會(huì)明顯的有規(guī)律的下降,并且HRV（心率變化）和駕駛中的疲勞程度的變化有潛在的關(guān)系。

基于駕駛?cè)松硇盘?hào)的檢測(cè)方法對(duì)疲勞判斷的準(zhǔn)確性較高，但生理信號(hào)需要采用接觸式測(cè)量，且對(duì)個(gè)人依賴程度較大，在實(shí)際用于駕駛?cè)似诒O(jiān)測(cè)時(shí)有很多的局限性，因此主要應(yīng)用在實(shí)驗(yàn)階段，作為實(shí)驗(yàn)的對(duì)照參數(shù)。

2、基于駕駛?cè)松矸磻?yīng)特征的檢測(cè)方法

基于駕駛?cè)说纳矸磻?yīng)特征的檢測(cè)方法是指利用駕駛?cè)说难蹌?dòng)特性、頭部運(yùn)動(dòng)特性等推斷駕駛?cè)说钠跔顟B(tài)。

駕駛?cè)搜矍虻倪\(yùn)動(dòng)和眨眼信息被認(rèn)為是反映疲勞的重要特征，眨眼幅度、眨眼頻率和平均閉合時(shí)間都可直接用于檢測(cè)疲勞。目前基于眼動(dòng)機(jī)理研究駕駛疲勞的算法有很多種，廣泛采用的算法包括PERCLOS，即將眼瞼閉合時(shí)間占一段時(shí)間的百分比作為生理疲勞的測(cè)量指標(biāo)。

利用面部識(shí)別技術(shù)定位眼睛、鼻尖和嘴角位置，將眼睛、鼻尖和嘴角位置結(jié)合起來(lái)，再根據(jù)對(duì)眼球的追蹤可以獲得駕駛?cè)俗⒁饬Ψ较颍⑴袛囫{駛?cè)说淖⒁饬κ欠穹稚ⅰ?/p>

利用頭部位置傳感器檢測(cè)駕駛?cè)它c(diǎn)頭動(dòng)作，通過(guò)電容傳感器陣列輸出駕駛?cè)祟^部距離每個(gè)傳感器的位置,可實(shí)時(shí)跟蹤頭部的位置,根據(jù)頭部位置的變化規(guī)律判定駕駛?cè)耸欠耦?該研究發(fā)現(xiàn)點(diǎn)頭的動(dòng)作和瞌睡有非常好的相關(guān)性。

基于駕駛?cè)松矸磻?yīng)特征的檢測(cè)方法一般采用非接觸式測(cè)量，對(duì)疲勞狀態(tài)的識(shí)別精度和實(shí)用性上都較好。

3、基于駕駛?cè)瞬僮餍袨榈臋z測(cè)方法

基于駕駛?cè)瞬僮餍袨榈鸟{駛?cè)似跔顟B(tài)識(shí)別技術(shù)，是指通過(guò)駕駛?cè)说牟僮餍袨槿绶较虮P操作等操作推斷駕駛?cè)似跔顟B(tài)。

利用對(duì)監(jiān)測(cè)到的駕駛?cè)说姆较虮P操作數(shù)據(jù)進(jìn)行處理，研究結(jié)果在一定程度上揭示了駕駛?cè)说姆较虮P操作與疲勞之間的關(guān)系。研究指出方向盤的操作是一種有效的駕駛疲勞的判斷手段。

總體來(lái)說(shuō)，目前利用駕駛?cè)瞬僮餍袨檫M(jìn)行疲勞識(shí)別的深入研究成果較少。駕駛?cè)说牟僮鞒伺c疲勞狀態(tài)有關(guān)外，還受到個(gè)人習(xí)慣、行駛速度、道路環(huán)境、操作技能的影響，車輛的行駛狀態(tài)也與車輛特性、道路等很多環(huán)境因素有關(guān)，因此如何提高駕駛?cè)藸顟B(tài)的推測(cè)精度是此類間接測(cè)量技術(shù)的關(guān)鍵問(wèn)題。

4、基于車輛行駛軌跡的檢測(cè)方法

利用車輛行駛軌跡變化和車道線偏離等車輛行駛信息也可推測(cè)駕駛?cè)说钠跔顟B(tài)。這種方法和基于駕駛?cè)瞬僮餍袨榈钠跔顟B(tài)識(shí)別技術(shù)一樣，都以車輛現(xiàn)有的裝置為基礎(chǔ)，不需添加過(guò)多的硬件設(shè)備，而且不會(huì)對(duì)駕駛?cè)说恼ｑ{駛造成干擾，因此具有很高的實(shí)用價(jià)值。

基于視頻技術(shù)的疲勞駕駛識(shí)別系統(tǒng)

1999年4月，美國(guó)聯(lián)邦公路管理局首先提出了把PERCLOS作為預(yù)測(cè)機(jī)動(dòng)車駕駛員駕駛疲勞的可行方法。經(jīng)過(guò)多年的發(fā)展，目前，PERCLOS方法已被公認(rèn)為最有效的、車載的、實(shí)時(shí)的駕駛疲勞測(cè)評(píng)方法。PERCLOS是Percentage of Eyelid Closure Over the Pupil Time的縮寫(xiě)，意為單位時(shí)間里眼睛閉合時(shí)間所占的百分比。

PERCLOS的原理即為統(tǒng)計(jì)在一定時(shí)間內(nèi)眼睛閉合時(shí)所占的時(shí)間比例。我們的系統(tǒng)所采用的評(píng)判標(biāo)準(zhǔn)為PERCLOS80，指眼瞼遮住瞳孔的面積超過(guò)80%就認(rèn)為眼睛閉合。

PERCLOS測(cè)量原理

通過(guò)測(cè)量出t1-t4就能計(jì)算出PERCLOS的值：

其中F代表眼睛閉合時(shí)間的百分比，即PERCLOS的值。

基于視頻技術(shù)的疲勞駕駛識(shí)別系統(tǒng)系統(tǒng)方案及工作流程

駕駛員疲勞監(jiān)測(cè)系統(tǒng)通過(guò)視頻采集設(shè)備獲得駕駛員實(shí)時(shí)圖像，自動(dòng)分析駕駛員的頭部姿態(tài)、眼睛運(yùn)動(dòng)規(guī)律以及面部特征等信息來(lái)確定駕駛員精神狀態(tài)，并給出相應(yīng)的預(yù)警提示。研究表明，相比臉部或頭部運(yùn)動(dòng)規(guī)律而言，眼睛的活動(dòng)規(guī)律，如眨眼頻率、眨眼快慢、眼睛張開(kāi)幅度以及眼睛的注視方向等能更好地反映出當(dāng)前時(shí)刻實(shí)驗(yàn)對(duì)象的精神狀態(tài)好壞。

因此，如果能夠獲得每一幀圖像中的雙眼大小、位置信息以及運(yùn)動(dòng)變化，就可以將一段時(shí)間內(nèi)駕駛員的眼部活動(dòng)規(guī)律統(tǒng)計(jì)出來(lái)，結(jié)合疲勞狀態(tài)分析指標(biāo)，就能夠?qū)︸{駛員疲勞狀態(tài)進(jìn)行評(píng)價(jià)。系統(tǒng)流程如圖所示：

圖像預(yù)處理

在駕駛環(huán)境下通過(guò)視頻流采集的圖像會(huì)受到諸多因素的影響而包含噪聲信息，如分辨率、系統(tǒng)噪聲、突變背景等，給接下來(lái)的圖像運(yùn)算帶來(lái)干擾。因此，我們對(duì)源圖像通過(guò)直方圖均衡化的手段進(jìn)行預(yù)先處理，去除噪聲，增強(qiáng)圖像對(duì)比度，凸顯圖像細(xì)節(jié)，提高圖像質(zhì)量。

均衡化前 均衡化后

均衡化前的直方圖 均衡化后的直方圖

人臉檢測(cè)

人臉檢測(cè)環(huán)節(jié)是人眼定位前的重要步驟。系統(tǒng)采用Adaboost算法，利用提供的樣本訓(xùn)練和檢測(cè)方法。首先采集樣本，從已采集的樣本集中訓(xùn)練出分類器，該分類器可以很好地區(qū)別出人臉和非人臉；在檢測(cè)環(huán)節(jié)，加載待檢圖像幀至分類器中，通過(guò)對(duì)圖像像素點(diǎn)的掃描，找到圖像中包含的人臉，標(biāo)定該區(qū)域。后續(xù)操作會(huì)在已標(biāo)定的人臉區(qū)域中進(jìn)行，縮小計(jì)算區(qū)域，排除非人臉因素的干擾，極大地提高了系統(tǒng)的運(yùn)行速率。

眼定位

該環(huán)節(jié)包括人眼粗略定位和人眼精確定位兩個(gè)階段。首先，根據(jù)中國(guó)傳統(tǒng)的三庭五眼的先驗(yàn)知識(shí)，粗略定位肯定存在人眼的大致區(qū)域，該區(qū)域可能同時(shí)包含眉毛，發(fā)角等干擾，但卻進(jìn)一步地縮小了計(jì)算區(qū)域；接著，將人眼粗略區(qū)域通過(guò)一定閾值轉(zhuǎn)換為二值化圖像，再進(jìn)行垂直方向上的灰度投影，求得直方圖，因?yàn)槿搜酆椭車つw的灰度存在較大差異，所以可從直方圖中的波峰波谷判斷出人眼上下邊緣的Y坐標(biāo)，繼而可對(duì)眼睛進(jìn)行精確定位。

眼睛狀態(tài)判斷

通過(guò)最大類間方差法（Otsu）在不同的光線下對(duì)人眼精確區(qū)域進(jìn)行不同閾值的二值化，分別獲取最佳的人眼睜閉狀態(tài)時(shí)的眼部形狀。通過(guò)對(duì)連續(xù)N幀的對(duì)比可以判斷，黑色像素值面積最小時(shí)可認(rèn)為駕駛員當(dāng)前處于閉眼狀態(tài)，其他情況下處于睜眼或者半睜眼狀態(tài)。

疲勞分析

系統(tǒng)選取目前公認(rèn)有效的PERCOLS疲勞程度評(píng)價(jià)指標(biāo)，即通過(guò)閉眼幀在連續(xù)N幀內(nèi)所占的時(shí)間比例來(lái)分析疲勞狀態(tài)，睜眼幀記錄為“1”值，閉眼幀記錄為“0”值，這樣，連續(xù)N幀后便可獲取關(guān)于“1”“0”交錯(cuò)出現(xiàn)的序列，疲勞狀態(tài)的分析即可用“0”值在該序列中所占的比例來(lái)描述，當(dāng)百分比高于一定的實(shí)驗(yàn)比例后即可認(rèn)為司機(jī)可能出現(xiàn)疲勞。

通過(guò)以上五個(gè)步驟的操作處理，系統(tǒng)可由采集設(shè)備獲取的視頻流中分析出當(dāng)前駕駛員是否處于疲勞狀態(tài)及疲勞程度，給出不同程度的提醒警報(bào)，從而達(dá)到系統(tǒng)目標(biāo)。

疲勞程度的綜合判定

駕駛員疲勞的判定會(huì)因錯(cuò)誤檢查帶來(lái)不良影響，通過(guò) PERCLOS、眼睛閉合時(shí)間、眼睛眨眼頻率、嘴巴張開(kāi)程度、頭部運(yùn)動(dòng)的計(jì)算，進(jìn)行疲勞程度的綜合判定，可以準(zhǔn)確、有效地進(jìn)行駕駛員疲勞的檢測(cè)。

PERCLOS

PERCLOS是指眼睛閉合時(shí)間占某一特定時(shí)間的百分率。PERCLOS方法有P70，P80和EM三種判定標(biāo)準(zhǔn)。研究表明P80與疲勞程度間具有最好的相關(guān)性。

嘴巴張開(kāi)程度

嘴巴的狀態(tài)通常有三種，閉合，說(shuō)話及打哈欠，在疲勞狀態(tài)下，人會(huì)頻繁地打哈會(huì)發(fā)現(xiàn)該區(qū)域下半部分的水平灰度投影曲線有一個(gè)波谷，即為嘴唇間位置。對(duì)人臉下半部分區(qū)域二值化，從嘴唇間向上、下計(jì)算連通區(qū)域（連通區(qū)域可以防止鼻孔及胡須對(duì)計(jì)算帶來(lái)影響）的像素值，即可得到嘴巴的張開(kāi)程度。

眼睛高度及嘴巴高度補(bǔ)償

在上眼瞼到下眼瞼的垂直距離及上嘴唇到下嘴唇的垂直距離時(shí)，由于駕駛員頭部相對(duì)于檢測(cè)設(shè)備有位置移動(dòng)，因此為了實(shí)現(xiàn)駕駛員眼睛高度和嘴巴高度的準(zhǔn)確計(jì)算，需要修正眼睛、嘴巴與檢測(cè)設(shè)備距離相對(duì)變化引起的變化。

眼睛閉合時(shí)間

眼睛閉合時(shí)間，一般用眼睛閉合到睜開(kāi)所經(jīng)歷的時(shí)間來(lái)表示。人處于正常清醒狀態(tài)時(shí)，眼睛閉合時(shí)間是很短的，會(huì)迅速睜開(kāi)眼。而當(dāng)疲勞時(shí)，眼睛閉合時(shí)間會(huì)明顯變長(zhǎng)，因此眼睛閉合時(shí)間能直接反映駕駛員的精神狀態(tài)。通過(guò)計(jì)算從眼睛閉合到睜開(kāi)的最大幀數(shù)，幀數(shù)越多，閉合時(shí)間就越長(zhǎng)，則疲勞程度就越嚴(yán)重。

眼睛眨眼頻率欠。在人臉下半部分進(jìn)行水平灰度投影，觀察不同單人圖像的水平灰度投影曲線，

人在疲勞狀態(tài)下，眨眼頻率會(huì)比清醒狀態(tài)下頻率高。本文也將其作為一項(xiàng)參數(shù)作為疲勞判斷的依據(jù)。眼睛閉合到睜開(kāi)為眨眼一次。累加一段時(shí)間內(nèi)眨眼次數(shù)，作為疲勞判斷的一項(xiàng)參數(shù)。

頭部運(yùn)動(dòng)的疲勞參數(shù)

駕駛員在疲勞狀態(tài)下會(huì)出現(xiàn)頻繁點(diǎn)頭，頭部向前傾。通過(guò)水平灰度積分投影得到眼睛瞳孔、嘴角的水平位置。假設(shè)d1為瞳孔水平位置到采集圖片的上邊緣距離，d2為嘴角的水平位置到采集圖片的下邊緣距離。在駕駛員疲勞出現(xiàn)點(diǎn)頭情況，則d1增大且d2減小。駕駛員疲勞時(shí)，頭部向前傾，則d1增大且d2增大。點(diǎn)頭和頭部向前傾可以作為疲勞判斷的一項(xiàng)重要的依據(jù)。

疲勞駕駛監(jiān)測(cè)技術(shù)現(xiàn)狀

美國(guó)Attention Technologies公司推出的Driver Fatigue Monitor（DD850）是一款基于駕駛?cè)松矸磻?yīng)特征的駕駛?cè)似诒O(jiān)測(cè)預(yù)警產(chǎn)品。該產(chǎn)品通過(guò)紅外攝像頭采集駕駛?cè)搜鄄啃畔?，采用PERCLOS作為疲勞報(bào)警指標(biāo)，可直接安裝在儀表盤上，報(bào)警的敏感度和報(bào)警音量均可調(diào)節(jié)，目前已推廣應(yīng)用，但只有晚上才有效。

美國(guó)Digital Installations開(kāi)發(fā)的S.A.M.疲勞報(bào)警裝置利用置于方向盤下方的磁性條檢測(cè)方向盤轉(zhuǎn)角。如果一段時(shí)間內(nèi)駕駛員沒(méi)有對(duì)方向盤進(jìn)行任何修正操作，則系統(tǒng)推斷駕駛員進(jìn)入疲勞狀態(tài)，并觸發(fā)報(bào)警。

美國(guó)AssistWare Technology公司的SafeTRAC利用前置視頻頭對(duì)車道線進(jìn)行識(shí)別，當(dāng)車輛開(kāi)始偏離車道時(shí)進(jìn)行報(bào)警，該產(chǎn)品也可通過(guò)車道保持狀態(tài)結(jié)合駕駛?cè)说姆较虮P操作特性判斷駕駛?cè)说钠跔顟B(tài)。

英國(guó)的ASTiD裝置綜合考慮駕駛員的睡眠信息、已完成的駕駛時(shí)長(zhǎng)和類型，以及駕駛員的方向盤操作等各種因素判斷駕駛?cè)似跔顟B(tài)。裝置運(yùn)行前需要駕駛員輸入自己過(guò)去24小時(shí)的睡眠信息。當(dāng)視覺(jué)報(bào)警到一定程度時(shí)，觸發(fā)聲音報(bào)警，建議駕駛員停車并休息。休息一段時(shí)間后，內(nèi)置鬧鐘會(huì)叫醒駕駛員，并重置駕駛時(shí)間。

除了上述這些產(chǎn)品之外，還有通過(guò)手腕運(yùn)動(dòng)檢測(cè)疲勞的疲勞報(bào)警手鐲和可掛在眼睛腿上的利用加速度運(yùn)動(dòng)信息檢測(cè)頭部運(yùn)動(dòng)的疲勞檢測(cè)眼鏡等其它一些疲勞檢測(cè)預(yù)警產(chǎn)品。

對(duì)駕駛?cè)似跔顟B(tài)監(jiān)測(cè)方法與裝置的研究,對(duì)于預(yù)防由疲勞駕駛引起的交通事故有重要意義,其應(yīng)用前景廣闊,可以預(yù)見(jiàn)在未來(lái)很長(zhǎng)一段時(shí)間內(nèi)都將是汽車安全技術(shù)領(lǐng)域的一個(gè)熱點(diǎn)方向。但是，駕駛?cè)说钠跔顟B(tài)受多種因素影響，到目前為止還沒(méi)有發(fā)現(xiàn)非常有效的指標(biāo)或模型能夠?qū)ζ诘燃?jí)進(jìn)行精確的評(píng)價(jià)。因此需要進(jìn)一步深入研究各種指標(biāo)與駕駛?cè)似诘燃?jí)之間的關(guān)系。另外，現(xiàn)有的駕駛?cè)似跔顟B(tài)監(jiān)測(cè)方法大都基于某一單項(xiàng)指標(biāo)，雖然在限定條件下能夠達(dá)到一定的精度，但在實(shí)際復(fù)雜多變的行車環(huán)境下，其準(zhǔn)確性和可靠性上還存在問(wèn)題，難以達(dá)到預(yù)期要求。針對(duì)這一問(wèn)題，多源信息融合方法將成為一個(gè)發(fā)展方向。

責(zé)任編輯：PSY

原文標(biāo)題：汽車疲勞駕駛識(shí)別預(yù)警系統(tǒng)探秘

文章出處：【微信公眾號(hào)：傳感器技術(shù)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。