基于PERCLOS的汽車司機(jī)疲勞監(jiān)控方法的研究

一. 疲勞程度的檢測(cè)方法
??? 司機(jī)疲勞駕駛是引發(fā)交通事故的一個(gè)重要因素。美國(guó)國(guó)家公路交通安全局（NHTSA）最近幾年調(diào)查[1]顯示：每年平均有56000起車禍與疲勞駕駛相關(guān)，造成40000人受傷，1544人死亡（占交通事故死亡總?cè)藬?shù)的3.7％），調(diào)查還顯示有27％的受訪者表示有過開車打瞌睡的經(jīng)歷。公安部交通管理局1999年與2000年的統(tǒng)計(jì)結(jié)果表明：由于駕駛疲勞產(chǎn)生的交通事故只占1.4%和1.15%；產(chǎn)生的死亡率分別是2.5%和2.23%；但是疏忽大意、判斷錯(cuò)誤、措施不當(dāng)三項(xiàng)相加分別是18.8%和20.29%，產(chǎn)生的死亡率是18.6%和20.84%；在這三項(xiàng)事故原因中可能夾雜著駕駛疲勞。因此有必要研制一套能夠判別司機(jī)的疲勞程度的警報(bào)裝置?，F(xiàn)在許多國(guó)家正積極進(jìn)行這方面的研究。法國(guó)的一些研究機(jī)構(gòu)在聯(lián)手研制一種監(jiān)測(cè)司機(jī)注意力下降的系統(tǒng)，它可以通過聲音或光信號(hào)提醒司機(jī)。負(fù)責(zé)這項(xiàng)技術(shù)開發(fā)的法國(guó)圖盧茲西門子VDO汽車公司希望能在2006年給汽車安裝上這套裝置。這項(xiàng)研究工作已經(jīng)在去年上馬，總投資是1700萬法郎，主要是對(duì)車上安裝這一套裝置的可行性進(jìn)行研究。目前司機(jī)疲勞的生理特征的檢測(cè)方法較多，可分為接觸式檢測(cè)和非接觸式的檢測(cè)兩大類，主要有以下幾種：
???? １．疲勞產(chǎn)生的腦電變化大腦皮層興奮與抑制時(shí)，其腦電圖上的表現(xiàn)是不相同的。興奮時(shí)，腦電圖表現(xiàn)為低波幅、快活動(dòng)（稱β波，頻率在13Hz以上）；抑制時(shí)，腦電圖表現(xiàn)為高波幅、慢活動(dòng)（稱θ波，頻率為4-7Hz）；高度抑制，如深睡時(shí)，出現(xiàn)高幅更慢的波（稱δ波，頻率為0.5-4Hz）；清醒情況下，安靜閉目時(shí)為α波（頻率為8-13Hz）。根據(jù)腦電圖的頻率分布和波形，可推測(cè)大腦活動(dòng)的功能狀態(tài)，從而推測(cè)是否存在心理疲勞。但是腦電圖容易受外界因素的干擾且個(gè)體間的生理反映差距較大，價(jià)格過高，因此難以在實(shí)際中使用。
??? ２．頭部姿勢(shì)。疲勞時(shí)頭部會(huì)經(jīng)常向下傾斜，據(jù)統(tǒng)計(jì)[２]：對(duì)于大部分人，頭部位置與疲勞度的相關(guān)系數(shù)在0.8左右。而少數(shù)人疲勞時(shí)頭部姿勢(shì)基本不會(huì)變化相關(guān)系數(shù)呈現(xiàn)負(fù)值。該方法可作為疲勞檢測(cè)的輔助手段。
??? ３．方向盤的轉(zhuǎn)動(dòng)幅度及方向盤的握緊力。司機(jī)疲勞程度加深時(shí)，方向盤的大轉(zhuǎn)動(dòng)幅度次數(shù)增多，握緊方向盤的力量變大。這種方法的優(yōu)點(diǎn)是成本低。美國(guó)已研制出一種磁卡方向盤監(jiān)視系統(tǒng)，靠監(jiān)視方向盤的動(dòng)作和規(guī)律來檢測(cè)司機(jī)的精神狀態(tài)，這是目前唯一低價(jià)位的產(chǎn)品。
??? ４．道路追蹤器。在車上安裝一個(gè)攝像頭，它的視野與司機(jī)相同。司機(jī)疲勞駕駛時(shí)車輛會(huì)經(jīng)常會(huì)越過公路中間的白線。車輛離開白線的時(shí)間和偏離程度可以在一定程度反映司機(jī)的疲勞程度。這種測(cè)量的缺點(diǎn)是要求白線足夠清晰，并且晚上測(cè)量容易受到光線的影響而失敗。
??? ５．瞳孔計(jì)。奧地利的科學(xué)家經(jīng)過測(cè)試：精神振奮者的瞳孔直徑變化頻率平均為每分鐘5至10次，而長(zhǎng)時(shí)間未睡眠休息者的瞳孔直徑變化頻率平均每分鐘可達(dá)15次。他們已經(jīng)開發(fā)出了便攜式紅外線振動(dòng)記錄檢測(cè)儀。這種儀器能夠準(zhǔn)確記錄司機(jī)瞳孔直徑的變化頻率，供檢測(cè)者判斷司機(jī)的疲勞程度及其駕車的危險(xiǎn)性。
??? ６．PERCLOS。檢測(cè)眼皮下垂程度。

二.? PERCLOS方法的原理
??? PERCLOS指在一定的時(shí)間內(nèi)眼睛閉合時(shí)所占的時(shí)間比例。在具體試驗(yàn)中有p70，p80, em三種測(cè)量方式。
??? P70: 眼皮蓋過瞳孔的面積超過70%所占的時(shí)間比例。
??? P80: 眼皮蓋過瞳孔的面積超過80%所占的時(shí)間比例。
??? Em: 眼皮蓋過瞳孔的面積超過50%所占的時(shí)間比例。
??? FHWA[３]曾經(jīng)檢測(cè)PARCLOS，頭部姿勢(shì)的變化，腦電圖等方法的測(cè)試結(jié)果與疲勞的關(guān)系程度。他們讓試驗(yàn)者在42小時(shí)的實(shí)驗(yàn)過程中不能睡眠，每?jī)蓚€(gè)小時(shí)做20分鐘的疲勞程度測(cè)試。該測(cè)試要求試驗(yàn)者在半秒類對(duì)屏幕上出現(xiàn)的亮條作出判斷并按鍵，每二十分鐘統(tǒng)計(jì)失誤次數(shù)。該次數(shù)反映客觀上真實(shí)的疲勞程度，作為其他測(cè)量方式準(zhǔn)確性的衡量尺度。測(cè)量其他的生理特征值。將測(cè)量值與客觀疲勞程度作相關(guān)運(yùn)算。結(jié)果顯示PERCLOS中P80與客觀疲勞程度的相關(guān)系數(shù)最大，而EEG和頭部姿勢(shì)的變化個(gè)體間的差異很大。另外PERCLOS的另一個(gè)優(yōu)點(diǎn)是可以實(shí)現(xiàn)非接觸式檢測(cè)，不會(huì)影響駕駛。但是PERCLOS的檢測(cè)基于機(jī)器視覺，圖像處理的實(shí)時(shí)性實(shí)現(xiàn)比較困難。本文提出了一種適合于疲勞檢測(cè)的圖像處理方法。

三. 圖像采集系統(tǒng)的設(shè)計(jì)
??? 首先考慮司機(jī)的駕駛環(huán)境，檢測(cè)系統(tǒng)必須在夜晚或光線較弱的情況下正常工作，因此必須采用自帶光源的攝像系統(tǒng)。本系統(tǒng)采用自帶紅外發(fā)光管的紅外攝像機(jī)來采集圖像這樣不僅保證充足的照明而且紅外光線不可見，不會(huì)影響司機(jī)的駕駛。為了減少外界環(huán)境的干擾，降低圖像處理的復(fù)雜程度，應(yīng)當(dāng)盡量濾波背景圖像。圖像采集系統(tǒng)選用950nm近紅外線發(fā)光管做光源，選用索尼950nm紅外濾鏡過濾950nm窄帶波段以外的光譜。由于發(fā)光管發(fā)出的是950nm左右的窄帶的紅外線，而濾光片只能通過950nm左右的窄帶紅外線，可見光和其他波長(zhǎng)的紅外線被過濾，因此可以近似認(rèn)為采集圖像的光源只含有950nm的紅外光源。如圖1為用自然光拍攝的圖像，圖像的陰影較大，眼睛區(qū)域的定位難度很大，圖2為用本系統(tǒng)采集的紅外圖像，圖中司機(jī)的臉部比較清晰，離光源較遠(yuǎn)的物體幾乎被過濾掉。圖像的處理難度較小。考慮到圖像分析的實(shí)時(shí)性問題，以及在分析眼睛的大小時(shí)，眼睛的面積不能太小。我們選擇合適的分辨率，將采集的圖像的大小設(shè)定為320*240。司機(jī)的臉部圖像的大小調(diào)整在大致1萬象素左右。最后攝像機(jī)的dv圖像通過1394卡傳到計(jì)算機(jī)并由計(jì)算機(jī)控制紅外序列圖像的采集。系統(tǒng)的原理框圖如圖3所示

四. 臉部區(qū)域的提取
??? 由于采集系統(tǒng)過濾了大量的背景，可以假設(shè)采集的圖像滿足以下兩個(gè)先驗(yàn)條件：
??? 1)臉部的面積在圖像中所占的比例較大，如果用合理的閾值分割圖像，將分割后的二值圖像中值為1的區(qū)域按連通區(qū)域面積從大到小排序,臉部的面積可以排在前兩位。
??? 2)司機(jī)頭部的運(yùn)動(dòng)量較其他地方大。
??? 因此本文采用的做法是：先用合適的閾值分割方法得到圖像im2的二值圖像binim，然后求它與前一幀圖像im1的差分圖像difim（difim為im1和im2差值的絕對(duì)值取一定的閾值分割后的二值圖像），計(jì)算binim中面積最大的兩塊連通區(qū)域s1，s2；在差分圖像difim中計(jì)算兩塊區(qū)域的運(yùn)動(dòng)量，選取其中運(yùn)動(dòng)量較大的一個(gè)區(qū)域。計(jì)算該區(qū)域的上邊界和左右邊界，下邊界的選取使得臉部的區(qū)域?yàn)檎叫巍?br>??? 由于臉部姿勢(shì)變化時(shí)圖像的光線變化較大，用固定的閾值分割不可行。本文用類別方差自動(dòng)門限法對(duì)圖像做二值化處理，該方法的原理如下：

組合分析這些類別方差，可以衡量不同的門限導(dǎo)出的類別的分離性能?？梢赃x用的準(zhǔn)則有

五. 圓頻率變換和眼睛的定位及面積計(jì)算
??? 圓頻率變換的濾波方法[4]是Shinjiro Kawato和 Jun Ohya提出的一種用于分析人臉姿勢(shì)的方法。它的特點(diǎn)是不直接定位眼睛，而是通過定位兩只眼睛的連線的中點(diǎn)即眉心的位置來分析人臉的姿勢(shì)。該方法的特點(diǎn)是運(yùn)算速度快，能夠滿足實(shí)時(shí)處理的要求。本文利用這種方法作為眼睛定位的一個(gè)步驟，以減少下一步眼睛定位的搜索范圍。
?? 以點(diǎn)(x,y)為圓心，以一定的半徑畫圓，將圓周上的點(diǎn)依次存入數(shù)組，設(shè)數(shù)組為

取圓頻率濾波的半徑r＝len/4。
??? 定位出眉心后，本文用以下的方法步驟定位瞳孔中心并計(jì)算瞳孔的面積。
??? 1． 根據(jù)該點(diǎn)估計(jì)眼睛和眉毛所在的大致區(qū)域，選取距離眉心上下各20個(gè)象素，水平方向的距離在[7,40]的圖像區(qū)域。
??? 2． 在選取的圖像區(qū)域內(nèi)作水平積分投影即G(y)= ，對(duì)G(y)作均值濾波，眼睛和眉毛處的積分比較小，而二者中間的眼瞼亮度相對(duì)較大，因此我們計(jì)算G(y)中兩個(gè)波谷之間的波峰作為眼睛區(qū)域的上邊界，取上邊界加15作為下邊界。
??? 3． 在眼睛區(qū)域內(nèi)做廣義對(duì)稱變換計(jì)算瞳孔中心，由于眼睛的區(qū)域較小，雖然廣義對(duì)稱變換的時(shí)間復(fù)雜度為( )，其中n為圖像的象素總和，m為模型的大小，但是計(jì)算的區(qū)域較小，因此不會(huì)影響實(shí)時(shí)性。這里本文用橢圓模型定位瞳孔的中心，橢圓的長(zhǎng)軸a＝6，短軸b＝3廣義對(duì)稱變換的原理參考文獻(xiàn)[５]。
??? 4． 將瞳孔中心上下5個(gè)象素，左右10個(gè)象素區(qū)域的灰度變換到[0,1],取0.4為閾值分割圖像。計(jì)算瞳孔的面積。

???????????????????????? 圖5

??? 為了進(jìn)一步提高處理速度，本文并不對(duì)每一幀圖像做上述步驟處理而是在定位出眼睛的中心位置后估計(jì)下一幀眼睛和眉毛的區(qū)域，用積分投影和廣義對(duì)稱的方法定位眼睛的中心，只有當(dāng)連續(xù)兩幀眼睛周圍的亮度差值太大時(shí)才在整個(gè)圖像范圍內(nèi)用上述的所有步驟定位眼睛。如圖5顯示了右眼的定位和瞳孔面積計(jì)算的過程。

六.　實(shí)驗(yàn)結(jié)果及結(jié)論
本文的實(shí)驗(yàn)在MATLAB7.0，C41.7GCPU，256MB內(nèi)存的環(huán)境下進(jìn)行。MATLAB7.0增加了與視頻設(shè)備接口通訊的工具箱，，通過1394卡可以與dv攝像機(jī)通訊，實(shí)時(shí)捕捉和檢索圖像序列。本文采用MATLAB直接讀取視頻中的圖像并進(jìn)行處理，圖像處理的速度在每秒8～12幀，在臉部不是過于偏離鏡頭造成背光嚴(yán)重的情況下能夠準(zhǔn)確定位瞳孔中心。當(dāng)然采用單一的檢測(cè)手段有一定的局限性，例如有些人睡覺時(shí)眼睛不閉合，有些人喜歡帶墨鏡，此時(shí)PERCLOS方法就會(huì)失效。，采用多種疲勞判別方式的綜合可以提高判別的準(zhǔn)確度，例如綜合眼皮的眨動(dòng)次數(shù)，頭部姿勢(shì)以及汽車在行駛時(shí)的橫向速度的變化情況。為了提高系統(tǒng)疲勞檢測(cè)的有效性，多種疲勞判別方式綜合判定是我們對(duì)系統(tǒng)改進(jìn)的研究方向。