可穿戴設(shè)備對(duì)駕駛員監(jiān)測(cè)系統(tǒng)的沖擊 - 全文

　　講師：朱玉龍，江湖人贈(zèng)稱號(hào)“朱校長(zhǎng)”，深耕于汽車電子設(shè)計(jì)領(lǐng)域，從2014年8月創(chuàng)建“汽車電子設(shè)計(jì)”個(gè)人微信公眾號(hào)以來(lái)，筆耕不輟，堅(jiān)持每天撰寫推送一篇原創(chuàng)文章，公眾號(hào)關(guān)注人數(shù)愈萬(wàn)，是業(yè)內(nèi)備受尊敬的“干貨知識(shí)庫(kù)”。

　　主題：

　　1.現(xiàn)有駕駛員監(jiān)測(cè)的方案

　　2.駕駛員監(jiān)測(cè)的可行方案概覽

　　3.DM參數(shù)分析

　　4.目前產(chǎn)品的困難和局限

　　5.高級(jí)自動(dòng)駕駛對(duì)DM的需求

　　6.DM的未來(lái)發(fā)展

　　以下為微沙龍講座的演講實(shí)錄+PPT：

　　朱玉龍：我這邊今天選擇的主題，是駕駛員監(jiān)測(cè)，不是在前向防碰撞的體系里面，也不在倒車的體系里面，所以它比較獨(dú)立。我選的這個(gè)話題，因?yàn)槿蚍秶鷥?nèi)，它在未來(lái)的無(wú)人駕駛跟ADAS這塊都是非常重要的，但是與國(guó)外整個(gè)切入點(diǎn)來(lái)講，是相對(duì)比較好的。所以我這邊也做一個(gè)介紹，因?yàn)橹翱赡艽蠹覍?duì)于駕駛員監(jiān)測(cè)更多是在客車上作為一個(gè)強(qiáng)制的使用，并不看成是一個(gè)機(jī)會(huì)。我選擇這樣一個(gè)話題的切入點(diǎn)，也是希望大家可以重新審視這個(gè)相對(duì)在ADAS領(lǐng)域里面比較偏門的一個(gè)東西。

　　國(guó)外駕駛員監(jiān)測(cè)的方案介紹

　　首先，從兩個(gè)大類來(lái)講，從駕駛員監(jiān)測(cè)總體的架構(gòu)是從直接監(jiān)測(cè)跟間接監(jiān)測(cè)兩類劃分，直接監(jiān)測(cè)是直接通過(guò)駕駛員的獲取信息，主要是通過(guò)他的臉部信息跟圖像，采取這個(gè)模式來(lái)獲取整個(gè)的信息。這里通常意義上我們就是有幾個(gè)緯度，一個(gè)就是駕駛員的注意方向，還有一個(gè)是判斷駕駛員整個(gè)眼瞼的閉合情況，需要移植對(duì)人體疲勞模型，對(duì)整個(gè)眼的情況，也需要適度的一個(gè)學(xué)習(xí)過(guò)程。

　　在德國(guó)那塊，大量通過(guò)使用車輛方向盤的角速度，還有整個(gè)驅(qū)動(dòng)器正常跟異常的判斷，通過(guò)正常的算法來(lái)做。在傳統(tǒng)的算法里頭，因?yàn)樾畔⒘康木暥炔粔?，更多是一種提醒，因?yàn)樗鼪]有辦法，有些人的駕駛風(fēng)格就是特殊的，不一樣。所以在這一頁(yè)里頭，基本上我們可以看到這是兩個(gè)截然不同的路徑。

　　我來(lái)重點(diǎn)介紹一下駕駛員監(jiān)測(cè)的認(rèn)知緯度，我們認(rèn)為在整個(gè)駕駛員的狀態(tài)有四個(gè)基本緯度，一個(gè)就是認(rèn)知的負(fù)荷，通過(guò)人體的疲勞負(fù)荷，來(lái)判斷他要睡、分心、過(guò)勞，通過(guò)眼鏡的注視方向，眼睛眨眼的情況，包括腦電波、心跳、皮膚的傳導(dǎo)率、體溫、呼吸的分析，來(lái)判斷駕駛員身體的情況。第三個(gè)緯度就是我們經(jīng)常說(shuō)的，你是不是去打手機(jī)，或者說(shuō)你在開車的時(shí)候去喝茶，干一些別的什么事兒。第四個(gè)就是通過(guò)駕駛的距離，跟車道的實(shí)際情況，車速變化跟加速情況，通過(guò)這些認(rèn)知緯度來(lái)認(rèn)識(shí)駕駛員多維度的情況。

　　我們首先還是看一下豐田的Denso的方案。Denso的方案是用一個(gè)NIR紅外的傳感器加上一體化的ECU，主要是用在豐田的雷克薩斯車上，也用在它的卡車上面，主要是用來(lái)做疲勞監(jiān)測(cè)。然后在磕睡狀態(tài)，眨眼會(huì)比較厲害，整個(gè)人打瞌睡會(huì)閉的很厲害，通過(guò)這個(gè)記錄來(lái)記錄整個(gè)實(shí)際駕駛員身體的情況，可能會(huì)做聲音的報(bào)警。

　　總體來(lái)講這個(gè)方案有好有壞，好的地方就是通過(guò)算法，因?yàn)橥ㄟ^(guò)直接的函數(shù)，把整個(gè)人的實(shí)際情況也弄出來(lái)了，然后看通過(guò)監(jiān)聽以及一些直接的參數(shù)，它能夠讓你的整個(gè)方案精確度相對(duì)比較高，這個(gè)其實(shí)也是仁者見仁智者見智，因?yàn)楫吘笶CU是離線的，每個(gè)人的實(shí)際情況也不一樣。比起相對(duì)監(jiān)測(cè)的方案，這個(gè)東西其實(shí)整個(gè)識(shí)別率是相對(duì)比較高的。壞處就是說(shuō)這個(gè)地方布置起來(lái)比較難，在整個(gè)駕駛盤的下方，因?yàn)橐紤]整個(gè)布置，這個(gè)東西其實(shí)也做的很難小，還有一個(gè)紅外的LED的燈，因?yàn)椴贾闷饋?lái)要被駕駛員看到，就會(huì)覺得這個(gè)東西是弄干嗎，從整個(gè)成本來(lái)講由于設(shè)計(jì)的時(shí)候是比較偏高的，在整個(gè)歐美的客戶他是比較容易擔(dān)心監(jiān)測(cè)到隱私，你一直在看他，他在整個(gè)實(shí)際情況里頭，數(shù)據(jù)的情況是不是有被外傳，他其實(shí)是不知道的。在某些特殊的場(chǎng)景下面作為一些記錄之類的，這個(gè)方案的本身從某種程度來(lái)說(shuō)是一個(gè)比較直接的，它是所見即所得的方案。

　　相比較而言，德系的方案我對(duì)比了一下，在整個(gè)奧迪、大眾、寶馬、戴姆勒他們幾個(gè)方案都是差不多的，都是通過(guò)方向盤角速度的記錄，然后做了疲勞駕駛的系統(tǒng)，相對(duì)來(lái)講它的裝車率在幾年以前就比較高，實(shí)際上這里頭就多了一個(gè)算法，對(duì)整個(gè)ECU里講并沒有加，是在原來(lái)的ECU里頭做了一些處理。

　　這個(gè)就是因?yàn)槠鋵?shí)是根據(jù)你的駕駛行為去判斷這個(gè)東西，那么它更多的是一種輔助、預(yù)防的舒適功能，它并不是直接干預(yù)你的任何行為，更多是根據(jù)這個(gè)轉(zhuǎn)向速度評(píng)估其他的一些情況，相當(dāng)于傳到儀表總件里頭做報(bào)警。

　　還有一個(gè)就是普遍意義上大家覺得疲勞駕駛做的不是很好，或者說(shuō)會(huì)產(chǎn)生大量誤報(bào)的原因，因?yàn)檫@里頭更多的是根據(jù)一些客觀的參數(shù)，然后本身這個(gè)算法都是固化的，整個(gè)不同的人、不同的行為做進(jìn)去的時(shí)候它會(huì)得到比較大的差異性。

　　根據(jù)兩種模式，我們可以仔細(xì)的看一下這張圖，他把正常的轉(zhuǎn)向行為，相當(dāng)于根據(jù)我們的集中度理論來(lái)判斷，因?yàn)檎Ｔ诓煌霓D(zhuǎn)彎下，你的轉(zhuǎn)向變化率是有限的，而且相當(dāng)于它會(huì)正反都有的，如果你在一定的上面沒有逆向的動(dòng)作，感覺整個(gè)車輛的姿勢(shì)是一扭一扭的。

　　原來(lái)的這種比較簡(jiǎn)單的方案，在整個(gè)ECU車輛姿勢(shì)的階段去進(jìn)行做數(shù)據(jù)分析，去做挖掘，它更多的是以轉(zhuǎn)向角速度的單向變化率來(lái)作為一個(gè)主要的識(shí)別量。實(shí)際為了進(jìn)一步的分化這個(gè)東西，你可以看到它在里頭會(huì)把車速、行程、發(fā)動(dòng)機(jī)狀態(tài)、轉(zhuǎn)向角、橫向加速度、偏轉(zhuǎn)率、車門的情況、安全帶的情況、時(shí)間信號(hào)，還有通過(guò)這個(gè)系統(tǒng)，把車內(nèi)溫度、汽車的操作，綜合進(jìn)行運(yùn)算之后，得到一個(gè)駕駛員的情況。

　　這里存在一個(gè)基本的概念，在原來(lái)的主的算法基礎(chǔ)上，加入了一些別的權(quán)重，來(lái)判斷駕駛員在里頭的行為，如果駕駛員啥都沒干的話，在整個(gè)很疲勞的情況下，所有的其他行為都是沒有的，這也就是客觀上面加了一個(gè)輔助的緯度做指征，來(lái)判斷整個(gè)疲勞駕駛。這個(gè)方案的核心問題，更多的是以車內(nèi)的情況，僅僅是看整個(gè)車內(nèi)所有相關(guān)的這些傳感器的情況來(lái)判斷駕駛員的行為。

　　為了進(jìn)一步的把整個(gè)算法提升，我們需要從更多的緯度去考慮，就是不僅是看車輛的響應(yīng)，也要看到駕駛的行為，更要看在整個(gè)檢測(cè)車外的信息，跟獲取駕駛員的信息組成一個(gè)綜合緯度的算法來(lái)確認(rèn)。核心在于在整個(gè)前向AEB，還有（32）已經(jīng)加了以后，就可以獲取外面的信息作為一個(gè)綜合，也就是說(shuō)你知道外面的道路是什么樣子的，來(lái)結(jié)合判斷車輛實(shí)際的響應(yīng)跟車主的行為，然后再通過(guò)直接采集駕駛員的接觸信息，如下面這張圖所看到的那樣。

　　這個(gè)圖是比較有趣的，你可以通過(guò)安全帶，可以通過(guò)在測(cè)手的溫度，對(duì)比車廂內(nèi)的環(huán)境溫度，根據(jù)手接觸的時(shí)候，判斷心跳的情況，然后再結(jié)合通過(guò)方向盤，判斷車輛姿態(tài)的變化，結(jié)合的把這個(gè)算法整合出來(lái)。從某種程度上面來(lái)說(shuō)，這個(gè)算法就比原來(lái)德系的算法，整個(gè)緯度和信息上面都要全很多。數(shù)據(jù)的運(yùn)算能力可能需要單獨(dú)一個(gè)模塊來(lái)整合，因?yàn)橄喈?dāng)于你從不同的地方去抽取。

　　講了這幾種現(xiàn)有的方案，總體來(lái)講整個(gè)圖像來(lái)講，它相對(duì)于來(lái)講是一個(gè)比較好的選擇，比較準(zhǔn)，差異也比較小。整個(gè)系統(tǒng)來(lái)講，你不加成本，或者加少量的成本還好說(shuō)，如果加了很多的硬件，加了這個(gè)東西之后，很難說(shuō)服客戶裝這樣一個(gè)東西。因?yàn)榭蛻粢驗(yàn)檫@個(gè)東西還加大了一些難度，雖然可能疲勞駕駛對(duì)客戶來(lái)講是一個(gè)安全的隱患，但是更多的人在疲勞的時(shí)候選擇自己開回家，而不是找一個(gè)代駕，這個(gè)問題其實(shí)對(duì)于客戶來(lái)講其實(shí)他相當(dāng)于花了錢買一個(gè)可能有些時(shí)候會(huì)阻礙我開車的東西，或者是吵著他的東西，這個(gè)是比較麻煩的。一旦涉及到駕駛員圖像，這是很難規(guī)避到在國(guó)外用戶那塊的介意程度的，布置起來(lái)有些時(shí)候讓客戶看到這個(gè)東西他就會(huì)比較介意。

　　我是覺得駕駛員監(jiān)測(cè)這個(gè)方案更多是對(duì)人的一個(gè)行為的了解，這個(gè)并不是在汽車?yán)镉械模驗(yàn)槿嗽谄嚴(yán)锏男袨?，或者人在汽車?yán)镞@個(gè)東西在不同的場(chǎng)合，在密閉的場(chǎng)合其實(shí)都是差不多的?？梢愿鶕?jù)物理的、視覺的，還有身體的東西來(lái)弄，然后通過(guò)紅外圖像、TOF，通過(guò)前向的camera融合，包括角速度傳感器，還有酒精傳感器等探測(cè)的傳感器來(lái)做。

　　從某種程度上面整個(gè)可穿戴設(shè)備的東西，信息整合對(duì)于整個(gè)車輛的DM的沖擊還是挺大的。為什么這么說(shuō)呢？這個(gè)可穿戴設(shè)備更多是一種用戶的設(shè)備遷移，他可以在不同的地方用。比如說(shuō)你去開車、開船、做事情，它對(duì)于你的健康監(jiān)測(cè)的需求是另外一個(gè)緯度的，比如你戴一個(gè)apple watch它有健康監(jiān)測(cè)功能，健康這些東西分析出來(lái)，最后把這個(gè)信息同步到整個(gè)車輛信息再做一個(gè)，其實(shí)從某種程度上面，它就是在另外一個(gè)緯度解決問題了，這跟車沒關(guān)系。

　　隨著整個(gè)大數(shù)據(jù)量的學(xué)習(xí)，對(duì)于人體Apple watch 個(gè)性化的情況，會(huì)比車輛的迭代越來(lái)越快。因?yàn)楦Ｌ氐姆桨刚麄€(gè)量產(chǎn)這塊遇到了一些問題，就是說(shuō)加這個(gè)系統(tǒng)未來(lái)有沒有價(jià)值？加了那么多的傳感器，讓用戶只是在開車的時(shí)候用有沒有價(jià)值，是不是把可穿戴設(shè)備融合在車的里面，通過(guò)通信的模式，通過(guò)整合，比如說(shuō)通過(guò)開發(fā)可穿戴設(shè)備的應(yīng)用來(lái)解決。這一塊來(lái)講是現(xiàn)有的DM，就是現(xiàn)有如果是常規(guī)車的DM，無(wú)論是客車、卡車都是一個(gè)大的challenge。

　　可以簡(jiǎn)短的來(lái)講，如果沒有自動(dòng)駕駛，或者沒有高階的輔助駕駛，DM的輔助需求是非常有限的，它僅僅是關(guān)注于疲勞以外，還有整個(gè)其他的一些特殊的情況，對(duì)客戶來(lái)講這個(gè)時(shí)候并沒有太大的問題，即使疲勞也是因?yàn)楣ぷ魉龋驗(yàn)樵趺礃颖仨氁ラ_，有這個(gè)或者沒這個(gè)，因?yàn)槟闶遣桓深A(yù)的，所以更多是上了一個(gè)提醒的燈一樣。

　　這張圖我也在朋友圈有發(fā)過(guò)，整個(gè)航空業(yè)和車輛，在無(wú)人駕駛這個(gè)領(lǐng)域兩個(gè)產(chǎn)品的方案是不一樣的。在飛機(jī)上，因?yàn)槟愕姆磻?yīng)時(shí)間是有的，在意外的情況發(fā)生的時(shí)候，是有兩個(gè)飛行員，而且有一些時(shí)間來(lái)響應(yīng)。因?yàn)檎麄€(gè)飛行員受過(guò)訓(xùn)練，對(duì)整個(gè)操作是非常熟悉的，或者說(shuō)他們之間的整個(gè)過(guò)程是非常響應(yīng)快的。從自動(dòng)飛行切到手動(dòng)飛行模式他們是經(jīng)過(guò)長(zhǎng)久的訓(xùn)練的。在車輛這塊，特別是高階的輔助駕駛?cè)绻霈F(xiàn)未來(lái)的意外，比如GPS信號(hào)丟失、聯(lián)網(wǎng)丟失、部件的損壞，意外的東西出現(xiàn)的時(shí)候，那么整個(gè)汽車行業(yè)其實(shí)不知道駕駛員的情況。

　　我覺得在某種程度上面來(lái)說(shuō)，DM是非常重要的一個(gè)東西，它更多的是如果你的汽車出現(xiàn)意外，自動(dòng)駕駛出現(xiàn)了一些缺陷或者怎么樣，整個(gè)系統(tǒng)在operation下面它是要監(jiān)測(cè)駕駛員行為，要通過(guò)HMI讓客戶知道整個(gè)車現(xiàn)在有點(diǎn)問題，你不能像以前那么信賴它。只是我們將來(lái)把高階的L3設(shè)計(jì)的很好，你也很難保證在任何時(shí)段這個(gè)東西都不出問題。更多的時(shí)候，在完整狀態(tài)下客戶是很輕松的去享受這個(gè)高階的輔助駕駛帶來(lái)的快樂。這個(gè)DM更多的是要默默在后臺(tái)工作 ，確認(rèn)消費(fèi)者萬(wàn)一在出問題的時(shí)候它能不能夠迅速反應(yīng)過(guò)來(lái)。

　　豐田在它的DRCC，是在一個(gè)很高速的范圍內(nèi)做ECC的時(shí)候，這個(gè)東西就非常要緊了。因?yàn)樗@邊就結(jié)合了自適應(yīng)巡航+車道保持，消費(fèi)者在這種情況下其實(shí)他既不要?jiǎng)臃较虮P，車輛兩個(gè)結(jié)合之后是可以做控制的。這里頭消費(fèi)者一般來(lái)講，在高速上根本就不用管那個(gè)吃。如果出現(xiàn)一些意外，其實(shí)車也會(huì)可以做減速，但是它需要確定駕駛員是否處在一個(gè)狀態(tài)，他會(huì)不會(huì)睡著了，如果睡著了之后它就需要一個(gè)比較強(qiáng)的HMI來(lái)介入，把駕駛員做喚醒。 總體來(lái)講，在整個(gè)國(guó)外的OEM，特別是做高速ACC巡航的時(shí)候都會(huì)有這樣一個(gè)要求，或者說(shuō)對(duì)于HMI的要求特別高。所以某種程度上線一旦是系統(tǒng)跟駕駛員共同決定一個(gè)系統(tǒng)的行為的時(shí)候，將來(lái)出事故，特別是出安全事故的時(shí)候，這里頭就有兩部分行為。也就是說(shuō)原來(lái)的輔助駕駛更多介入度比較少的時(shí)候，所有的行為我們是比較容易去查的，也就是說(shuō)可復(fù)現(xiàn)的。什么意思呢？就是說(shuō)某種程度上，駕駛員的行為它是獨(dú)立的，整個(gè)車那塊相當(dāng)于它行為是均一化的。一旦ADAS加入之后，里頭有大量的information，包括V2V 、V2I，還有整個(gè)道路的情況，需要復(fù)現(xiàn)一個(gè)事故的話就比較難了。也就是說(shuō)如果再次出現(xiàn)像豐田剎車門這種剎車剎不下來(lái)的時(shí)候，或者是出現(xiàn)其他事故，或者說(shuō)車主睡著了或者怎么樣，因?yàn)榈皆礁唠A的時(shí)候，特別是還沒到完全無(wú)人駕駛，只是機(jī)器責(zé)任的時(shí)候，兩邊都有的話，你需要界定最后出問題的那一方，因?yàn)槲蚁嘈臕DAS一定會(huì)出問題，在整個(gè)部署過(guò)程以后，它一定會(huì)伴隨一些事故，伴隨著一些問題發(fā)生。在這個(gè)過(guò)程里頭，你看到的投放都是從高端車慢慢一步一步，從嚴(yán)格的環(huán)境控制，因?yàn)樗镱^是多輸入，有ADAS，有通信系統(tǒng)，有駕駛員，輸出的話有整個(gè)ADAS自己在控制，也有駕駛員在控制，這樣的情況下你能夠獲取到DM的信息，對(duì)車廠來(lái)講是非常有幫助的。

　　所以我們?cè)倏床煌膱?chǎng)景下，在整個(gè)不同的模式下面，整個(gè)功能開啟或者說(shuō)功能理想條件下，或者不理想條件下，我把這兩個(gè)圖放在一起，一個(gè)是藍(lán)色的一個(gè)是紅色的。某種程度上面，將來(lái)的DM更多的是作為，如果做ADAS沒有車聯(lián)網(wǎng)還是不要去做了，核心的數(shù)據(jù)就是說(shuō)，需要把駕駛員的數(shù)據(jù)、DM的數(shù)據(jù)跟車輛的行為保存到服務(wù)器上面，萬(wàn)一出問題的時(shí)候你可以把整個(gè)行為復(fù)現(xiàn)，然后搭建場(chǎng)景重新來(lái)判斷到底哪里出問題。為什么所謂的自動(dòng)駕駛或者說(shuō)高階的ADAS比較難的地方，就是有兩個(gè)輸入進(jìn)來(lái)的時(shí)候是有大量的問題在，就是說(shuō)你想跑得快，但是從工程實(shí)現(xiàn)上面，特別是做DEMO上面是很容易的事。但是一旦鋪開的時(shí)候，特別是有大量不同的車主，大量不同的行為在的時(shí)候，還有整個(gè)你在可靠性條件下，它必定會(huì)有一些東西出現(xiàn)功能上面或者性能上面的危險(xiǎn)的時(shí)候，這個(gè)問題你可以想象一下都是挺頭痛的。

　　總體來(lái)講，DM將來(lái)作為高階的無(wú)人駕駛，不管是在座的各位做ADAS也好，做哪個(gè)環(huán)節(jié)也好，DM更多是作為一個(gè)必須擁有的東西出現(xiàn)的，它又是跟整個(gè)車聯(lián)網(wǎng)的系統(tǒng)、信息記錄、數(shù)據(jù)收集是合在一起的。我今天主要講這個(gè)東西，也是希望大家能夠理解，（39）這個(gè)東西在以前的概念是一個(gè)疲勞駕駛，以后更多不僅僅是疲勞駕駛。更多的是高階的ADAS一個(gè)調(diào)研駕駛員反饋窗口的概念，因?yàn)檎麄€(gè)高速無(wú)人駕駛也好，將來(lái)的低速無(wú)人駕駛也好，是讓用戶在娛樂狀態(tài)下，在放松狀態(tài)下，需要一個(gè)動(dòng)態(tài)的HMI，讓車主需要在整個(gè)系統(tǒng)不能工作的時(shí)候能夠肩負(fù)起他自己安全的責(zé)任。