淺析自動(dòng)駕駛算法開發(fā)思路

就目前的自動(dòng)駕駛發(fā)展情況來看，功能產(chǎn)品解決方案應(yīng)該從特定區(qū)域的低速自動(dòng)駕駛產(chǎn)品做起，而后逐步發(fā)展到高速公路、環(huán)路等結(jié)構(gòu)化道路并至直復(fù)雜城市工況下自動(dòng)駕駛產(chǎn)品，這些產(chǎn)品形態(tài)應(yīng)是融入到整車功能/外觀等設(shè)計(jì)的前裝產(chǎn)品，而非簡(jiǎn)單后裝集成；那么該如何進(jìn)行自動(dòng)駕駛算法研究呢？

智行者在關(guān)鍵技術(shù)突破的基礎(chǔ)上，將重點(diǎn)開發(fā)專用于自動(dòng)駕駛的仿真/研發(fā)平臺(tái)產(chǎn)品，來幫助客戶提高研究效率和質(zhì)量。此外，將嘗試建立一套包含執(zhí)行器及自動(dòng)駕駛算法開發(fā)的生態(tài)平臺(tái)來整合多方資源，且此平臺(tái)應(yīng)該是開源和互相促進(jìn)的，從而提高自動(dòng)駕駛算法整體開發(fā)質(zhì)量。并做了一個(gè)2016-2020年的5年規(guī)劃。

首先介紹其自動(dòng)駕駛算法體系。

借鑒駕駛員行為研究中常用的Strategic level(戰(zhàn)略層)、Tactical level(戰(zhàn)術(shù)層)及Operational level(執(zhí)行層)三層架構(gòu)來描述算法研究體系。通常來講，戰(zhàn)略是頂層，包括目標(biāo)及路徑方向；戰(zhàn)術(shù)是支撐，包括具體行動(dòng)、路徑選擇等；而執(zhí)行是落地，即具體實(shí)現(xiàn)選擇的路徑。既然自動(dòng)駕駛最高境界是能夠模擬優(yōu)秀駕駛員的駕駛行為，那么顯然也可以用這三層結(jié)構(gòu)作為自動(dòng)駕駛算法的研究體系。

具體說來：在Strategic level上，我們關(guān)心的仍是自動(dòng)駕駛亙古不變的三個(gè)問題：Where am I?(我在哪) Where will I go?(我去哪) How to go?(怎么去)?！拔以谀摹笨梢詮V義上引申為當(dāng)前處于何種狀態(tài)，這種狀態(tài)不僅包括地理位置，還包括運(yùn)動(dòng)參數(shù)等狀態(tài)；同樣，“我去哪”可以引申為欲之達(dá)到的狀態(tài)，而“怎么去”則是采用方法、使用工具等。

在此宏偉戰(zhàn)略指導(dǎo)下，我們將自動(dòng)駕駛研究中老生常談的Percepiton(感知)、Decision(決策)及Control(控制)視為Tactical level的三個(gè)組成部分；但Strategic及Tactical兩層中元素并非一一對(duì)應(yīng)，而可能是一對(duì)多或多對(duì)一的關(guān)系；在Operational level中，就是各項(xiàng)關(guān)鍵技術(shù)，如基于視覺、雷達(dá)的目標(biāo)識(shí)別問題、全局及局部路徑搜索問題、汽車動(dòng)力學(xué)控制等。

可以看出，實(shí)際上我們絕大部分時(shí)間和精力都在同各項(xiàng)Operational level的具體技術(shù)打交道，并自然認(rèn)為如各項(xiàng)子技術(shù)的指標(biāo)（如識(shí)別率）能夠達(dá)到100%，則整體系統(tǒng)指標(biāo)也就達(dá)到100%，這種研究思路行得通嗎？借用威靈頓將軍名言：“要打勝仗就得靠?jī)?yōu)秀的戰(zhàn)略，但一位優(yōu)秀的將軍不會(huì)將軍事戰(zhàn)略建立在全靠?jī)?yōu)秀士兵基礎(chǔ)上”。這句話我們理解有兩層含義：一是客觀上不是所有士兵都是優(yōu)秀的，對(duì)應(yīng)于自動(dòng)駕駛，可翻譯為傳感器永遠(yuǎn)是不完美的、決策是會(huì)有失誤的、控制是有誤差的等等，這就需要從戰(zhàn)略層進(jìn)行融合、互補(bǔ)；二是一個(gè)優(yōu)秀戰(zhàn)略戰(zhàn)術(shù)需要根據(jù)士兵、裝備情況而靈活機(jī)動(dòng)，如小米加步槍則應(yīng)選擇游擊戰(zhàn)，而飛機(jī)坦克則可進(jìn)行正面交鋒。對(duì)應(yīng)于自動(dòng)駕駛，可簡(jiǎn)單理解為在不同的道路場(chǎng)景下需要調(diào)整傳感器或算法方案（如特定區(qū)域下低速行駛只需要差分GPS、單目及超聲波組合，高速公路可采用單目及毫米波，而在復(fù)雜交通環(huán)境（如宇宙中心五道口）的話激光雷達(dá)則必不可少）。

總結(jié)兩點(diǎn)：一是任何傳感器組合方案都應(yīng)該視時(shí)、視情而變，需要綜合考慮用戶需求、成本及場(chǎng)景復(fù)雜程度；二是很期待既能包打天下性價(jià)比又很高的傳感器組合出現(xiàn)，但相對(duì)于性價(jià)比，功能穩(wěn)定實(shí)現(xiàn)顯然更重要。

其次，想討論下Perception、Decision及Control三者的地位和關(guān)系。

很多研究機(jī)構(gòu)介紹其自動(dòng)駕駛研究水平時(shí)，通常是展示其視覺或雷達(dá)識(shí)別效果，并由此得出結(jié)論：基于小數(shù)點(diǎn)后4個(gè)9的識(shí)別率，最遠(yuǎn)距離能達(dá)100米，于是自動(dòng)駕駛系統(tǒng)完全能達(dá)到上路水平。對(duì)此，不免生疑：難道駕駛員水平高低可以用其視力水平來衡量么？

答案顯然是否定的，否則交管局和駕校也不樂意啊。為什么會(huì)造成這種現(xiàn)象呢？有兩種可能性：一是駕駛水平高低不好衡量，也就是沒有公認(rèn)客觀的標(biāo)準(zhǔn)，但畫框子顯然就好解釋多了，即標(biāo)準(zhǔn)很統(tǒng)一，無異議；第二就是我們覺得最郁悶的一點(diǎn)，許多研究者中眼里自動(dòng)駕駛研究天然就等同于感知研究，正如同下圖所示，即認(rèn)為應(yīng)該以感知為中心，決策控制用簡(jiǎn)單方法就可以搞定，無需大量研究。

暫且無論第二種認(rèn)識(shí)的對(duì)錯(cuò)，我們先以人工駕駛為例說明。通常我們稱駕駛技術(shù)好的為老司機(jī)，技術(shù)差的為新司機(jī)，顯然老司機(jī)同新司機(jī)的最大差別并不是視力或其它感知方面差距，而在于老司機(jī)擁有更豐富駕駛經(jīng)驗(yàn)、處理突發(fā)狀況能力及手腳協(xié)調(diào)能力等，而視力只是成為駕駛員基本入門條件。相信理解了這一點(diǎn)，那么我們就絕不會(huì)使用簡(jiǎn)單識(shí)別率指標(biāo)來衡量自動(dòng)駕駛算法水平高低，感知、決策及控制研究都同等重要，只不多各家研究重點(diǎn)不同而已；那么到底該如何準(zhǔn)確地評(píng)價(jià)自動(dòng)駕駛水平高低，接下來我們將會(huì)專門分析。

在研究中，我們認(rèn)為應(yīng)將自動(dòng)駕駛研究對(duì)象充分融入到整個(gè)“人-車-路”交通系統(tǒng)下進(jìn)行分析，而非只考慮單車功能實(shí)現(xiàn)，這是一個(gè)非常重要的思想，也是我們研究的根本出發(fā)點(diǎn)。試想一下，如果一輛自動(dòng)駕駛車輛只考慮自身功能實(shí)現(xiàn)，沒有同其它交通參與者形成良性互動(dòng)，即無法理解其它目標(biāo)駕駛行為同時(shí)也時(shí)常做出旁車無法理解的非常規(guī)動(dòng)作，那么它顯然不能稱之為一輛高水平的自動(dòng)駕駛車輛。

對(duì)于如何將“人-車-路”系統(tǒng)融入至自動(dòng)駕駛算法開發(fā)中，我們認(rèn)為有必要首先回答以下六個(gè)問題。

同時(shí)，這六個(gè)問題也對(duì)應(yīng)智行者確定的如圖所示的六個(gè)關(guān)鍵研究方向。

1、駕駛場(chǎng)景大數(shù)據(jù)采集與應(yīng)用

駕駛場(chǎng)景數(shù)據(jù)采集是基于車輛、傳感器等硬件平臺(tái)，通過對(duì)實(shí)際交通環(huán)境數(shù)據(jù)進(jìn)行采集并后處理，來分析潛在的駕駛行為，并用于進(jìn)行算法優(yōu)化和評(píng)估。

舉個(gè)栗子說明：某世界知名主機(jī)廠的ACC在歐洲和北美市場(chǎng)受到消費(fèi)者的好評(píng)，但在中國(guó)卻處境尷尬，問卷調(diào)查反映：該ACC設(shè)置跟車距離保守的話將造成鄰車頻繁切入，而激進(jìn)的話則駕駛員會(huì)造成心理不適，這說明該ACC難以適應(yīng)復(fù)雜中國(guó)道路環(huán)境和駕駛員行為習(xí)慣，因此需要在中國(guó)進(jìn)行交通數(shù)據(jù)采集來優(yōu)化其關(guān)鍵參數(shù)。

說到這里，便出現(xiàn)一個(gè)很有意思的詞—“復(fù)雜環(huán)境”，可以大膽地說，“復(fù)雜環(huán)境”絕對(duì)是環(huán)境感知類碩博士論文題目中出現(xiàn)的高頻詞，國(guó)內(nèi)外均是如此。那么究竟什么交通環(huán)境才能稱為“復(fù)雜”？我們認(rèn)為有兩點(diǎn)：一是目標(biāo)數(shù)量、種類多，即人車混雜、分布稠密，這是通常目標(biāo)識(shí)別中所謂的“復(fù)雜環(huán)境”；第二是目標(biāo)行為復(fù)雜，及行為多變、難以預(yù)測(cè)，例如鄰車突然加塞(merging)，電動(dòng)自行車等違規(guī)行駛等。顯然，當(dāng)前對(duì)第二個(gè)復(fù)雜點(diǎn)研究和關(guān)注較少，而其基本研究方法首先就需要真實(shí)交通場(chǎng)景的大數(shù)據(jù)作為支撐。

2、駕駛能量場(chǎng)及其應(yīng)用

記得數(shù)年前某位國(guó)外知名主機(jī)廠高管曾說過，自動(dòng)駕駛對(duì)他們來說就是分分鐘的事情，因?yàn)樵谒磥砜v向控制就是“ACC+CC+AEB”，集成現(xiàn)有成熟技術(shù)就可以了。對(duì)此，我們只能說：自動(dòng)駕駛跟ADAS真的半毛錢關(guān)系都沒有，如果有，最多也就半毛錢。

為什么不贊成用ADAS集成思路來進(jìn)行自動(dòng)駕駛算法開發(fā)，原因有二：

一是ADAS本身存在一定弊病：還是以ACC/CC/AEB為例，三者之間存在復(fù)雜、繁瑣的IF-THEN切換規(guī)則，同時(shí)現(xiàn)實(shí)交通的復(fù)雜性又導(dǎo)致切換邊界交叉區(qū)域重疊，極易造成混亂；另外三者控制指標(biāo)還不相同，體系混亂。在這么混亂體系下自動(dòng)駕駛算法還是最好別添亂了。

二是ADAS設(shè)計(jì)理念同人類駕駛理念大相徑庭。任何一個(gè)駕駛教練都不會(huì)教授學(xué)員去如何穩(wěn)定跟隨前車，或如何保持恒定車速。駕駛員在Car Following時(shí)通常會(huì)與前車保持一定安全界限，但安全界限不是安全距離，它難以用距離、THW或TTC等具體指標(biāo)來進(jìn)行描述；在Free Driving駕駛員操控動(dòng)機(jī)更加復(fù)雜，車速會(huì)受到駕駛員心理、道路質(zhì)量、天氣等多方面影響，沒有一個(gè)駕駛員會(huì)奇怪地保持一個(gè)速度行駛。

歸根結(jié)底以上討論的本質(zhì)為決策中駕駛態(tài)勢(shì)形式化（或認(rèn)知形式化）的問題。在這種情況下，借鑒擬人化駕駛思路，我們構(gòu)建一種基于“能量場(chǎng)”的人、車、路駕駛態(tài)勢(shì)分析方法來為后續(xù)決策、控制算法提供維度固定、準(zhǔn)確可靠的認(rèn)知形式化基礎(chǔ)。

基于“能量場(chǎng)”進(jìn)行決策控制基本原理可描述為：如下圖，在駕駛過程中，任何干擾因素（車輛、行人、道路、交通標(biāo)志甚至天氣）都將直接或間接的影響駕駛動(dòng)作，如這些因素以某種能量進(jìn)行描述的話，那么理想駕駛狀態(tài)應(yīng)遵循這些能量的某種平衡。該方法關(guān)鍵問題在于能量場(chǎng)模型建立、平衡態(tài)模型就工程化問題，后續(xù)將進(jìn)行詳細(xì)討論。

3、基于深度學(xué)習(xí)的自動(dòng)駕駛決策控制研究

鑒于深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域取得的巨大成功，結(jié)合駕駛大數(shù)據(jù)，它或許能真正革新傳統(tǒng)Rule-based決策方法，甚至于改變整套自動(dòng)駕駛算法體系。

我們首先開展工作是驗(yàn)證端到端的模型的合理性和有效性，基本思路源于nvidia的這張圖，即CNN訓(xùn)練輸入端為相機(jī)圖像，輸出端則是執(zhí)行器參數(shù)。

鑒于對(duì)此方案效果仍無十足把握，我們選擇采用仿真方式進(jìn)行驗(yàn)證，以提高效率和避免實(shí)車實(shí)驗(yàn)風(fēng)險(xiǎn)。仿真平臺(tái)采用Vrep+Matlab，在Vrep中我們搭建了前后安裝兩個(gè)單目相機(jī)的藍(lán)色小車，場(chǎng)景主要包括車道線、固定障礙物及動(dòng)態(tài)隨機(jī)干擾車輛，數(shù)據(jù)采集通過人工遙控方式進(jìn)行。經(jīng)過多人次、多圈的數(shù)據(jù)采集及在Matlab中進(jìn)行網(wǎng)絡(luò)訓(xùn)練，我們最終在同樣環(huán)境下進(jìn)行測(cè)試，但遺憾的是效果遠(yuǎn)低于預(yù)期，更是遠(yuǎn)比不上傳統(tǒng)方法。原因可能是多方面的，如模型合理性、訓(xùn)練數(shù)據(jù)量、網(wǎng)絡(luò)結(jié)構(gòu)等，同時(shí)這也告訴我們一個(gè)道理：即使DL是真正解決之道，但也不要妄想能夠很快的達(dá)到甚至超過傳統(tǒng)方法水平，還需要很長(zhǎng)路要走。

4、執(zhí)行器性能評(píng)價(jià)體系

相信IT界同行們搞自動(dòng)駕駛一開始都有一個(gè)疑惑：為什么主機(jī)廠搞自動(dòng)駕駛還要改車，難道沒有底層執(zhí)行器協(xié)議么？存在這個(gè)疑問同志需要先腦補(bǔ)下EPS/EVB/ESP等執(zhí)行器基本原理和國(guó)內(nèi)發(fā)展現(xiàn)狀，同時(shí)還需要知道汽車界有一個(gè)比主機(jī)廠還牛的叫博世的供應(yīng)商，他就是不給開放你又怎么的。在這種凄慘背景下好學(xué)的中國(guó)自動(dòng)駕駛研究者們被活活逼成執(zhí)行器改裝大師，稍不注意還形成了所謂底層核心技術(shù)。

這種條件下開發(fā)自動(dòng)駕駛弊病是明顯的：由于執(zhí)行器改裝可靠性和一致性較差，即使上層算法再好，那也難以將其進(jìn)行大規(guī)模復(fù)制，而單車單調(diào)顯然將造成巨大的人力和效率的損失。許多算法研究都提出執(zhí)行器自適應(yīng)的方法，但目前終歸還是處于學(xué)術(shù)研究階段。不妨換一種思路：如果上層算法開發(fā)者能夠提出與其算法相關(guān)的執(zhí)行器關(guān)鍵指標(biāo)及其范圍，同時(shí)該指標(biāo)能采用簡(jiǎn)單方式進(jìn)行可靠測(cè)量，那么就可以將這部分工作轉(zhuǎn)嫁到執(zhí)行器供應(yīng)商中，從而在理論上應(yīng)可實(shí)現(xiàn)算法規(guī)?；瘡?fù)制。實(shí)際上這就是執(zhí)行器性能評(píng)價(jià)體系建立的問題，也是智行者當(dāng)前面臨實(shí)際項(xiàng)目正在攻關(guān)的一個(gè)方向。

5、車輛“智商”評(píng)價(jià)指標(biāo)及體系

車輛“智商”是自動(dòng)駕駛水平高低的表述，它的重要意義在于：

一是其為算法開發(fā)的重要導(dǎo)向。例如，對(duì)于無人車比賽來說同等情況下跑得快的肯定比跑得慢分?jǐn)?shù)高，這就使得各支車隊(duì)將把速度提升作為重要研究?jī)?nèi)容。

二是它是自動(dòng)駕駛車輛頒發(fā)“運(yùn)營(yíng)合格證”基本評(píng)測(cè)依據(jù)。這一點(diǎn)是算法開發(fā)引導(dǎo)的重要抓手和支撐，這里面蘊(yùn)含著巨大的商業(yè)機(jī)會(huì)，原因你懂的。

回到現(xiàn)實(shí)中自動(dòng)駕駛開發(fā)，我們認(rèn)為當(dāng)前仍缺乏一套合理且易于操作的評(píng)測(cè)體系。跑的快就一定代表自動(dòng)駕駛水平高嗎？當(dāng)然未必，回想一下我們?nèi)绻胗芍再澝李I(lǐng)導(dǎo)駕駛水平高的話，我們通常會(huì)說：真是又快、又穩(wěn)、還省油，這不經(jīng)意間我們道出汽車行駛?cè)蠼K極評(píng)價(jià)指標(biāo)—安全、舒適、節(jié)能。如此說來，跑得快既不利于安全，又不感到舒適，更談不上節(jié)能，為何卻成為大家公認(rèn)評(píng)價(jià)指標(biāo)呢？作為一個(gè)老參賽隊(duì)員我認(rèn)為原因有二：一是比賽終歸是比賽，總得有個(gè)簡(jiǎn)單、粗暴、好打分的指標(biāo)，太復(fù)雜反而有異議；二是跑得快一定程度上證明算法穩(wěn)定可靠，是一種極限能力的體現(xiàn)，就如同最高車速、最大爬坡度是汽車性能評(píng)價(jià)指標(biāo)一樣。

因此，雖然當(dāng)前各家算法“智商”高低都是依據(jù)其核心人員的自我標(biāo)準(zhǔn)來估計(jì)，但相信未來車輛“智商”評(píng)價(jià)方法應(yīng)集合多家研究機(jī)構(gòu)共同智慧，形成有益的標(biāo)準(zhǔn)體系，并應(yīng)有三方或權(quán)威機(jī)構(gòu)來進(jìn)行組織、實(shí)施和認(rèn)證。

6、基于ROS/VREP開發(fā)及仿真平臺(tái)建設(shè)

作為一個(gè)長(zhǎng)期參與調(diào)車和比賽工程師來說，雖然以前不知道仿真究竟有多么強(qiáng)大，但著實(shí)覺得基于實(shí)車進(jìn)行算法調(diào)試實(shí)在太Low、太低效了，當(dāng)然絕不是說實(shí)車調(diào)試不對(duì)，而是如何有效的提高效率和算法質(zhì)量。

我們做夢(mèng)都希望能夠擁有這樣一個(gè)自動(dòng)駕駛集成開發(fā)平臺(tái)：虛擬仿真同實(shí)車調(diào)試應(yīng)是無縫的，應(yīng)是召之即來、來之能用、用之能戰(zhàn)，不存在移植這一說；同時(shí)仿真平臺(tái)的傳感器、道路及車輛模型等應(yīng)最大程度接近于真實(shí)。

基于以上考慮，我們選擇ROS/VREP組合來實(shí)現(xiàn)。ROS最近在自動(dòng)駕駛?cè)锖芑?，很多大牛寫文?a target="_blank">推薦，連BMW都開始湊熱鬧。我們采用ROS初衷很樸實(shí)：開源免費(fèi)、同VREP有現(xiàn)成接口，同時(shí)該平臺(tái)能夠模塊化組織，能夠?yàn)橄乱徊介_源打下基礎(chǔ)；選擇VREP原因也很樸實(shí)：開源免費(fèi)、同ROS有現(xiàn)成接口，當(dāng)然其強(qiáng)大功能也值得一試（例如包括Velodyne等多種激光雷達(dá)傳感器）。

總得來說，我們深知要搭建一套實(shí)用、多場(chǎng)景的仿真系統(tǒng)見效慢、難度大，但在飽受實(shí)車調(diào)試之苦后，我們也將繼續(xù)堅(jiān)持。

以上就是這六項(xiàng)技術(shù)的總體闡述，下面將就其中第1項(xiàng)：駕駛場(chǎng)景大數(shù)據(jù)采集與應(yīng)用進(jìn)行專題介紹，并利用同Daimler及上汽實(shí)際合作項(xiàng)目進(jìn)行舉例。

駕駛場(chǎng)景大數(shù)據(jù)采集與應(yīng)用

1、研究動(dòng)機(jī)及目標(biāo)

正如同人類對(duì)大腦運(yùn)行機(jī)理認(rèn)識(shí)之膚淺一樣，自動(dòng)駕駛研究者們對(duì)人類駕駛行為機(jī)理認(rèn)知及建模也是束手無策。這直接逼得小伙伴們紛紛將希望寄托于采用深度學(xué)習(xí)來模擬人類駕駛行為，正如此前炒得火熱的George Hotz公開的源碼一樣，索性拋棄所謂行為機(jī)理研究，直接端到端一湊，黑匣子加大數(shù)據(jù)使勁訓(xùn)練，立馬就可以上路，搞得傳統(tǒng)研究方法貌似不再具有研究?jī)r(jià)值。

冷靜！畢竟我們目前沒有復(fù)現(xiàn)出，也沒有看到國(guó)內(nèi)有機(jī)構(gòu)復(fù)現(xiàn)出該端到端方法的有效性。即使能夠拿出吃奶的勁復(fù)現(xiàn)出，且不說效果如何，還有一大堆爛攤子需要解決：端到端外網(wǎng)絡(luò)輸入是否還有其它選擇、網(wǎng)絡(luò)設(shè)計(jì)復(fù)雜程度能否降低、big data究竟要多big才算big、現(xiàn)實(shí)場(chǎng)景超出訓(xùn)練范圍如何處理以及如何處理與傳統(tǒng)規(guī)則方法的關(guān)系等。

正如在上文中說到：即使DL是真正解決之道，但也不要妄想能夠很快的達(dá)到甚至超過傳統(tǒng)方法水平，還需要很長(zhǎng)路要走。所以奉勸在微信群里歇斯底里膜拜以及認(rèn)為已經(jīng)找到朝圣之路的童子們需要冷靜、理性地對(duì)待新技術(shù)：自動(dòng)駕駛復(fù)雜程度注定了不可能有一種技術(shù)包打天下，再牛逼的技術(shù)充其量也只是解決其中一個(gè)小小的分支；自動(dòng)駕駛技術(shù)行業(yè)不同于IT等行業(yè)，安全底線和苛刻成本要求注定其只有選擇最保守的升級(jí)模式，操作系統(tǒng)死機(jī)了就重啟這種“絕招”是絕對(duì)不允許在汽車上出現(xiàn)的。

回歸到討論中來，要研究駕駛行為，首先需要回答以下幾個(gè)問題：

什么是駕駛行為？

為什么要研究駕駛行為，研究什么內(nèi)容？

如何研究，預(yù)期目標(biāo)是什么？

1）什么是駕駛行為？

“駕駛行為”同“復(fù)雜環(huán)境”一樣都屬于神奇的詞語，無論怎么定義別人都可以挑出毛病，而且都很有道理。在筆者博士論文研究時(shí)還專門調(diào)研了國(guó)外同行怎么理解這個(gè)詞，最終發(fā)現(xiàn)表述也是五花八門，并無權(quán)威定義，例如可常見以下關(guān)鍵詞Driver behavior，Driver decision, Driving event及Driver intention等混用。

在這里我們沒有必要糾結(jié)該如何給駕駛行為下一個(gè)準(zhǔn)確的定義，暫時(shí)采用一個(gè)能用于解決實(shí)際問題的定義，這里厚臉皮的截取筆者博士論文中一段論述：

注意，以上研究實(shí)際上是智能車如何理解其它車輛目標(biāo)的行為，而非本車駕駛行為。我們需要換個(gè)角度思考，其它車輛的駕駛行為也正是智能車所要學(xué)習(xí)的對(duì)象，而不僅僅是學(xué)習(xí)本車駕駛員行為。

2）為什么要研究駕駛行為，研究什么內(nèi)容？

雖然駕駛行為研究重要性能夠得到廣泛認(rèn)可，但在實(shí)際開發(fā)中卻有意無意的被忽略，某些時(shí)候甚至陷入認(rèn)識(shí)誤區(qū)。以換道行為舉例，在某些公開自動(dòng)駕駛演示數(shù)據(jù)統(tǒng)計(jì)中，經(jīng)常把換道次數(shù)作為一項(xiàng)重要參考指標(biāo)進(jìn)行宣傳，且無論是開發(fā)者還是第三方都認(rèn)可一個(gè)觀點(diǎn)：換道次數(shù)越多則證明自動(dòng)駕駛功能越好。

但實(shí)際交通情況下并非換道次數(shù)越多越好，某些不文明的換道還經(jīng)常上朋友圈亮相。因此，自動(dòng)駕駛行為好不好要看其在特定場(chǎng)景下是否合理，而非其功能有多么復(fù)雜，或復(fù)雜行為出現(xiàn)頻次，就好比歌手不恰當(dāng)?shù)撵偶紝?huì)使得聽眾狂噓，全程飆高音也證明不了歌唱水平高一樣。

那么如何理解一個(gè)換道行為是否合理？這里首先從學(xué)術(shù)研究上捋一捋換道行為全過程：

換道動(dòng)機(jī)產(chǎn)生：即此場(chǎng)景下為什么要換道，是前方十字路口左轉(zhuǎn)需要換道（mandatorylane-changing），還是嫌棄前車龜速，抑或前面是個(gè)油罐車，得趕緊離它遠(yuǎn)遠(yuǎn)的(free lane-changing)。總之，得有一個(gè)合理的作案動(dòng)機(jī)。

換道可行性：mandatory lane-changing比較復(fù)雜，還需要分析感興趣目標(biāo)行為，例如它是否允許你加塞；free lane-changing比較簡(jiǎn)單，分析目標(biāo)車輛運(yùn)動(dòng)學(xué)關(guān)系即可。

換道執(zhí)行：換道執(zhí)行也分為三六九等，例如可按正常方式進(jìn)行，也可加速超越鄰車換道，當(dāng)然還有減速禮讓鄰車先行后再換道。合理的執(zhí)行方式非常重要，例如你總不能在鄰車讓你加塞的情況下還慢悠悠地?fù)Q過去吧，這時(shí)候最佳策略是：麻溜地趕緊換過去，要不過這個(gè)村沒這個(gè)店了。

實(shí)際上上述換道過程體現(xiàn)的就是一個(gè)真實(shí)自然駕駛?cè)说乃伎己筒僮鞯倪^程。推而廣之，任何行為都分解為：動(dòng)機(jī)、可行性分析及執(zhí)行三個(gè)子模塊，但當(dāng)下對(duì)動(dòng)機(jī)研究卻少之又少，從而出現(xiàn)前述單純以換道次數(shù)作為評(píng)價(jià)指標(biāo)的現(xiàn)象，希望以后類似演示或比賽中能夠公布一些關(guān)鍵行為的支持?jǐn)?shù)據(jù)和邏輯來證明其合理性，或者通過主觀問卷調(diào)查也可以，那樣至少能夠體現(xiàn)出我們對(duì)于自動(dòng)駕駛認(rèn)識(shí)及開發(fā)的深度和專業(yè)性。

具體到駕駛行為如何確定，可由一句話歸納：通過對(duì)地圖、外界命令及道路交通狀態(tài)綜合判斷來確定自動(dòng)駕駛行為。這句話包括兩層含義：一是地圖及外界命令可確定駕駛行為，例如地圖告訴系統(tǒng)前方100米十字路口要左轉(zhuǎn)，則當(dāng)前不在左轉(zhuǎn)道的話則要盡快左換道，這屬于命令驅(qū)動(dòng)行為，不在本研究范圍內(nèi)；另一種是行為由駕駛員及道路狀態(tài)所驅(qū)動(dòng)，如駕駛員想尋求速度優(yōu)勢(shì)，或遠(yuǎn)離前方危險(xiǎn)車輛等，這是本主題所研究對(duì)象。

除了動(dòng)機(jī)研究外，駕駛行為研究還包括目標(biāo)行為預(yù)測(cè)研究：如在戴姆勒Gavrila教授論文“ Will the Pedestrian Cross? AStudy on Pedestrian Path Prediction”中，正是在行人識(shí)別基礎(chǔ)上來預(yù)測(cè)該行人是否有橫穿馬路的行為趨勢(shì)，從而指導(dǎo)ADAS或自動(dòng)駕駛做出合理的決策。由此可見，目標(biāo)行為預(yù)測(cè)是多么重要，從另一個(gè)角度來講這實(shí)際上是一個(gè)多目標(biāo)體運(yùn)動(dòng)博弈問題，當(dāng)然這就扯的更遠(yuǎn)了。

3）如何研究，預(yù)期目標(biāo)是什么？

前面已說到，DL或許是一個(gè)很好的思路和方法，但短期內(nèi)我們還是想找一些更具清晰數(shù)學(xué)模型，更簡(jiǎn)潔快速的方法。基于清華大學(xué)同戴姆勒等車企合作項(xiàng)目基礎(chǔ)，我們認(rèn)為駕駛場(chǎng)景大數(shù)據(jù)采集是一個(gè)不錯(cuò)的方法；當(dāng)前國(guó)內(nèi)許多主機(jī)廠也認(rèn)可了這種方法，例如智行者科技同上汽當(dāng)前正在開展的針對(duì)于自動(dòng)駕駛的數(shù)據(jù)采集項(xiàng)目。

駕駛場(chǎng)景大數(shù)據(jù)采集基于車輛、傳感器等硬件平臺(tái)，通過對(duì)實(shí)際交通環(huán)境數(shù)據(jù)進(jìn)行采集并后處理，來分析潛在的駕駛行為，并用于進(jìn)行ADAS及自動(dòng)駕駛算法優(yōu)化和評(píng)估。通過數(shù)據(jù)采集和分析，建立基于實(shí)際交通環(huán)境的場(chǎng)景庫?；谠搱?chǎng)景庫，我們不僅希望在具體功能開發(fā)過程中提出統(tǒng)計(jì)意義上的指導(dǎo)，避免關(guān)鍵參數(shù)主觀臆斷；同時(shí)希望建立仿真模型庫，并提供用戶自動(dòng)駕駛算法接口，將算法結(jié)果同實(shí)際數(shù)據(jù)進(jìn)行定量分析，繼而提出改進(jìn)意見。

最后用下面圖片來總結(jié)駕駛場(chǎng)景大數(shù)據(jù)研究動(dòng)機(jī)及預(yù)期目標(biāo)。

2、研究思路

下圖是系統(tǒng)整體研究思路，首先通過數(shù)據(jù)采集及后處理構(gòu)建場(chǎng)景庫；而后基于該場(chǎng)景庫對(duì)自動(dòng)駕駛關(guān)鍵參數(shù)進(jìn)行統(tǒng)計(jì)分析，并用于指導(dǎo)功能開發(fā)；最后依托于場(chǎng)景庫構(gòu)建虛擬仿真平臺(tái)，并利用此平臺(tái)對(duì)自動(dòng)控制算法效果同實(shí)際駕駛數(shù)據(jù)進(jìn)行對(duì)比，從而評(píng)價(jià)算法性能。以下分別對(duì)三個(gè)部分進(jìn)行介紹：

數(shù)據(jù)采集及后處理

數(shù)據(jù)采集主要涉及傳感器、道路及駕駛員等因素，以戴姆勒合作項(xiàng)目為案例進(jìn)行分析。在該項(xiàng)目中，車輛平臺(tái)選用奔馳S級(jí)轎車，并開放相關(guān)底層CAN協(xié)議；采用Velodyne 64線激光為主要數(shù)據(jù)采集設(shè)備，同時(shí)車頂布置四臺(tái)相機(jī)進(jìn)行圖像采集；此外車輛配置一臺(tái)雙目進(jìn)行駕駛員面部表情檢測(cè)，數(shù)據(jù)采集處理器和存儲(chǔ)采用工控機(jī)進(jìn)行。

駕駛員選擇相對(duì)嚴(yán)格，首先是對(duì)收入和職業(yè)有一定要求，即要具有潛在購(gòu)買奔馳車的能力，其次是需要參考現(xiàn)有奔馳車主的一個(gè)大概年齡和性別分布來進(jìn)行確定。一句話，駕駛選擇同項(xiàng)目研究目的緊密結(jié)合，不是隨便找兩個(gè)司機(jī)就OK，從這一點(diǎn)上可以看出德企項(xiàng)目研究相當(dāng)嚴(yán)謹(jǐn)和有針對(duì)性。

在采集道路選擇上同樣也盡可能的全面。如下圖所示，確定了單程60多公里的采集路線：包括高速、環(huán)路及城市復(fù)雜道路等多種交通場(chǎng)景，同時(shí)還要在交通高峰期和非高峰期分別采集；此外必須風(fēng)雨無阻，越是下雨下雪越好：記得數(shù)據(jù)采集是差不多已經(jīng)是冬天了，突然有一天下雪，我還以為可以休息一天，哪知戴姆勒項(xiàng)目的中國(guó)同事卻異常興奮，說終于有特殊天氣了，今天要多記點(diǎn)數(shù)據(jù)，其認(rèn)真精神真是令人汗顏。

下圖是戴姆勒項(xiàng)目總結(jié)的從三個(gè)維度上去考察駕駛行為：駕駛員、車輛及道路交通情況。是不是有種似曾相識(shí)的感覺呢，在上文中我們提到，自動(dòng)駕駛研究必須考慮“人-車-路”相互關(guān)系及影響，而非將三者孤立看待，這同基于這三個(gè)維度的駕駛行為分析有很大相似之處。在下文中將重點(diǎn)分析各個(gè)維度對(duì)駕駛行為的影響及采用的基本分析方法。

回顧一下，這一部分主要介紹了用于駕駛行為研究的場(chǎng)景大數(shù)據(jù)采集與分析，重點(diǎn)分析了駕駛行為基本概念、研究動(dòng)機(jī)及意義，并就數(shù)據(jù)采集及應(yīng)用思路進(jìn)行了介紹。

在下一部分中將就其中核心內(nèi)容：數(shù)據(jù)后處理及場(chǎng)景庫建立、統(tǒng)計(jì)分析指導(dǎo)及虛擬場(chǎng)景建模進(jìn)行逐一分析。

1、數(shù)據(jù)采集與后處理

上文已對(duì)數(shù)據(jù)采集平臺(tái)、傳感器、交通環(huán)境及駕駛員等進(jìn)行了介紹，在戴姆勒平臺(tái)上，一天的原始數(shù)據(jù)采集量約為1T左右，50天就有近50T的數(shù)據(jù)了。如此“海量”的數(shù)據(jù)中如何提取有用的信息呢？如果將數(shù)據(jù)分析過程視為淘金的話，首先需要進(jìn)行洗礦，即通過數(shù)據(jù)后處理來初步處理原始數(shù)據(jù)。

數(shù)據(jù)后處理的主要目的如下：

典型場(chǎng)景標(biāo)記：對(duì)于典型駕駛場(chǎng)景（如跟車、換道等），國(guó)內(nèi)外數(shù)據(jù)分析通常采用人工標(biāo)記手段進(jìn)行，理論上雖然可以基于傳感器數(shù)據(jù)進(jìn)行自動(dòng)分析，但考慮到現(xiàn)實(shí)場(chǎng)景的復(fù)雜性及處理精度，建議采用人工標(biāo)記方法；

參數(shù)自動(dòng)計(jì)算：在場(chǎng)景標(biāo)記基礎(chǔ)上，基于傳感器數(shù)據(jù)對(duì)感興趣目標(biāo)進(jìn)行分析，如跟車場(chǎng)景中前車距離、相對(duì)速度、THW及TTC等關(guān)鍵參數(shù)；

場(chǎng)景數(shù)據(jù)庫：對(duì)于各種場(chǎng)景庫及其對(duì)應(yīng)參數(shù)，需要開發(fā)數(shù)據(jù)庫系統(tǒng)進(jìn)行管理，系統(tǒng)應(yīng)具備局部條件查詢、導(dǎo)入導(dǎo)出等基本功能。

針對(duì)以上三個(gè)目的，我們開發(fā)了如下圖所示的三個(gè)軟件進(jìn)行處理：TSLS，TDPPS及TDMS，以下對(duì)前兩項(xiàng)進(jìn)行介紹。

1.1 TSLS功能介紹

TSLS主要用于場(chǎng)景人工標(biāo)記，標(biāo)記內(nèi)容如下圖所示，主要包括：場(chǎng)景類型、起止時(shí)間、對(duì)應(yīng)交通及駕駛員信息。這其中關(guān)鍵點(diǎn)為場(chǎng)景如何分類，當(dāng)前場(chǎng)景分為6個(gè)大類，78個(gè)小類，分類依據(jù)主要基于學(xué)術(shù)研究、國(guó)際相關(guān)項(xiàng)目及中國(guó)實(shí)際交通道路情況。

下圖為橫向駕駛行為標(biāo)記示例，橫向行為當(dāng)前分為三種具體場(chǎng)景：鄰車切入、成功換道及換道失敗。每一種場(chǎng)景里面又分為若干小類，如成功換道又包括換至鄰車道、跨越兩車道換、換至逆向車道、逆向車道換至原車道等，同樣另外兩種場(chǎng)景也包括若干小類。同時(shí)在標(biāo)記過程中除了選擇所屬小類外，還需要具體標(biāo)記場(chǎng)景信息，以提高參數(shù)計(jì)算精度，如需要標(biāo)記周圍車輛位置、車輛類型等多種屬性。

在場(chǎng)景標(biāo)記中，另一重要內(nèi)容是場(chǎng)景起止時(shí)間標(biāo)記，這涉及到各個(gè)場(chǎng)景的定義，具體不再贅述。

1.2 TDPPS功能介紹

TDPPS的主要功能是在場(chǎng)景標(biāo)記基礎(chǔ)上對(duì)其中典型參數(shù)進(jìn)行計(jì)算，主要包括如下的四個(gè)步驟：數(shù)據(jù)同步、傳感器融合、目標(biāo)檢測(cè)及數(shù)據(jù)庫寫入操作。顯然，這其中關(guān)鍵步驟當(dāng)然是目標(biāo)檢測(cè)，在戴姆勒項(xiàng)目中，主要采用64線激光雷達(dá)進(jìn)行車輛目標(biāo)識(shí)別及參數(shù)計(jì)算。

在該研究中，基于64線激光的車輛識(shí)別最遠(yuǎn)距離做到70米左右，最主要參數(shù)包括車輛距離及相對(duì)速度，參數(shù)精度評(píng)估方法為：在數(shù)據(jù)采集車及測(cè)試車輛上安裝同基站差分GPS系統(tǒng)，以64線激光計(jì)算的目標(biāo)距離和速度同差分系統(tǒng)推導(dǎo)的兩車距離及速度進(jìn)行對(duì)標(biāo)，從而評(píng)估參數(shù)計(jì)算精度，通過多組實(shí)驗(yàn)驗(yàn)證距離和相對(duì)速度兩項(xiàng)參數(shù)的精度均在95%以上。下面視頻為車輛目標(biāo)識(shí)別過程，其中左側(cè)綠色矩形框?yàn)樽R(shí)別出車輛的OBB（定向包圍體），右側(cè)曲線為距離及相對(duì)速度參數(shù)曲線。

2、基于統(tǒng)計(jì)方法的參數(shù)指導(dǎo)

在ADAS或自動(dòng)駕駛開發(fā)過程中，經(jīng)常會(huì)涉及到一些關(guān)鍵參數(shù)難以確定的情況，例如：量產(chǎn)ACC系統(tǒng)通常分為三個(gè)檔，用于表示激進(jìn)、中等及保守三種跟車類型，用戶可根據(jù)自己駕駛風(fēng)格及實(shí)際體驗(yàn)來選擇不同檔位。那么這三個(gè)檔位參數(shù)閾值該如何確定呢？相信這些參數(shù)及其確定方法都是各家公司的核心技術(shù)機(jī)密，但通過戴姆勒合作項(xiàng)目我們逐漸認(rèn)識(shí)到，德國(guó)同行顯然更認(rèn)同通過大數(shù)據(jù)采集方式來進(jìn)行典型參數(shù)分析的“笨”方法，而不是僅憑開發(fā)者或領(lǐng)導(dǎo)意志來走捷徑。

由于項(xiàng)目合作要求，無法向大家公布具體參數(shù)類型及統(tǒng)計(jì)值，只能簡(jiǎn)單舉例說明研究思路。下圖為參數(shù)分析截圖，主要采用方法有正態(tài)分析、相關(guān)性分析及T檢驗(yàn)等，分析目標(biāo)參數(shù)分布、同道路、駕駛員顯著性分析及其它。

下圖即為不同道路條件下跟車行為的THW分布，通過分布值將得到實(shí)際道路上應(yīng)該如何設(shè)置參數(shù)閾值，以及不同道路條件下是否需要改變閾值分布（通過不同道路的顯著性差別進(jìn)行判斷）。

下圖為換道場(chǎng)景下自車道前車、鄰車道前后車輛的距離及相對(duì)速度分布關(guān)系，這張圖在自動(dòng)駕駛換道行為判斷上尤其有用。在上一期說到，換道過程包括動(dòng)機(jī)產(chǎn)生、可行性分析及換道執(zhí)行三部分。那么基于這些數(shù)據(jù)可以大致反映中國(guó)駕駛員的換道動(dòng)機(jī)（尤其是速度動(dòng)機(jī)方面），同時(shí)鄰車道前后車輛行駛狀態(tài)也可用于分析換道是否可行，注意：此處換道可行性并非表示運(yùn)動(dòng)學(xué)上是否具有碰撞風(fēng)險(xiǎn)，而是實(shí)際條件下駕駛員換道習(xí)慣，只有按這些所謂的習(xí)慣進(jìn)行自動(dòng)駕駛開發(fā)，才能使得車輛真正融入到正常交通流中，而不至于顯得生疏和孤僻。

3、基于仿真場(chǎng)景的算法改進(jìn)

車輛研究方向商用仿真軟件很多，且各有特點(diǎn)：如Carsim強(qiáng)項(xiàng)是車輛動(dòng)力學(xué)仿真，其傳感器模型功能較弱；Prescan在ADAS研究方面優(yōu)勢(shì)巨大，其接近真實(shí)的道路場(chǎng)景模型、豐富的傳感器模型能夠極大節(jié)省功能仿真時(shí)間。但無論何種仿真工具，目前都僅是一種低級(jí)“工具”，即使其道路、傳感器及車輛動(dòng)力學(xué)模型再真實(shí)，也難以對(duì)實(shí)際交通行為進(jìn)行仿真，只能在一些預(yù)設(shè)簡(jiǎn)單場(chǎng)景下進(jìn)行測(cè)試。

本研究思路如下圖，將場(chǎng)景庫中測(cè)試場(chǎng)景導(dǎo)入仿真軟件中，導(dǎo)入元素包括道路結(jié)構(gòu)、感興趣目標(biāo)運(yùn)動(dòng)參數(shù)等；在虛擬場(chǎng)景下，將自動(dòng)駕駛算法放入其中進(jìn)行測(cè)試，并同場(chǎng)景庫中真實(shí)駕駛參數(shù)進(jìn)行對(duì)比；將對(duì)比參數(shù)曲線輸出，從而可以得出算法評(píng)估報(bào)告，并以場(chǎng)景庫中參數(shù)作為標(biāo)準(zhǔn)對(duì)自動(dòng)駕駛算法進(jìn)行迭代改進(jìn)。注意，此思路是立足于所謂“優(yōu)秀駕駛員“的假設(shè)基礎(chǔ)上進(jìn)行的，即假設(shè)進(jìn)行數(shù)據(jù)采集的駕駛員駕駛行為是算法學(xué)習(xí)的對(duì)象。

下面兩個(gè)視頻是上述思路的一個(gè)展示。第一個(gè)視頻是原始交通數(shù)據(jù)，其中智能車輛正在穩(wěn)態(tài)跟車行駛；第二個(gè)視頻是其虛擬仿真場(chǎng)景，其中前車和左車道鄰車是按真實(shí)場(chǎng)景中車輛運(yùn)動(dòng)參數(shù)進(jìn)行模擬行駛，智能車運(yùn)動(dòng)是由算法輸入進(jìn)行控制，此視頻中尚未展示跟車對(duì)比曲線，但在實(shí)際研究過程中，正是通過關(guān)鍵參數(shù)的曲線對(duì)比來調(diào)節(jié)自動(dòng)駕駛算法參數(shù)，盡量使其同實(shí)際駕駛行為無限逼近。

以上就是這一期的全部?jī)?nèi)容，簡(jiǎn)單回顧：在數(shù)據(jù)采集基礎(chǔ)上，首先進(jìn)行數(shù)據(jù)后處理來建立典型駕駛行為場(chǎng)景庫；其次，通過場(chǎng)景庫數(shù)據(jù)統(tǒng)計(jì)分析，來得出關(guān)鍵參數(shù)的實(shí)際分布情況，并用其指導(dǎo)實(shí)際算法開發(fā)；最后，將場(chǎng)景庫中場(chǎng)景還原至仿真環(huán)境中，從而進(jìn)行實(shí)際駕駛數(shù)據(jù)同自動(dòng)控制算法的對(duì)比，從而進(jìn)一步改進(jìn)算法，提高算法在實(shí)際交通環(huán)境中的適應(yīng)性。

駕駛行為研究是決策算法的靈魂所在，也是當(dāng)前復(fù)雜環(huán)境下自動(dòng)駕駛研究面臨的最大挑戰(zhàn)，可以毫不夸張的說它的成敗直接決定了自動(dòng)駕駛水平到底是屬于“新司機(jī)”水平還是“老司機(jī)”水平；但當(dāng)前對(duì)駕駛行為機(jī)理研究尚不充分，本文所述方法也只是摸著石頭過河，還需要更多研究者共同參與研究！