一個(gè)使用傳統(tǒng)DAS和深度強(qiáng)化學(xué)習(xí)融合的自動(dòng)駕駛框架

增強(qiáng)學(xué)習(xí)是最近幾年中機(jī)器學(xué)習(xí)領(lǐng)域的最新進(jìn)展。增強(qiáng)學(xué)習(xí)依靠與環(huán)境交互學(xué)習(xí)，在相應(yīng)的觀(guān)測(cè)中采取最優(yōu)行為。行為的好壞可以通過(guò)環(huán)境給予的獎(jiǎng)勵(lì)來(lái)確定。不同的環(huán)境有不同的觀(guān)測(cè)和獎(jiǎng)勵(lì)。例如，駕駛中環(huán)境觀(guān)測(cè)是攝像頭和激光雷達(dá)采集到的周?chē)h(huán)境的圖像和點(diǎn)云，以及其他的傳感器的輸出，例如行駛速度、GPS定位、行駛方向。駕駛中的環(huán)境的獎(jiǎng)勵(lì)根據(jù)任務(wù)的不同，可以通過(guò)到達(dá)終點(diǎn)的速度、舒適度和安全性等指標(biāo)確定。增強(qiáng)學(xué)習(xí)和傳統(tǒng)機(jī)器學(xué)習(xí)的最大區(qū)別是增強(qiáng)學(xué)習(xí)是一個(gè)閉環(huán)學(xué)習(xí)的系統(tǒng)，增強(qiáng)學(xué)習(xí)算法選取的行為會(huì)直接影響到環(huán)境，進(jìn)而影響到該算法之后從環(huán)境中得到的觀(guān)測(cè)。

增強(qiáng)學(xué)習(xí)在無(wú)人駕駛中的應(yīng)用

關(guān)于安全自主駕駛的研究可以分為兩種方法：一是傳統(tǒng)的感知，規(guī)劃和控制框架，另一種是基于學(xué)習(xí)的方法?；趯W(xué)習(xí)的方法可以成功處理在計(jì)算機(jī)視覺(jué)領(lǐng)域的高維特征（如卷積神經(jīng)網(wǎng)絡(luò)（CNN））而廣受歡迎[5]-[7]，強(qiáng)化學(xué)習(xí)算法可以最大化預(yù)期獎(jiǎng)勵(lì)的總和。有越來(lái)越多的研究開(kāi)始將這兩種技術(shù)結(jié)合，用于自動(dòng)駕駛。對(duì)于車(chē)道保持，Rausch等人[8]提出了一種訓(xùn)練網(wǎng)絡(luò)的方法，該方法直接根據(jù)從前置攝像頭獲得的圖像預(yù)測(cè)轉(zhuǎn)向角。結(jié)果表明，該神經(jīng)網(wǎng)絡(luò)可以通過(guò)從前置攝像頭得到的原始圖像，自動(dòng)學(xué)習(xí)車(chē)道等特征，來(lái)訓(xùn)練車(chē)輛的車(chē)道保持的轉(zhuǎn)向角度。 John等人[9]提出了混合框架，通過(guò)使用長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）為每個(gè)場(chǎng)景計(jì)算適當(dāng)?shù)霓D(zhuǎn)向角。每個(gè)網(wǎng)絡(luò)都會(huì)在特定道路場(chǎng)景的特定分區(qū)（如直線(xiàn)駕駛，右轉(zhuǎn)彎和左轉(zhuǎn)彎）中，對(duì)駕駛行為進(jìn)行建模。在考慮多種駕駛場(chǎng)景時(shí)，它在多個(gè)駕駛序列中運(yùn)行良好。 Al-Qizwini等人[10]提出了一種回歸網(wǎng)絡(luò)，預(yù)測(cè)駕駛的可利用狀態(tài)，如前置攝像機(jī)圖像中的交叉錯(cuò)誤，航向誤差和障礙物距離，而不是通過(guò)使用GoogLeNet直接從前攝像機(jī)圖像預(yù)測(cè)轉(zhuǎn)向角[11 ] 。轉(zhuǎn)向角度，油門(mén)和制動(dòng)都是使用基于if-else規(guī)則的算法計(jì)算出來(lái)的。

Sallab等[12]提出了一種在沒(méi)有障礙物的情況下，使用DQN（Deep Q Network）和DDAC（Deep Deterministic Actor Critic）學(xué)習(xí)車(chē)道保持駕駛策略的方法。他們直接掌握轉(zhuǎn)向，加速和減速，根據(jù)低維特征（如速度，軌道邊界位置）最大限度地提高預(yù)期的未來(lái)回報(bào)。因此，使用可應(yīng)用于連續(xù)作用的DDAC而非離散作用空間的DQN可以提高車(chē)道保持性能。 Zong等[13]提出了一種應(yīng)用DDPG [14]來(lái)躲避障礙物，學(xué)習(xí)轉(zhuǎn)向角和加速度值的方法。上述方法可以直接獲得控制車(chē)輛所需的合適的轉(zhuǎn)向角度、油門(mén)和制動(dòng)量。然而，在這些情況下，每當(dāng)車(chē)輛的參數(shù)改變時(shí)，最佳策略就會(huì)改變。因此存在很大限制，即為了最佳策略要不斷進(jìn)行學(xué)習(xí)。

本文提出了一個(gè)使用傳統(tǒng)DAS和深度強(qiáng)化學(xué)習(xí)融合的自動(dòng)駕駛框架。該框架在DAS功能（例如車(chē)道變換，巡航控制和車(chē)道保持等）下，以最大限度地提高平均速度和最少車(chē)道變化為規(guī)則，來(lái)確定超車(chē)次數(shù)?？尚旭偪臻g是根據(jù)行為水平定義的，利用駕駛策略可以學(xué)習(xí)車(chē)道保持，車(chē)道變更和巡航控制等行為。為了驗(yàn)證所提出的算法，該算法在密集交通狀況的模擬中進(jìn)行了測(cè)試，并證明了隨著駕駛期間的學(xué)習(xí)進(jìn)展，平均速度，超車(chē)次數(shù)和車(chē)道變換次數(shù)方面性能得到改善。

Deep Q Learning Based High Level Driving Policy Determination

Kyushik Min,

Hayoung Kim and Kunsoo Huh, Member, IEEE

作者Kyushik Min，韓國(guó)漢陽(yáng)大學(xué)機(jī)器監(jiān)測(cè)和控制實(shí)驗(yàn)室博士生，研究方向?yàn)楦呒?jí)駕駛輔助系統(tǒng)（ADAS）和自動(dòng)駕駛。

項(xiàng)目概述

該項(xiàng)目為Tensorflow Korea 主辦的2017濟(jì)州學(xué)習(xí)營(yíng)項(xiàng)目。使用傳感器數(shù)據(jù)和相機(jī)圖像作為DRL算法的輸入。DRL算法根據(jù)輸入決定行駛動(dòng)作。如果行動(dòng)可能導(dǎo)致危險(xiǎn)情況，ADAS可以控制車(chē)輛以避免碰撞。

高層自動(dòng)駕駛決策的實(shí)現(xiàn)

1.馬爾科夫決策過(guò)程（MDP）

馬爾可夫決策過(guò)程（MDP）是決策的數(shù)學(xué)框架，它由元組組成，其中狀態(tài)集合S，行為集A，轉(zhuǎn)換模型T，獎(jiǎng)勵(lì)函數(shù)R和折扣因子γ[15]。解決MDP問(wèn)題的關(guān)鍵是找到一個(gè)策略，使給定的回報(bào)函數(shù)R的折扣回報(bào)期望總和最大化。然而，在最近的深度學(xué)習(xí)研究中，可以從大數(shù)據(jù)集有效地訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，并且可以通過(guò)使用從原始輸入中獲得的一些固定狀態(tài)φ（St）而不是狀態(tài)St來(lái)解決MDP 。事實(shí)上，深度神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)研究中，已經(jīng)訓(xùn)練出比手工標(biāo)記特征表現(xiàn)更好的算法。駕駛策略學(xué)習(xí)也是基于MDP進(jìn)行的，在該MDP中，主車(chē)輛與周?chē)能?chē)輛和車(chē)道等環(huán)境相互作用。使用深度強(qiáng)化學(xué)習(xí)的優(yōu)勢(shì)可以更好的自主學(xué)習(xí)，從而為駕駛決策學(xué)習(xí)定義了觀(guān)察狀態(tài)S，行動(dòng)空間A和獎(jiǎng)勵(lì)函數(shù)R。

2.感知

使用LIDAR傳感器數(shù)據(jù)和相機(jī)圖像數(shù)據(jù)構(gòu)建感知狀態(tài)。傳感器配置的總覆蓋范圍可以在上圖中看到。

障礙物距離可以從LIDAR傳感器獲得，也可以從前端攝像頭中獲得原始圖像來(lái)輔助感知。由于激光雷達(dá)的距離數(shù)據(jù)和來(lái)自相機(jī)的圖像數(shù)據(jù)具有完全不同的特點(diǎn)，因此本研究采用多模態(tài)輸入方案。

3.行動(dòng)

駕駛決策的行動(dòng)空間是在離散行動(dòng)空間中定義的。當(dāng)我們利用傳統(tǒng)DAS的優(yōu)勢(shì)時(shí)，這個(gè)系統(tǒng)的每個(gè)動(dòng)作都可能激活對(duì)應(yīng)的DAS功能。在縱向方向上，有三種動(dòng)作：1.速度為V + Vcc的巡航控制，其中Vcc為額外目標(biāo)速度，設(shè)定為5km / h，2.當(dāng)前速度為V的巡航控制，3.速度為巡航控制 V - Vcc。這些縱向行動(dòng)將觸發(fā)自主緊急制動(dòng)（AEB）和自適應(yīng)巡航控制（ACC）。在橫向方向上，還有三種動(dòng)作：1.保持車(chē)道，2.將車(chē)道變到左側(cè)，3.將車(chē)道變到右側(cè)。由于自動(dòng)駕駛車(chē)輛同時(shí)在縱向和橫向兩個(gè)方向上駕駛，我們定義了5個(gè)離散行為。（靜止，加速，減速，車(chē)道改變到左側(cè)，車(chē)道改變到右側(cè)）

4.獎(jiǎng)勵(lì)

根據(jù)強(qiáng)化學(xué)習(xí)選擇不同的行動(dòng)，將收到行動(dòng)結(jié)果的獎(jiǎng)勵(lì)。在MDP上解決的問(wèn)題是找到一個(gè)能夠最大化未來(lái)預(yù)期價(jià)值獎(jiǎng)勵(lì)的驅(qū)動(dòng)策略。這意味著最佳駕駛策略可以完全不同，具體取決于獎(jiǎng)勵(lì)的設(shè)計(jì)方式。因此，設(shè)計(jì)適當(dāng)?shù)莫?jiǎng)勵(lì)機(jī)制對(duì)學(xué)習(xí)正確的駕駛策略非常重要。當(dāng)車(chē)輛在密集的交通情況下行駛時(shí)，應(yīng)該滿(mǎn)足以下三個(gè)條件：1.找到使車(chē)輛高速行駛的策略，2.以無(wú)碰撞的軌跡行駛，3.不頻繁地改變車(chē)道。 基于這三個(gè)條件來(lái)設(shè)計(jì)獎(jiǎng)勵(lì)機(jī)制。

用于決策學(xué)習(xí)的DEEP RL算法

DQN在強(qiáng)化學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)相結(jié)合的游戲領(lǐng)域取得巨大成功之后，對(duì)深度強(qiáng)化學(xué)習(xí)進(jìn)行了各種研究[16]。尤其是，在基于DQN價(jià)值的深層強(qiáng)化學(xué)習(xí)[17] - [22]中進(jìn)行了大量研究。在此項(xiàng)研究中，深層增強(qiáng)學(xué)習(xí)算法由DQN [1]，Double DQN [17]和Dueling DQN [19]組合得到最近的算法模型，其中的算法參考了Human-level Control Through Deep Reinforcement Learning[1]，Deep Reinforcement Learning with Double Q-Learning[17]，Prioritized Experience Replay[18]，Dueling Network Architecture for Deep Reinforcement Learning[19]四篇論文中的算法。

項(xiàng)目代碼可以在Github上查找：

https://github.com/MLJejuCamp2017/DRL_based_SelfDrivingCarControl

下圖為最終的DQN模型。

仿真模擬

本文使用的模擬器是由 Unity 和 Unity ML-Agents 構(gòu)建的。模擬道路環(huán)境是由五車(chē)道組成的高速公路行車(chē)道。其他車(chē)輛在距離主車(chē)輛一定距離內(nèi)的隨機(jī)車(chē)道中心產(chǎn)生。另外，假定其他車(chē)輛在大多數(shù)情況下不會(huì)彼此碰撞，并且可以執(zhí)行五個(gè)動(dòng)作（加速，減速，車(chē)道改變到右車(chē)道，車(chē)道改變到左車(chē)道，保持當(dāng)前狀態(tài)）。其他車(chē)輛的各種行動(dòng)以多種隨機(jī)方式出現(xiàn)，改變了模擬環(huán)境，因此Agent 可以體驗(yàn)許多不同的情況。模擬器的觀(guān)測(cè)結(jié)果有兩種類(lèi)型：一種是圖像，另一種是激光雷達(dá)范圍陣列。由于前面有攝像頭，因此每一步都會(huì)觀(guān)察到原始像素圖像。 LIDAR傳感器檢測(cè)有一個(gè)360度的射線(xiàn)范圍，如果光線(xiàn)掃描到物體，它會(huì)返回主車(chē)輛和物體之間的距離。如果沒(méi)有障礙物，則返回模擬器每一步的最大感應(yīng)距離。

結(jié)果與結(jié)論

本文提出的駕駛策略算法使用Tensorflow 架構(gòu)[25]實(shí)現(xiàn)的，平均速度，車(chē)道變化次數(shù)和超車(chē)次數(shù)等數(shù)據(jù)都可以從中讀出。為驗(yàn)證多輸入體系結(jié)構(gòu)的優(yōu)勢(shì)，該體系結(jié)構(gòu)分別將來(lái)自攝像機(jī)和LIDAR的數(shù)據(jù)通過(guò)CNN和LSTM相結(jié)合，另外還使用了兩個(gè)僅用攝像機(jī)輸入和LIDAR輸入的策略網(wǎng)絡(luò)作為對(duì)比。

比較三種不同的不同輸入的網(wǎng)絡(luò)架構(gòu)：攝像頭，LIDAR，攝像頭和激光雷達(dá)。隨著訓(xùn)練的進(jìn)行，自動(dòng)駕駛車(chē)輛會(huì)超越更多的車(chē)輛并以更快的速度行駛，而不會(huì)在每個(gè)輸入車(chē)輛的環(huán)境中，出現(xiàn)不必要的車(chē)道變化。結(jié)果顯示，多輸入架構(gòu)在平均速度和平均超車(chē)次數(shù)方面表現(xiàn)出最佳性能，分別為73.54km / h和42.2。但是，當(dāng)使用多輸入架構(gòu)時(shí)，車(chē)道變化的數(shù)量最多，其平均值為30.2。盡管所提出的算法的目標(biāo)是減少不必要的車(chē)道變化的數(shù)量，但多輸入架構(gòu)的結(jié)果在車(chē)道變化的數(shù)量方面是最高的。對(duì)于LIDAR和攝像頭架構(gòu)中，即使前車(chē)速度較慢，它們有時(shí)也會(huì)顯示跟隨前方車(chē)輛而不更改車(chē)道。因此，研究車(chē)道變化的數(shù)量是尋找最優(yōu)策略的關(guān)鍵。

在本文中，駕駛策略網(wǎng)絡(luò)充分利用傳統(tǒng)的DAS功能，在大多數(shù)情況下保證了車(chē)輛行駛的安全性。使用深度強(qiáng)化學(xué)習(xí)算法訓(xùn)練的自主車(chē)輛，在模擬高速公路場(chǎng)景中成功駕駛，所提出的策略網(wǎng)絡(luò)使用多模式輸入，不會(huì)造成不必要的車(chē)道變化，在平均速度，車(chē)道變化次數(shù)和超車(chē)次數(shù)方面，車(chē)輛比具有單輸入的車(chē)輛更好地駕駛。這項(xiàng)研究的結(jié)果表明，自主車(chē)輛可以由受過(guò)深度強(qiáng)化學(xué)習(xí)訓(xùn)練的主管來(lái)控制。