利用LSTM網(wǎng)絡(luò)結(jié)構(gòu)將車輛過去的位置包含到預(yù)測算法中

摘要：在自動駕駛領(lǐng)域，預(yù)測變道意圖一直是一個非常活躍的研究領(lǐng)域。然而，大多數(shù)文獻(xiàn)都集中在單個車輛上，并且在進(jìn)行預(yù)測時沒有考慮鄰居信息和車輛歷史軌跡的累積影響。我們建議應(yīng)用周圍感知LSTM算法來預(yù)測車輛執(zhí)行車道變換的意圖，該車道變換利用車輛過去軌跡和其鄰居的當(dāng)前狀態(tài)。我們根據(jù)真實世界的變道數(shù)據(jù)對模型進(jìn)行了訓(xùn)練，并且能夠在仿真中顯示出這兩個組件不僅可以提高精度，還可以提前預(yù)測變道時間，這對提高自動駕駛車輛的整體性能具有重要作用。

Ⅰ.介紹

車道變換被認(rèn)為是造成交通事故的主要因素之一[1]。為了使自動駕駛車輛能夠在高速公路上行駛，重要的是要預(yù)測其他車輛變換車道的意圖以防止?jié)撛诘呐鲎?。嘗試模擬駕駛員的車道變換行為已經(jīng)有很多工作，可以分為幾種類型：基于規(guī)則的算法[2]，[3]，[4]，基于機器學(xué)習(xí)的算法[5]，[ 6]，[7]和知識表示算法[8]，[9]，[10]。

基于規(guī)則的算法定義了一組規(guī)則來模擬車道變換。最具代表性的是“間隙接受模型”[2]，它假設(shè)駕駛員的車道變換機動是基于目標(biāo)車道的超前和滯后間隙。該方法假設(shè)如果間隙達(dá)到最小可接受值，則駕駛員傾向于進(jìn)行車道變換。雖然在簡單的場景中直觀且穩(wěn)健，但是這樣的方法需要大量的參數(shù)微調(diào)，這可能是繁瑣且耗時的。

基于機器學(xué)習(xí)的算法為這個問題創(chuàng)建了一個數(shù)學(xué)模型：給定與車輛相關(guān)的特征作為輸入，車輛的變道意圖作為輸出，這些方法試圖推斷映射函數(shù)，以獲得最佳預(yù)測結(jié)果。該模型采用了大量分類器，如邏輯回歸[5]和SVM分類器[6]。

知識表示算法開發(fā)了一個網(wǎng)絡(luò)模型來模擬人類的推理過程。基于知識的算法在駕駛場景中的應(yīng)用包括強化學(xué)習(xí)[11]，課程學(xué)習(xí)[12]，以及通過貝葉斯網(wǎng)絡(luò)學(xué)習(xí)[8]，[9]。但是，模型可能需要很長時間才能在學(xué)習(xí)過程中概括未知環(huán)境中的基本規(guī)則。

人力驅(qū)動車輛發(fā)起車道變換操縱的意圖不僅基于車輛自身的狀態(tài)，例如航向角和加速度，而且還基于其與相鄰車輛的關(guān)系，例如其與前方車輛的距離。最近，一些參考文獻(xiàn)探討了鄰近交通對自身車輛的影響。薩迪等人提出了一種算法，使自身車輛能夠在其規(guī)劃過程中模擬其他車輛的意圖，有目的地改變其他車輛的行為[ 13 ]。此外，它還要求了解其他汽車的意圖，以一種獎勵的形式，而不模仿通常在人類身上發(fā)現(xiàn)的合作行為。作者建議使用LSTM [15]來模擬問題的順序性質(zhì)以及社交池層來模擬行人之間的相互作用。因此，他們能夠在擁擠的人群中模擬行人的軌跡，每個行人都合作地調(diào)整他們未來的軌跡。然而，由于數(shù)據(jù)中的協(xié)作交互次數(shù)較少，該方法不能直接應(yīng)用于車道變換問題。

在本文中，我們還提出了利用LSTM網(wǎng)絡(luò)結(jié)構(gòu)將車輛過去的位置包含到預(yù)測算法中，使系統(tǒng)能夠提取過去的相關(guān)信息。為了模擬其他汽車對決策過程的影響，同時保持問題的易處理性，我們在網(wǎng)絡(luò)的輸入特征中加入了關(guān)于鄰近車輛的信息。

為了全面了解自然駕駛行為，學(xué)習(xí)過程需要大量的駕駛和車道變換軌跡，這就是我們選擇NGSIM數(shù)據(jù)集[16]來訓(xùn)練和驗證算法的原因。我們還采用了基于Julia的NGSIM [ 17 ]平臺來提取網(wǎng)絡(luò)的輸入特征，并可視化交通場景。

圖1.變道軌跡的起點、變道點和終點。

第二節(jié)描述了從NGSIM數(shù)據(jù)集提取和預(yù)處理數(shù)據(jù)的過程。在第三節(jié)中，我們介紹了輸入特性，并詳細(xì)解釋了具體的網(wǎng)絡(luò)結(jié)構(gòu)。然后，我們將我們的結(jié)果與第四節(jié)中的其他方法進(jìn)行說明和比較。第五節(jié)總結(jié)了我們的工作成果，并提出了未來可能的工作。

Ⅱ.數(shù)據(jù)提取和處理

開源聯(lián)邦高速公路管理局的下一代模擬( NGSIM )數(shù)據(jù)集[ 16 ]被挑選出來，用于提取車輛軌跡并建立車道變化預(yù)測模型，該數(shù)據(jù)集已被許多先前的研究[5]、[6]號采納。在0：1秒的時間間隔內(nèi)，數(shù)據(jù)集記錄了美國101號高速公路[18]和80號州際公路（I-80）高速公路[19]上每輛車的位置，速度，加速度和車頭時距信息。兩個位置都包含45分鐘的車輛軌跡數(shù)據(jù)。101號高速公路長640米，有5個主要車道和6個輔助車道，而I-80長號公路約500米，有6個主要車道。

我們從NGSIM中提取了6個車輛軌跡數(shù)據(jù)序列，每個序列10分鐘。我們從每個15分鐘的序列中刪除了前5分鐘，以確保每幀中有足夠數(shù)量的車輛。對于每個序列，前2分鐘被定義為測試集，剩余的8分鐘被定義為訓(xùn)練集。由于數(shù)據(jù)以每秒10幀的速度記錄，我們總共可以獲得1200個測試時間步長和4800個訓(xùn)練時間步長。

車輛被標(biāo)記為“打算向左改變車道”，“打算沿著車道行駛”，或者“打算在每個時間步驟改變車道”。我們標(biāo)記車輛狀態(tài)的方式如下。

如圖1所示，我們首先收集所有車道交換點，即車輛重力點越過劃分車道的虛線的點，車輛。如果車輛在時間步長t處在變道點，我們在[t-δt，t+δt]（δt=2s）檢查了它的軌跡，并在該時間段內(nèi)計算其航向值θ。當(dāng)θ到達(dá)邊界值θbound:|θ|=θbound時，我們標(biāo)記了這個變道軌跡的起點和終點。

圖2 ( b )描述了我們標(biāo)記軌跡片段的方式。對于每輛車，n個連續(xù)的時間步長被打包成一個軌跡段。如果軌跡片段的第n個時間步長是變道時間步長，則該片段是變道片段，否則它被標(biāo)記為車道跟隨片段。在本文中，我們將n設(shè)置為6,9和12，以確定歷史軌跡長度對最終結(jié)果的影響。

圖2.( A )如果預(yù)測車輛連續(xù)3個時間步長進(jìn)行車道變換，則確定車道變換預(yù)測點。變道預(yù)測時間被定義為變道點和變道預(yù)測點之間的時間間隔。( b ) n個連續(xù)時間步長被打包成一個軌跡段。如果軌跡片段的第n個時間步長是車道跟隨時間步長，則該片段是車道跟隨片段，否則它被標(biāo)記為車道改變片段。

然后，我們可以獲得大約60,000個車道更換件，加400,000輛汽車用于訓(xùn)練。這顯然涉及一個數(shù)據(jù)不平衡的問題，在這種情況下，用于訓(xùn)練的車道跟隨件比車道變換件多得多，這將導(dǎo)致訓(xùn)練過程中的過度擬合。為了解決這個問題，我們從變道左池、變道后池和變道右池中隨機選擇了相同數(shù)量的片段N，將它們混合在一起作為訓(xùn)練數(shù)據(jù)集。為了最大限度地利用數(shù)據(jù)，N被設(shè)置為變道右側(cè)池中的件數(shù)( 30，000件)。

然后，給定測試集中的前( n1 )個時間步長歷史軌跡和鄰居信息，在每個時間步長預(yù)測每輛車的變道意圖。在過濾結(jié)果之后還計算了車道變換預(yù)測時間。具體地，如果預(yù)測車輛進(jìn)行3個連續(xù)時間步長的車道變換，則確定車道變換預(yù)測點，并且車道變換預(yù)測時間被定義為車道變換點和車道之間的時間間隔-改變預(yù)測點，如圖2（a）所示。

III.方法

在本論文中，我們試圖預(yù)測汽車是否會改變車道以及它將合并到哪條車道。我們使用一個LSTM來使代理能夠?qū)囕v歷史軌跡信息進(jìn)行推理。然而，由于人類的決策行為也將取決于周圍的車輛，我們也將車輛鄰居信息作為網(wǎng)絡(luò)的輸入。

圖3.鄰居信息收集。我們首先根據(jù)自身車輛的方位和中心位置將相鄰空間劃分為四個部分，并根據(jù)它們與自身車輛的相對位置定義相應(yīng)的相鄰車輛。然后，我們收集這些相鄰車輛和自身車輛之間的縱向距離作為相鄰特征。如果相應(yīng)位置沒有鄰居，我們將距離定義為500米，以推斷無限距離。

在下文中，我們將描述提供給預(yù)測算法的輸入特征，然后簡要描述這里使用的網(wǎng)絡(luò)架構(gòu)。

A.輸入功能

我們?yōu)轭A(yù)測算法使用兩種類型的輸入特征：（a）車輛自身的信息和（b）車輛的鄰居信息。車輛自身的信息包括：

1）車輛加速度

2）車輛相對于道路的轉(zhuǎn)向角

3）相對于車道的全球橫向車輛位置

4）相對于車道的全局縱向車輛位置

車輛的鄰居信息（參見圖3，“自我車輛”在這里指的是我們正在估算其車道變換意圖的車輛）通過以下特征提供：

1）左車道的存在（如果存在則為1，否則為0）

2）右車道的存在（如果存在則為1，否則為0）

3）自我車輛和左前方車輛之間的縱向距離

4）自我車輛和前車之間的縱向距離

5）自我車輛和右前方車輛之間的縱向距離

6）自我車輛和左后車輛之間的縱向距離

7）自我車輛和后車之間的縱向距離

8）自我車輛和右后車輛之間的縱向距離

B.網(wǎng)絡(luò)結(jié)構(gòu)

圖4.用于車道變換意圖預(yù)測的LSTM網(wǎng)絡(luò)結(jié)構(gòu)。

表I.改變車道預(yù)測的準(zhǔn)確性比較

如圖4所示，我們采用LSTM網(wǎng)絡(luò)結(jié)構(gòu)，來處理這種改變車道的意圖預(yù)測問題。為車輛自身特征及其鄰居特征選擇的嵌入維度為64，LSTM網(wǎng)絡(luò)的隱藏維度為128。我們選擇學(xué)習(xí)率為0：000125，使用soft-max交叉熵?fù)p失作為訓(xùn)練損失：loss =-Σi=1yi′log（yi）。其中y是第i個車道改變意圖的真實標(biāo)簽（yi′=1，意圖存在，yi′=0，意圖不存在。i∈{1，2，3}。y1′是改變車道的左意圖，y2′是跟隨車道的意圖，y3′是換車道的正確意圖）。yi是經(jīng)過soft-max層后第i個車道變換意圖的模型的預(yù)測輸出概率。

IV.結(jié)果

A.與其他網(wǎng)絡(luò)結(jié)構(gòu)的比較

我們獲得了我們的結(jié)果，并將其與前饋神經(jīng)網(wǎng)絡(luò)、邏輯回歸和無相鄰特征輸入的LSTM進(jìn)行了比較，以顯示添加歷史軌跡和環(huán)境因素的優(yōu)勢。

表I和圖5顯示了通過我們的算法，前饋神經(jīng)網(wǎng)絡(luò)和邏輯回歸計算的分類準(zhǔn)確率。我們稱之為環(huán)境感知( SA ) - LSTM的方法，基于歷史軌跡信息和鄰居信息的優(yōu)勢，在預(yù)測精度方面在所有分類類型(左轉(zhuǎn)換道、右轉(zhuǎn)換道和右轉(zhuǎn)換道)上都優(yōu)于其他兩種方法。

B.不同軌跡長度的比較

然后，我們獲得并比較了不同軌跡長度的預(yù)測準(zhǔn)確率。具體來說，我們將LSTM結(jié)構(gòu)的歷史軌跡長度設(shè)置為6,9和12，將它們相互比較。結(jié)果顯示在表II中，并在圖6中可視化。我們比較了五種不同軌跡序列的結(jié)果，以幫助我們對曲線變化趨勢有一個大致的了解。在所有預(yù)測場景中，隨著歷史長度的增加，預(yù)測精度也會增加(左變道、右變道)。

圖5所示.不同方法的預(yù)測精度比較。SA-LSTM在所有分類類型中都優(yōu)于其他兩種類型，包括右車道變換，車道跟隨和左側(cè)車道變換。

從常識來看，我們所擁有的歷史軌跡長度越長，我們從先前軌跡獲得的信息就越多，并且在最終結(jié)果中將獲得更高的準(zhǔn)確度。但是，在長度和計算時間之間需要權(quán)衡。隨著長度的增加，準(zhǔn)確度的提高也會減慢。從圖中我們可以看出，與長度= 9相比，長度= 12僅獲得略高的準(zhǔn)確率。更重要的是，歷史軌跡長度不能太長。否則，一些與當(dāng)前變道意圖無關(guān)的因素將被引入輸入?；谏鲜龇治?，我們設(shè)置長度= 12是合理的，其中精度增加率在該NGSIM場景中減慢以獲得準(zhǔn)確的預(yù)測，同時節(jié)省計算能力。這種分析也可以在現(xiàn)實世界的應(yīng)用中采用，在設(shè)置適當(dāng)?shù)臍v史長度參數(shù)時，應(yīng)該始終考慮準(zhǔn)確性和計算能力之間的這種權(quán)衡。

(a)

(b)

(c)

表Ⅱ.不同軌跡長度的變道預(yù)測精度比較

表III.有鄰居和無鄰居場景的變道預(yù)測時間比較

C．有無鄰居場景的比較

表III描述了由有和無鄰居輸入特征LSTM模型生成的換道預(yù)測時間，該時間被定義為模型預(yù)測將有換道的時間和車輛實際到達(dá)換道點的時間間隔。時間間隔越長，預(yù)測就越有用。從圖7可以看出，在大多數(shù)情況下，添加鄰居特征會延長變道預(yù)測時間。

(a)

(b)

(c)

圖6.我們比較了不同歷史軌跡長度的預(yù)測精度，LSTM網(wǎng)絡(luò)結(jié)構(gòu)中的歷史時間步長。對于每個測試序列，預(yù)測準(zhǔn)確度隨著歷史軌跡長度的增加而增加。

(a)

(b)

圖7.有和無鄰居場景的預(yù)測時間比較。左側(cè)變道預(yù)測和右側(cè)變道預(yù)測都顯示，在添加相鄰要素后，預(yù)測時間增加(如果沒有保持)。

V．結(jié)論

本文提出了一種LSTM網(wǎng)絡(luò)結(jié)構(gòu)，引入了相鄰車輛的特征，以對每輛單獨車輛進(jìn)行變道意圖預(yù)測。我們將我們的方法與不同的網(wǎng)絡(luò)結(jié)構(gòu)（如前饋神經(jīng)網(wǎng)絡(luò)和邏輯回歸）以及沒有鄰居特征的LSTM結(jié)構(gòu)進(jìn)行了比較，以顯示添加時間和空間信息的優(yōu)勢。我們還比較了不同歷史軌跡長度之間的結(jié)構(gòu)，并將其對最終預(yù)測結(jié)果的影響保存下來。未來的工作將主要集中在將算法擴展到實際場景中，并觀察是否可以在真正的自動駕駛汽車上采用經(jīng)過訓(xùn)練的網(wǎng)絡(luò)。LSTM網(wǎng)絡(luò)的出色表現(xiàn)還表明，嘗試其他經(jīng)常性網(wǎng)絡(luò)結(jié)構(gòu)可能會進(jìn)一步改善交通情景中的預(yù)測結(jié)果。