采用HBEns的軌跡預(yù)測(cè)模型設(shè)計(jì)

摘要：軌跡預(yù)測(cè)是自動(dòng)駕駛系統(tǒng)中不可或缺的一環(huán)，對(duì)幫助理解車體周圍環(huán)境和其它人、車的意圖有著至關(guān)重要的作用。在2022年Waymo自動(dòng)駕駛數(shù)據(jù)集挑戰(zhàn)賽上，地平線使用了HBEns模型框架，基于“在單模型的輸出上使用模型聚合”的二階段思路，大幅提升了總體軌跡預(yù)測(cè)精度，同時(shí)給予了較高的模型設(shè)計(jì)自由性。

簡(jiǎn)介

給定一份道路地圖和周圍所有可觀測(cè)的物體的歷史軌跡，軌跡預(yù)測(cè)模型的任務(wù)是將目標(biāo)物體的未來(lái)軌跡預(yù)測(cè)出來(lái)?，F(xiàn)階段的軌跡預(yù)測(cè)模型根據(jù)輸入編碼類型的不同可以分成基于柵格（raster-based）、基于矢量（vector-based）和基于圖（graph-based）這三大類。基于柵格的模型一般通過(guò)卷積神經(jīng)網(wǎng)絡(luò)（CNN）編碼信息；另兩種則側(cè)重于使用transformer結(jié)構(gòu)或其他圖算法進(jìn)行地圖、物體的編碼。從工程角度而言，兩者各有優(yōu)劣：CNN已被廣泛應(yīng)用多年，硬件加速成熟，但和近幾年才發(fā)展起來(lái)的transformer相比存在地圖輸入尺寸受限、預(yù)測(cè)精度低等問(wèn)題。綜合考慮，HBEns建立在“基礎(chǔ)模型(base models)+模型聚合(model ensemble)”的思想上（圖1）。對(duì)于模型聚合來(lái)說(shuō)，前面的基礎(chǔ)模型即相當(dāng)于一個(gè)黑盒，從而賦予模型設(shè)計(jì)很大的自由性。

圖1 HBEns流程圖。多個(gè)基礎(chǔ)模型的結(jié)果通過(guò)分類別的軌跡聚合實(shí)現(xiàn)最后輸出，軌跡聚合的參數(shù)通過(guò)網(wǎng)格調(diào)參實(shí)現(xiàn)。

方法

基礎(chǔ)模型沿用了HOME和MultiPath++的設(shè)計(jì)，并在此基礎(chǔ)上增加了新特性。對(duì)于自行車、行人等運(yùn)動(dòng)速度較慢的物體，基于柵格的HOME模型性能優(yōu)異；對(duì)運(yùn)動(dòng)較快的汽車，基于矢量輸入的MultiPath++則更勝一籌。

圖2基于HOME模型的第一階段結(jié)構(gòu) HOME模型是一個(gè)二階段模型，其一階段結(jié)構(gòu)見(jiàn)圖2。自車軌跡、周圍物體軌跡和地圖信息分三路分別完成編碼，目標(biāo)物體信息和周圍物體信息還會(huì)進(jìn)行一次attention操作來(lái)增強(qiáng)信息互動(dòng)。原始的HOME輸出的是物體最后所在位置的熱力點(diǎn)圖，HBEns則采用了3/5/8s共三個(gè)點(diǎn)的位置生成熱力圖，來(lái)加強(qiáng)監(jiān)督過(guò)程。 第二階段（圖3）采用了輕量級(jí)的CNN和源自MultiPath++的多語(yǔ)境門控機(jī)制（multi-context gating, MCG）來(lái)解決原始HOME無(wú)法較好處理低清熱力圖的問(wèn)題。MCG模塊的功能類似于attention，目的是將3/5/8s的信息融合編碼進(jìn)目標(biāo)物體的軌跡信息中。

圖3CNN+MCG門控機(jī)制實(shí)現(xiàn)第二階段從熱力圖到軌跡的輸出 針對(duì)MultiPath++模型，兩種不同的輸入表示被采用：1）選取距離目標(biāo)物體最近的256個(gè)地圖標(biāo)記（包括中心線、路沿、車道線等）；2）僅選取128個(gè)距離目標(biāo)物體最近的車道中心線標(biāo)記。選取的過(guò)程采用了廣度優(yōu)先搜索（BFS）算法。每個(gè)標(biāo)記額外擁有一個(gè)0-1矢量來(lái)注記它的其他特性（如是否位于斑馬線、減速帶內(nèi)）。模型結(jié)構(gòu)上，在不損失精度的前提下，采用GRU模塊替換了MultiPath++原有的LSTM模塊。

圖4 基于貪婪策略的軌跡選擇。每根軌跡由坐標(biāo)點(diǎn)ξ和置信度p描述。每一輪迭代中，在給定距離閾值τ條件下，貪婪策略優(yōu)先選擇閾值范圍內(nèi)所有軌跡的置信度總和最高的軌跡作為中心軌跡。閾值內(nèi)的其他軌跡在下一輪不參與選取。 HBEns對(duì)MultiPath++中的模型聚合（model ensemble）進(jìn)行了一定的改進(jìn)并實(shí)驗(yàn)了一些新的想法。執(zhí)行模型聚合之前，首先利用一個(gè)聚類算法從所有輸入的軌跡中選取K根作為“中心軌跡”。聚類算法可以通過(guò)貪婪策略（greedy）或非極大值抑制（NMS）來(lái)實(shí)現(xiàn)。貪婪策略傾向于選擇周圍軌跡較為集中的作為中心（圖4），而NMS則著眼于每根軌跡的置信度，每次選擇置信度最高的軌跡，并將周圍的一定范圍內(nèi)的其他軌跡抑制。完成中心選擇后，采用最大期望算法（EM）進(jìn)行迭代，完成軌跡的最終迭代更新。

實(shí)驗(yàn)結(jié)果

模型聚合的步驟存在多種可調(diào)參數(shù)，因此網(wǎng)格調(diào)參可以幫助搜索到最優(yōu)的參數(shù)配置。對(duì)于自行車和行人等行動(dòng)方向更擴(kuò)散的物體，NMS在聚合中的效果更優(yōu)；車輛則一般沿著既定的車道線行駛，因此貪婪策略的中心點(diǎn)選擇效果更好。表1綜合了網(wǎng)格調(diào)參后每個(gè)類別的最優(yōu)參數(shù)配置。表2的實(shí)驗(yàn)結(jié)果證明，模型聚合對(duì)提升單個(gè)模型的預(yù)測(cè)準(zhǔn)確度有著顯著的幫助。

表1 針對(duì)每個(gè)類別的網(wǎng)格搜參結(jié)果

表2 驗(yàn)證集上模型聚合前后的mAP指標(biāo)變化

表3 測(cè)試集上HBEns排名

可視化結(jié)果

下圖是HBEns結(jié)果的可視化。其中藍(lán)色代表實(shí)車軌跡，青色代表模型預(yù)測(cè)軌跡，黑色代表道路中心線軌跡，紅色為路沿，黃色為斑馬線區(qū)域。模型共輸出6條可能的軌跡及其置信度，來(lái)預(yù)測(cè)物體未來(lái)的前進(jìn)方向。

總結(jié)

HBEns模型框架采用了“基礎(chǔ)模型+模型聚合”的思路，使得模型擁有較大的設(shè)計(jì)空間，可針對(duì)不同的類型、數(shù)據(jù)集做出優(yōu)化?；贓M算法的模型聚合作為后處理步驟，顯著提高了僅使用單模型進(jìn)行預(yù)測(cè)的精度。

審核編輯：湯梓紅