基于矢量化場景表征的端到端自動駕駛算法框架

自動駕駛系統(tǒng)通常采用分階段模塊化的設計，即感知、預測、規(guī)劃等模塊相互解耦，獨立優(yōu)化。而端到端方案基于數(shù)據驅動的方式優(yōu)化整個系統(tǒng)，打通了各個模塊的壁壘，并減少了繁瑣的后處理，具有很高的研究價值。

在ICCV 2023.上， 地平線和華中科技大學提出基于矢量化場景表征的端到端自動駕駛算法一VAD.VAD擯棄了柵格化表征，對整個駕駛場景進行矢量化建模，并利用矢量環(huán)境信息對自車規(guī)劃軌跡進行約束。研究顯示，相比于之前的方案，VAD在規(guī)劃性能和推理速度上具有明顯的優(yōu)勢。

自動駕駛系統(tǒng)通常采用分階段模塊化的設計，即感知、預測、規(guī)劃等模塊相互解耦，獨立優(yōu)化。但對于模塊化方案，模塊間無法協(xié)同優(yōu)化，存在誤差累積，感知的漏檢誤檢將會影響規(guī)劃的安全性。近年來，端到端自動駕駛逐漸受到業(yè)界的關注。端到端方案基于數(shù)據驅動的方式優(yōu)化整個系統(tǒng)，打通了各個模塊的壁壘，并減少了繁瑣的后處理，具有很高的研究價值。然而，之前的端到端方案往往基于柵格化的環(huán)境表征（如圖1）。這種密集的表征不具備高層級的語義信息，并且需要較高的計算代價。

在ICCV 2023上，地平線和華中科技大學提出基于矢量化場景表征的端到端自動駕駛算法——VAD。VAD擯棄了柵格化表征，對整個駕駛場景進行矢量化建模（如圖2），并利用矢量環(huán)境信息對自車規(guī)劃軌跡進行約束。相比于之前的方案，VAD在規(guī)劃性能和推理速度上具有明顯的優(yōu)勢。VAD的源碼已開源，以促進該領域后續(xù)的研究。

圖1 ?柵格化場景表征

圖2 矢量化場景表征

VAD架構：基于Transformer

的端到端模型

圖3 VAD模型框架

VAD基于統(tǒng)一的Transformer結構（如圖3所示）。BEV Encoder用于編碼輸入的環(huán)視圖像，并將其轉化為鳥瞰圖視角（BEV）下的特征圖；Vectorized Motion Transformer提取場景中的動態(tài)目標信息，實現(xiàn)動態(tài)目標檢測和矢量化的軌跡預測；Vectorized Map Transformer提取場景中矢量化的靜態(tài)元素信息（如車道線，路沿和人行道）；Planning Transformer以隱式的動靜態(tài)場景特征作為輸入，提取其中與駕駛決策規(guī)劃相關的信息，并完成自動駕駛車輛的軌跡規(guī)劃。另外在模型訓練階段，VAD基于矢量場景表征，對自車的規(guī)劃軌跡進行矢量化約束，從而提升規(guī)劃的安全性。

圖4 基于矢量場景表征的規(guī)劃約束

基于矢量場景表征的規(guī)劃約束

許多先前的工作采用各種后處理策略對規(guī)劃軌跡進行優(yōu)化，以提升規(guī)劃安全性。例如，使用占據圖預測結果對規(guī)劃軌跡進行微調，從而使規(guī)劃軌跡位于可行駛區(qū)域內。這種方法破壞了模型的端到端學習能力，另外，后處理也會帶來額外的計算開銷，降低模型的推理速度。VAD完全擯棄了后處理策略，而是選擇在訓練階段，使用駕駛先驗知識優(yōu)化規(guī)劃表現(xiàn)，從而在不引入額外推理計算開銷的前提下，提升了規(guī)劃的安全性。

自車-他車碰撞約束

基于場景中其他動態(tài)目標預測的矢量化軌跡和自車規(guī)劃軌跡的碰撞約束。VAD將自車安全邊界分解為橫向和縱向的安全距離，當規(guī)劃軌跡在任一方向與他車預測軌跡的距離小于指定的安全閾值時，則懲罰該軌跡，從而避免自車規(guī)劃軌跡與他車預測軌跡相交。

自車-邊界越界約束

基于預測的矢量化邊界線，VAD約束自車規(guī)劃軌跡始終在可行駛區(qū)域內。當自車規(guī)劃軌跡越出道路邊界線時，則懲罰該軌跡。

自車-道路方向約束

VAD基于預測的道路線方向，約束自車規(guī)劃軌跡朝向與道路前進方向保持一致。當自車規(guī)劃軌跡朝向與道路前進方向有較大差異時，則懲罰該軌跡。

VAD規(guī)劃性能

VAD在nuScenes開環(huán)驗證和CARLA閉環(huán)驗證中均取得了state-of-the-art的規(guī)劃性能。除此之外，相比之前的方案，VAD大幅提升了模型的推理速度。

表1 nuScenes開環(huán)規(guī)劃性能

表2 CARLA閉環(huán)規(guī)劃性能

總結與展望

VAD初步探索了基于矢量化場景表征的端到端自動駕駛算法框架。如何將道路拓撲和交通信息融入這一框架中，并進一步提升系統(tǒng)的魯棒性，將是未來重要的研究方向。

編輯：黃飛

?