從3D車道線到局部地圖，BEV視角求解「路在何方」| Nullmax進化學(xué)

在發(fā)達(dá)的現(xiàn)代公路交通體系中，「各行其道」是交通運行的一項核心前提，車輛和行人按照劃分的道路區(qū)域規(guī)范通行，可以最大程度地保障交通的安全和效率。因此對自動駕駛來說，從環(huán)境信息中求解出自己的道路區(qū)域是至關(guān)重要的感知任務(wù)。

在這方面，Nullmax曾分享過一些出色的研究，包括用于3D車道線檢測的CurveFormer，近日入選了國際機器人和自動化頂級會議ICRA 2023，以及可用于局部地圖構(gòu)建的BevSegFormer，入選了計算機視覺領(lǐng)域知名會議WACV 2023。

這兩篇論文均是在BEV視角下，基于Transformer對自動駕駛的「路在何方」問題進行了求解，不僅取得了極其出色的算法性能，還高效解決了實際量產(chǎn)應(yīng)用中的一些難點、痛點，比如：更進一步的車道檢測效果，更滿足下游需求的任務(wù)輸出；通過車端實時構(gòu)建局部地圖，將駕駛場景擴展至任意道路。

作為BEV + Transformer技術(shù)架構(gòu)的部分研究，這些技術(shù)正與更多的拓展工作，一同應(yīng)用到Nullmax的多個量產(chǎn)項目中。

BEV感知與車道線檢測

在自動駕駛感知中，實時檢測環(huán)境中的車道情況，乃至構(gòu)建一份要素更多的局部地圖，可以視為理解靜態(tài)場景的核心工作。有了車道信息，車輛便可以在車道內(nèi)和車道間進行一系列操作，如巡航、跟車、變道等，從而實現(xiàn)連貫的智能駕駛。

當(dāng)中，感知系統(tǒng)需要提供自車坐標(biāo)系下的車道線參數(shù)曲線，以便于下游的規(guī)控模塊使用。因此一些比較領(lǐng)先的行業(yè)方案，是將車道線檢測的輸出設(shè)計為BEV視角下的2D或3D車道線參數(shù)曲線。

BEV的原意是鳥瞰圖視角，這種俯瞰全局的表征方式可以更好地融合不同傳感器輸入的數(shù)據(jù)信息，在空間、時間維度進行統(tǒng)一的計算。其中，BEV視角一般可以設(shè)為相機坐標(biāo)系，通過車輛下線的標(biāo)定與自車坐標(biāo)系進行便捷的轉(zhuǎn)換，所以BEV視角的車道線結(jié)果下游可以直接使用。

但是在行業(yè)內(nèi)，更常見的是另一種方式：先在相機輸入的圖像上進行感知計算，然后再經(jīng)過復(fù)雜的后處理將圖像空間的結(jié)果轉(zhuǎn)換到BEV視角下的3D空間。

當(dāng)中的不足在于，這個后處理的過程需要工程師編寫大量代碼，同時也會消耗大量計算資源。而且面對千變?nèi)f化的真實世界，這種基于人工規(guī)則的后處理方式，也很難在各種情況下都獲得滿意的效果。

因此，包括車道線檢測在內(nèi)的很多感知任務(wù)，將后處理部分設(shè)計為基于學(xué)習(xí)的模塊，讓整個算法以學(xué)習(xí)為主，這樣的話就可以重新定義任務(wù)，甚至重構(gòu)整個自動駕駛系統(tǒng)。

比如車道線檢測的任務(wù)，就可以直接定義為：輸入圖像，輸出BEV視角的車道線參數(shù)曲線。

面向量產(chǎn)的3D車道線算法

在去年，Nullmax提出了基于Transformer的3D車道線檢測方法CurveFormer，取得了業(yè)界最佳（SOTA）的算法效果，論文在今年被國際機器人領(lǐng)域頂會ICRA錄用。

論文鏈接：https://arxiv.org/abs/2209.07989v1

這項算法可以直接輸出BEV視角的3D車道線參數(shù)曲線，而不是在圖像空間進行輸出。當(dāng)中的技術(shù)亮點在于，無需顯式構(gòu)建BEV空間，直接從圖像特征求解BEV視角的3D車道線參數(shù)曲線，將計算量大大減少。

一般基于CNN和其他Transformer的方法，需要先構(gòu)建稠密的BEV空間（比如100*100大小的BEV grid）生成BEV特征圖，然后以此為基礎(chǔ)完成感知任務(wù)的輸出。

但在現(xiàn)實世界，很多感知對象稀疏分布在環(huán)境當(dāng)中。比如障礙物檢測時，視野范圍內(nèi)的目標(biāo)通常只有幾個；車道線檢測時，視野范圍內(nèi)的車道線也只有幾根。這些感知對象的數(shù)量，遠(yuǎn)遠(yuǎn)小于BEV網(wǎng)格的數(shù)量，顯式構(gòu)建稠密BEV空間的做法不夠高效，產(chǎn)生大量多余計算。

Nullmax借鑒目標(biāo)檢測方面的一些思路，將車道線描述為稀疏的曲線query，利用deformable attention機制構(gòu)建符合車道線檢測的curve cross attention，完成BEV空間query和圖像特征之間的關(guān)聯(lián)，并通過迭代更新的方式輸出3D車道線參數(shù)，大大減少了整個過程的計算量。

在合成數(shù)據(jù)集和真實世界數(shù)據(jù)集上，CurveFormer與3D-LaneNet、Gen-LaneNet、PersFormer等優(yōu)秀算法進行了對比，實驗數(shù)據(jù)顯示CurveFormer擁有非常全面的優(yōu)異性能，優(yōu)于其他算法。

因此在量產(chǎn)應(yīng)用中，CurveFormer也呈現(xiàn)出了巨大的落地優(yōu)勢，不僅任務(wù)效果出眾，可以滿足復(fù)雜城市道路等場景下的車道線檢測要求，而且計算需求不大，可以部署到算力較低的量產(chǎn)計算平臺之上。

局部地圖與全場景駕駛

對于自動駕駛來說，車道線檢測只是「尋路問道」的一種形態(tài)，如果更進一步，在車端實時構(gòu)建局部地圖，那么自動駕駛在技術(shù)和應(yīng)用上還有更多發(fā)揮的空間。

比如，通過常規(guī)導(dǎo)航地圖+高精度局部地圖，將駕駛場景擴展至任意常規(guī)道路，擺脫對高精地圖的依賴。車輛基于導(dǎo)航地圖進行全局的道路規(guī)劃，然后通過局部地圖進行具體軌跡的規(guī)劃，這樣在沒有高精地圖的情況下，自動駕駛功能也能正常啟用，完成任意場景下A點到B點的行駛。

再比如，基于局部地圖打造端到端的整體方案，也就是一些地方所說的單棧式方案。近年來，學(xué)習(xí)為主的規(guī)劃算法成為新的趨勢，在這種算法設(shè)計下，局部地圖相比于車道線是一種更為直接的輸出形式，感知、規(guī)劃更便于融為一個整體網(wǎng)絡(luò)。

正是如此，局部地圖成為了近年來備受關(guān)注的一個技術(shù)熱點。視覺信號蘊含著尤為豐富的環(huán)境信息，包括大量的語義、幾何信息，因此視覺建圖的思路早已在眾包地圖、泊車地圖等方面進行了驗證或應(yīng)用。在這方面，最常用的方法是視覺SLAM（同步定位與地圖構(gòu)建）。

如今，隨著BEV感知快速發(fā)展，BEV視角的語義分割、道路環(huán)境理解也成為了在線視覺建圖的一個優(yōu)先選項。它的優(yōu)勢在于可以很好地融合多個視角相機的圖像，提取出豐富的環(huán)境信息，整體效果更加魯棒。同時，BEV視角的語義分割也更方便和其他BEV視角的感知任務(wù)、規(guī)劃任務(wù)整合，形成端到端的整體方案，進行全局的優(yōu)化。

局部地圖和其他地圖相比，不僅關(guān)注地圖信息的高精度，還尤為看重車端的實時性，因此這也對算法提出了很高的要求。

行業(yè)頂尖的BEV語義分割

為了更好地滿足自動駕駛上下游的需求，打造面向全場景的自動駕駛功能，Nullmax的感知團隊在去年提出了面向任意相機配置（單個或多個）的BEV語義分割算法BEVSegFormer。

這一基于Transformer的BEV語義分割方法，同樣也取得了當(dāng)下業(yè)界最優(yōu)（SOTA）的算法效果，論文入選計算機視覺學(xué)術(shù)會議WACV 2023。BEVSegFormer相比于HDMapNet等優(yōu)秀算法，性能提升超過了10個百分點。

論文鏈接：https://arxiv.org/abs/2203.04050

BEVSegFormer同樣擴展deformable attention形成multi-camera cross attention，完成BEV空間的query和圖像特征之間的關(guān)聯(lián)，從而實現(xiàn)了不依賴相機參數(shù)，另一方面也可以大大節(jié)約計算量。

在實際的行車過程中，顛簸、加速、制動、上下坡等情況都可能引起相機外參的變化，精準(zhǔn)的實時相機外參估計相對困難，不依賴相機的參數(shù)，可以讓算法在這些情況下更加穩(wěn)定，魯棒性更強。

特別是，BEVSegFormer不依賴相機參數(shù)就可以將圖像特征轉(zhuǎn)成BEV特征，基于得到的BEV特征，又可以擴展出多個其他任務(wù)，比如3D目標(biāo)檢測，包括將不同時刻的BEV特征緩存下來，進行時序上的融合。并且基于這一創(chuàng)新點，Nullmax感知團隊已經(jīng)完成了多項擴展研究。

目前，Nullmax正在將BEVSegFormer應(yīng)用到量產(chǎn)項目中，實時構(gòu)建稠密的高精度局部地圖，幫助客戶拓展功能范圍，從而實現(xiàn)任意常規(guī)道路上的智能駕駛。

結(jié)語

當(dāng)前，Nullmax正在完成一套車端實時運行BEV + Transformer技術(shù)架構(gòu)，同時支持感知、規(guī)劃任務(wù)，并能在高、中、低算力平臺上完成落地的自動駕駛整體方案。通過BEV感知完成3D車道線檢測和局部地圖構(gòu)建，正是當(dāng)中的一部分工作。

預(yù)計在2023年，Nullmax打造的這套多相機BEV-AI方案就將完成交付。通過這些先進的技術(shù)，Nullmax希望能夠為普通用戶提供極致安全、舒適高效的智能駕駛體驗。

審核編輯 ：李倩