頂刊TPAMI最全綜述！深入自動駕駛BEV感知的魔力！

1. 寫在前面

今天筆者為大家推薦一篇BEV感知的最新綜述，分析了BEV感知的核心難點，回顧了關(guān)于BEV感知的最新工作，并對不同的解決方案進行了深入分析，還描述了來自工業(yè)界的幾種BEV方法的系統(tǒng)設(shè)計。

下面一起來閱讀一下這項工作~

2. 摘要

在鳥瞰圖( bird ' s-eye-view，BEV )中學(xué)習(xí)強大的表征用于感知任務(wù)是一種趨勢，并引起了工業(yè)界和學(xué)術(shù)界的廣泛關(guān)注。大多數(shù)自動駕駛算法的傳統(tǒng)方法在前方或視角視圖中執(zhí)行檢測、分割、跟蹤等。隨著傳感器配置越來越復(fù)雜，集成來自不同傳感器的多源信息并在統(tǒng)一視圖中表示特征變得至關(guān)重要。BEV感知繼承了幾個優(yōu)點，因為在BEV中表示周圍的場景是直觀的和融合友好的；而在BEV中表示對象是后續(xù)模塊在規(guī)劃和/或控制中最需要的。BEV感知的核心問題在于：( a )如何通過視角到BEV的視角轉(zhuǎn)換來重建丟失的三維信息；( b )如何獲取BEV網(wǎng)格中的真實標(biāo)注；( c )如何制定管線以納入來自不同來源和視圖的特征；( d )隨著傳感器配置在不同場景中的變化，如何適應(yīng)和推廣算法。在這項調(diào)查中，我們回顧了關(guān)于BEV感知的最新工作，并對不同的解決方案進行了深入分析。此外，還描述了來自工業(yè)界的幾種BEV方法的系統(tǒng)設(shè)計。此外，我們還介紹了一套完整的實用指南，以提高BEV感知任務(wù)的性能，包括相機、激光雷達(dá)和融合輸入。最后，指出了該領(lǐng)域未來的研究方向。我們希望本報告能給社區(qū)帶來一些啟示，并鼓勵更多關(guān)于BEV感知的研究工作。

3. 文章結(jié)構(gòu)

BEV感知的任務(wù)總結(jié)，包括輸入數(shù)據(jù)總結(jié)、底層任務(wù)總結(jié)，還有核心任務(wù)總結(jié)。

BEV感知數(shù)據(jù)集總結(jié)。

BEV感知的主要工作。在輸入模態(tài)下，" L "為LiDAR，" SC "為單相機，" MC "為多相機，" T "為時間信息。在Task下，' ODet '用于3D目標(biāo)檢測，' LDet '用于3D車道線檢測，' MapSeg '用于地圖分割，' Plan '用于運動規(guī)劃，' MOT '用于多目標(biāo)跟蹤。

BEV感知算法在主流基準(zhǔn)上的性能比較。

視覺BEV感知的通用框架。包括2D特征提取器、視圖轉(zhuǎn)換和3D解碼器3個部分。在視圖轉(zhuǎn)換中，有兩種方式對3D信息進行編碼- -一種是從2D特征中預(yù)測深度信息；另一種是從3D空間采樣2D特征。

LiDAR BEV感知的通用框架。將點云數(shù)據(jù)轉(zhuǎn)換為BEV表示主要有兩個分支。上層分支提取三維空間中的點云特征，提供更準(zhǔn)確的檢測結(jié)果。下層分支在2D空間中提取BEV特征，提供更高效的網(wǎng)絡(luò)。

視覺BEV感知檢測任務(wù)。

LiDAR BEV感知分割任務(wù)。

4. 總結(jié)

這篇綜述對近年來的BEV感知進行了全面的回顧，作者認(rèn)為未來的發(fā)展趨勢是：( a )如何設(shè)計一個更精確的深度估計器；( b )如何在一種新的融合機制中更好地對齊來自多個傳感器的特征表示；( c )如何設(shè)計一個無參數(shù)的網(wǎng)絡(luò)，使得算法的性能不受姿態(tài)變化或傳感器位置的影響，從而在各種場景中獲得更好的泛化能力；以及( d )如何從基礎(chǔ)模型中整合成功的知識，以促進BEV的感知。