無需微調(diào)，即插即用的占據(jù)預(yù)測模型—FlashOcc介紹

1. 本文簡介

占據(jù)預(yù)測是指在自動駕駛系統(tǒng)中，根據(jù)傳感器的輸入，預(yù)測三維空間中的每個體素是否被物體占據(jù)。占據(jù)預(yù)測可以有效地解決三維物體檢測中的長尾問題和復(fù)雜形狀的缺失問題。然而，占據(jù)預(yù)測也面臨著一個挑戰(zhàn)，即如何在保證準(zhǔn)確性的同時，提高速度和降低內(nèi)存消耗?，F(xiàn)有的占據(jù)預(yù)測方法通常使用三維卷積來處理體素級別的特征，這會導(dǎo)致大量的計算和存儲開銷，不利于部署到不同的芯片上。為了解決這個問題，文章提出了一種快速和節(jié)省內(nèi)存的占據(jù)預(yù)測方法，稱為FlashOcc。FlashOcc的核心思想是利用一個通道到高度的變換，將二維的鳥瞰圖特征轉(zhuǎn)換為三維的占據(jù)概率，從而避免了使用三維卷積。FlashOcc的優(yōu)點是，它可以作為一個插件，直接應(yīng)用到現(xiàn)有的占據(jù)預(yù)測方法上，無需額外的訓(xùn)練或微調(diào)。文章在Occ3D-nuScenes數(shù)據(jù)集上進(jìn)行了實驗，證明了FlashOcc的有效性和高效性，在保持高精度的同時，顯著提高了速度和降低了內(nèi)存消耗，展示了其在自動駕駛場景中的潛力。

圖1.(a) 說明了我們的FlashOcc如何以插即用的方式實現(xiàn)。當(dāng)代方法使用由3D卷積處理的體素級特征預(yù)測占據(jù)情況。與之形成對比,我們的插件模型通過(1)用2D卷積替換3D卷積。(2)用通道與高度變換的BEV級特征替換3D卷積派生的占據(jù)logits，實現(xiàn)了快速和內(nèi)存高效的占據(jù)預(yù)測。(b) 插件替代與原始方法之間在精度及速度、內(nèi)存消耗和訓(xùn)練時間等因素上的權(quán)衡。

2. 原文摘要

由于具有減輕數(shù)據(jù)集長尾效應(yīng)和復(fù)雜形狀缺失的作用，占據(jù)預(yù)測已經(jīng)成為自動駕駛系統(tǒng)中的重要組成部分。然而，使用三維體素級表示不可避免地導(dǎo)致了巨大的內(nèi)存和計算開銷，這限制了占據(jù)預(yù)測方法的部署。與當(dāng)前使模型更大更復(fù)雜的趨勢相反，我們認(rèn)為理想的框架應(yīng)該既能適應(yīng)各種芯片以便部署，又能保持高精度。為此，我們提出了一個即插即用的范式，即FlashOCC，以實現(xiàn)快速和內(nèi)存高效的占據(jù)預(yù)測，同時保持高精度。具體來說，我們的FlashOCC在現(xiàn)有的體素級占據(jù)預(yù)測方法的基礎(chǔ)上做了兩點改進(jìn)。第一，特征保留在俯視圖中，以利用高效的2D卷積層進(jìn)行特征提取。第二，引入了一種通道與高度的變換，以將輸出結(jié)果從俯視圖映射到三維空間。我們在具有挑戰(zhàn)性的Occ3D-nuScenes基準(zhǔn)測試上將FlashOCC應(yīng)用于不同的占據(jù)預(yù)測基線，并進(jìn)行了廣泛的實驗來驗證其有效性。結(jié)果表明，我們的即插即用范式在精度、運(yùn)行時效率和內(nèi)存成本方面都優(yōu)于之前的最先進(jìn)的方法，顯示了其部署的潛力。代碼將會開源。

圖2. 我們的FlashOcc的總體架構(gòu)。虛線框標(biāo)識的區(qū)域表示可替換模塊。每個可替換模塊的特征形狀按圖1和圖2中的說明表示。淺藍(lán)色區(qū)域?qū)?yīng)可選的時序融合模塊，其使用取決于紅色開關(guān)的激活。

3. 方法詳解

FlashOcc系統(tǒng)框架如圖2所示。輸入數(shù)據(jù)為環(huán)視圖像，輸出為密集的占據(jù)預(yù)測結(jié)果。它包括五個基本模塊：(1)二維圖像編碼器；(2)視角變換模塊；(3)BEV編碼器；(4)占據(jù)預(yù)測模塊；(5)時序融合模塊（可選）。

3.1 圖像編碼器

圖像編碼器使用backbone網(wǎng)絡(luò)提取輸入圖像的高層語義特征，然后饋入neck模塊進(jìn)行融合，從而充分利用不同粒度的語義信息。常用的backbone網(wǎng)絡(luò)有經(jīng)典的ResNet和強(qiáng)大的Swin Transformer。neck模塊選擇簡潔的FPN-LSS，它將細(xì)粒度特征與直接上采樣的粗粒度特征集成。

3.2 視角變換

視角變換模塊的作用是將二維感知視角特征映射到BEV表示中。Lift-splat-shot (LSS)和Lidar Structure (LS)被廣泛使用。LSS利用像素級密集深度預(yù)測和相機(jī)內(nèi)在外參將圖像特征投影到預(yù)定義的三維網(wǎng)格體素上。然后沿垂直維度（高度）應(yīng)用匯聚操作以獲得扁平的BEV表示。然而，LS依賴均勻分布的深度進(jìn)行特征轉(zhuǎn)換，這會導(dǎo)致沿相機(jī)光線方向的特征錯配和后續(xù)的錯誤檢測，盡管計算復(fù)雜度有所降低。

3.3 BEV編碼器

BEV編碼器通過視角變換獲得的粗糙BEV特征，輸出更詳細(xì)的三維表示。其結(jié)構(gòu)與圖像編碼器類似，包括backbone和neck。正如第3.1節(jié)所概述的，我們采用相同的設(shè)置。經(jīng)過若干層后，特征擴(kuò)散用于改善中心特征丟失的問題。如圖2所示，兩個不同尺度的特征被集成以增強(qiáng)表示質(zhì)量。

3.4 占據(jù)預(yù)測頭部

3.5 時序融合組件

時序融合組件通過整合歷史信息來增強(qiáng)動態(tài)物體或?qū)傩缘母兄?。它包含兩個主要組件：空間-時序?qū)R模塊和特征融合模塊。對齊模塊使用自身信息將歷史BEV特征與當(dāng)前激光雷達(dá)系統(tǒng)對齊。這種對齊過程確保歷史特征得以正確插值和與當(dāng)前感知系統(tǒng)同步。一旦完成對齊，對齊的BEV特征被傳遞到特征融合模塊。該模塊考慮它們的時序上下文，集成對齊特征以生成動態(tài)物體或?qū)傩缘娜姹硎?。融合過程組合相關(guān)的歷史特征和當(dāng)前感知輸入的信息，以提高整體感知精度和可靠性。

4. 實驗結(jié)果

我們對Talk2BEV在Talk2BEV-Bench上的問題進(jìn)行了定量評估。我們報告了不同LVLM在不同任務(wù)子集和不同類型問題上的性能，以及它們的平均性能。MiniGPT-4在所有類型問題上都取得了最佳的平均性能。BEV中的誤差對性能的影響較小，這表明隨著更高性能的LVLM的出現(xiàn)，Talk2BEV的性能有望進(jìn)一步提高。表II展示了Talk2BEV使用不同LVLM構(gòu)建的語言增強(qiáng)地圖（BLIP-2、InstructBLIP-2、MiniGPT-4）和BEV變體（LSS和GT）在多項選擇問題（MCQs）上的性能。表III評估了空間操作符對系統(tǒng)性能的影響，顯示了集成空間操作符帶來的顯著改進(jìn)。此外，表IV報告了不同對象類別的性能，突出了車輛類別之間的性能差異。

表1. Occ3D-nuScenes驗證集上的三維占據(jù)預(yù)測性能。

表2. 各種方法的詳細(xì)設(shè)置。

圖3. Occ3D-nuScenes上的定性結(jié)果。

表3. 在各種流行的基于體素的占據(jù)方法論上普適性demonstration的FlashOcc。

表4. 時序融合中的持續(xù)改進(jìn)demonstration。

表5. 訓(xùn)練和部署期間的資源消耗分析。

5. 總結(jié)

在本文中，我們介紹了一種即插即用的方法，稱為FlashOCC，它旨在實現(xiàn)快速和節(jié)省內(nèi)存的占據(jù)預(yù)測。它直接用二維卷積替換了基于體素的占據(jù)方法中的三維卷積，并引入了通道到高度的變換，將扁平化的BEV特征重塑為占據(jù)logits。FlashOCC的有效性和泛化性已經(jīng)在多種體素級占據(jù)預(yù)測方法上得到了驗證。廣泛的實驗表明，該方法在精度、時間消耗、內(nèi)存效率和部署友好性方面優(yōu)于以前的最先進(jìn)的方法。據(jù)我們所知，我們是第一個將子像素范式（通道到高度）應(yīng)用于占據(jù)任務(wù)的工作，它僅利用BEV級特征，完全避免了使用計算復(fù)雜的三維（可變形）卷積或變換器模塊。并且，可視化結(jié)果令人信服地證明了FlashOcc成功地保留了高度信息。在我們的未來工作中，我們將探索將我們的FlashOcc集成到自動駕駛的感知流程中，旨在實現(xiàn)高效的片上部署。

審核編輯：劉清