NVIDIA拿下CVPR 2023 3D Occupancy預(yù)測(cè)第一名！

最終，來(lái)自英偉達(dá) (NVIDIA) 和南京大學(xué)的團(tuán)隊(duì)在激烈的競(jìng)爭(zhēng)中脫穎而出，同時(shí)贏得了三維占用預(yù)測(cè)任務(wù)的冠軍和最佳創(chuàng)新獎(jiǎng)兩個(gè)重磅獎(jiǎng)項(xiàng)。下面我們來(lái)看一下冠軍團(tuán)隊(duì)的獲獎(jiǎng)方案。

冠軍方案

不同于以往比賽對(duì)于數(shù)據(jù)利用方面的限制，本次自動(dòng)駕駛比賽允許參賽者使用額外的開(kāi)源數(shù)據(jù)或者模型進(jìn)行數(shù)據(jù)驅(qū)動(dòng)算法的探索。因此在本次比賽中，英偉達(dá)和南大的研究人員在設(shè)計(jì)高效的模型結(jié)構(gòu)的基礎(chǔ)上，也在大模型的訓(xùn)練方面進(jìn)行了探索，將模型參數(shù)擴(kuò)展到 10 億量級(jí)，達(dá)到過(guò)去常用 3D 感知模型的 10 倍以上。

憑借先進(jìn)的模型結(jié)構(gòu)設(shè)計(jì)和大模型強(qiáng)大的表征能力，該團(tuán)隊(duì)提出的方案 FB-OCC 實(shí)現(xiàn)了單模型 50+% mIoU 的出色性能，并最終取得了 54.19% mIoU 的最佳成績(jī)。

網(wǎng)絡(luò)架構(gòu)

FB-OCC 的主要?jiǎng)?chuàng)新在于使用了前向和后向投影相結(jié)合的三維空間建模方式。

如圖 2 所示，在前向投影過(guò)程中，參考 LSS 投影范式，F(xiàn)B-OCC 會(huì)根據(jù)每個(gè)像素的深度分布生成場(chǎng)景對(duì)應(yīng)的三維體素 (3D voxel) 表征。同時(shí)，由于 LSS 范式生產(chǎn)的特征傾向于稀疏且不均勻，F(xiàn)B-OCC 引入反向投影機(jī)制來(lái)優(yōu)化稀疏的場(chǎng)景特征。

圖 2 網(wǎng)絡(luò)架構(gòu)圖

此外，考慮到計(jì)算負(fù)擔(dān)，F(xiàn)B-OCC 在方向投影的過(guò)程中會(huì)將場(chǎng)景特征壓縮為鳥(niǎo)瞰圖 (BEV) 表征，最后將三維體素表征和鳥(niǎo)瞰圖表征相結(jié)合。結(jié)合后得到的三維體素特征在后續(xù)還會(huì)經(jīng)過(guò)額外的體素編碼器 (Voxel encoder) 來(lái)增強(qiáng)特征感受野。

大規(guī)模模型探索

增加模型參數(shù)量是提升模型精度的最便捷的方式，但在三維視覺(jué)感知領(lǐng)域，研究人員發(fā)現(xiàn)更大規(guī)模的模型更容易產(chǎn)生過(guò)擬合現(xiàn)象，而現(xiàn)有主流感知模型的參數(shù)仍在 100M 量級(jí)。

在本次比賽中，F(xiàn)B-OCC 模型嘗試使用 10 億參數(shù)量級(jí)的 InternImage 主干網(wǎng)絡(luò)，模型總體參數(shù)量是現(xiàn)有常用模型的十倍以上。大模型訓(xùn)練通常需要大數(shù)據(jù)與之匹配，但受限于自動(dòng)駕駛數(shù)據(jù)采集標(biāo)注的高昂成本，開(kāi)源的三維感知數(shù)據(jù)集并不足以支撐 10 億參數(shù)規(guī)模的模型。

針對(duì)這個(gè)痛點(diǎn)，F(xiàn)B-OCC 使用了多輪預(yù)訓(xùn)練機(jī)制。由于可獲取的二維感知數(shù)據(jù)集遠(yuǎn)遠(yuǎn)豐富于三維感知數(shù)據(jù)，F(xiàn)B-OCC 首先在大規(guī)模開(kāi)源數(shù)據(jù)集 Objects365 上進(jìn)行通用目標(biāo)檢測(cè)預(yù)訓(xùn)練。然后，如圖 3 所示，F(xiàn)B-OCC 引入深度和語(yǔ)義聯(lián)合預(yù)訓(xùn)練來(lái)建立二維感知和三維感知的橋梁。

圖 3 深度和語(yǔ)義聯(lián)合預(yù)訓(xùn)練

為了生成語(yǔ)義分割標(biāo)簽，F(xiàn)B-OCC 還使用 Meta 的 SAM 模型來(lái)進(jìn)行自動(dòng)標(biāo)注，分別使用框提示和點(diǎn)提示來(lái)生成不同類(lèi)別的語(yǔ)義。經(jīng)過(guò)多輪預(yù)訓(xùn)練后，大規(guī)模模型在占用感知任務(wù)上可以避免嚴(yán)重的過(guò)擬合問(wèn)題。

實(shí)驗(yàn)結(jié)果

研究團(tuán)隊(duì)在實(shí)驗(yàn)中證明了 FB-OCC 的出色性能。如表 1 所示，F(xiàn)B-OCC 在 ResNet-50 主干網(wǎng)絡(luò)以及 256x704 分辨率的輸入圖像下，借助時(shí)序融合、深度監(jiān)督等技術(shù)，模型性能從最初的 23.12% mIoU 增長(zhǎng)至 42.06% mIoU。

表 1 小規(guī)模模型的消融實(shí)驗(yàn)結(jié)果

為了獲得更好的精度，F(xiàn)B-OCC 使用了更大參數(shù)量的模型。如表 2 所示，在 400M 的模型規(guī)模下，F(xiàn)B-OCC 獲得了單模型 50+% mIoU 的效果。借助 InternImage 主干網(wǎng)絡(luò)，10 億參數(shù)量級(jí)的模型進(jìn)一步取得了 52.79% 的極佳效果。

表 2 不同模型規(guī)模下的效果

最終，F(xiàn)B-OCC 多個(gè)模型的集成結(jié)果取得了目前測(cè)試集上最高的準(zhǔn)確率 ——54.19%，贏得了比賽的冠軍并被授予最佳創(chuàng)新獎(jiǎng)。FB-OCC 為自動(dòng)駕駛中復(fù)雜的三維占用預(yù)測(cè)問(wèn)題貢獻(xiàn)了新的思路。