LiDAR4D：基于時(shí)空新穎的LiDAR視角合成框架

0. 這篇文章干了啥？

目前大多數(shù)NeRF研究集中在圖像的新視角合成上，而激光雷達(dá)則很少被探索。由于激光雷達(dá)點(diǎn)云的稀疏性、不連續(xù)性和遮擋性，動(dòng)態(tài)場景同時(shí)結(jié)合了新的空間視角和時(shí)間視角合成，重建面臨著相當(dāng)大的挑戰(zhàn)。與此同時(shí)，動(dòng)態(tài)物體的大幅運(yùn)動(dòng)使得對(duì)齊和重建變得困難。傳統(tǒng)的基于激光雷達(dá)的三維場景重建技術(shù)直接在世界坐標(biāo)系中聚合多個(gè)稀疏點(diǎn)云幀，并將它們進(jìn)一步轉(zhuǎn)換為三角形網(wǎng)格等顯式表面表示。隨后，通過執(zhí)行光線投射計(jì)算激光雷達(dá)束與網(wǎng)格表面的交點(diǎn)，從而渲染新視角的激光雷達(dá)點(diǎn)云。然而，對(duì)于復(fù)雜的大規(guī)模場景，高質(zhì)量的表面重建是具有挑戰(zhàn)性的，這可能導(dǎo)致重要的幾何誤差。此外，上述的顯式重建方法局限于靜態(tài)場景，并且難以準(zhǔn)確地模擬實(shí)際激光雷達(dá)點(diǎn)的強(qiáng)度或光線掉落特性。

NeRF-LiDAR將圖像和點(diǎn)云模態(tài)整合到激光雷達(dá)合成中，而諸如LiDAR-NeRF和NFL之類的僅激光雷達(dá)的方法探索了在沒有RGB圖像的情況下進(jìn)行激光雷達(dá)重建和生成的可能性。大多數(shù)先前的方法直接將圖像NVS流程應(yīng)用于激光雷達(dá)點(diǎn)云。然而，激光雷達(dá)點(diǎn)云與2D圖像本質(zhì)上是不同的，這對(duì)當(dāng)前的激光雷達(dá)NVS方法提出了挑戰(zhàn)，以實(shí)現(xiàn)高質(zhì)量的重建：

（1）先前的方法局限于靜態(tài)場景，忽視了自動(dòng)駕駛場景的動(dòng)態(tài)性；

（2）激光雷達(dá)點(diǎn)云的龐大規(guī)模和高稀疏性對(duì)表示提出了更高的要求；

（3）需要進(jìn)行強(qiáng)度和光線掉落特性建模以實(shí)現(xiàn)合成的真實(shí)感。

為了克服上述限制，這篇文章提出了LiDAR4D，揭示了提升當(dāng)前激光雷達(dá)NVS流程的三個(gè)關(guān)鍵見解。為了解決動(dòng)態(tài)物體，引入了從點(diǎn)云導(dǎo)出的幾何約束，并聚合多幀動(dòng)態(tài)特征以實(shí)現(xiàn)時(shí)間一致性。關(guān)于緊湊的大規(guī)模場景重建，設(shè)計(jì)了一個(gè)粗到細(xì)的混合表示，結(jié)合了多平面和網(wǎng)格特征，以重建平滑的幾何和高頻率的強(qiáng)度。此外，采用全局優(yōu)化來保持區(qū)域間的模式以進(jìn)行光線掉落概率的細(xì)化。因此，LiDAR4D能夠在大規(guī)模動(dòng)態(tài)場景下實(shí)現(xiàn)幾何感知和時(shí)間一致的重建。

下面一起來閱讀一下這項(xiàng)工作~

1. 論文信息

標(biāo)題：LiDAR4D: Dynamic Neural Fields for Novel Space-time View LiDAR Synthesis

作者：Zehan Zheng, Fan Lu, Weiyi Xue, Guang Chen, Changjun Jiang

機(jī)構(gòu)：同濟(jì)大學(xué)

原文鏈接：https://arxiv.org/abs/2404.02742

代碼鏈接：https://github.com/ispc-lab/LiDAR4D

2. 摘要

盡管神經(jīng)輻射場（NeRFs）在圖像新視角合成（NVS）方面取得了勝利，但LiDAR NVS仍然很大程度上未被探索。之前的LiDAR NVS方法采用了一種簡單的從圖像NVS方法到LiDAR的轉(zhuǎn)換，同時(shí)忽略了LiDAR點(diǎn)云的動(dòng)態(tài)特性和大規(guī)模重建問題。基于此，我們提出了LiDAR4D，一個(gè)用于新穎時(shí)空LiDAR視角合成的可微分LiDAR-only框架。考慮到稀疏性和大規(guī)模特性，我們?cè)O(shè)計(jì)了一個(gè)4D混合表示，結(jié)合多平面和網(wǎng)格特征，以粗到精的方式實(shí)現(xiàn)有效的重建。此外，我們引入了從點(diǎn)云中導(dǎo)出的幾何約束以提高時(shí)間一致性。為了實(shí)現(xiàn)LiDAR點(diǎn)云的逼真合成，我們將射線丟失概率的全局優(yōu)化納入其中，以保留跨區(qū)域模式。對(duì)KITTI-360和NuScenes數(shù)據(jù)集的大量實(shí)驗(yàn)證明了我們的方法在完成幾何感知和時(shí)間一致的動(dòng)態(tài)重建方面的優(yōu)越性。

3. 效果展示

自動(dòng)駕駛中LiDAR點(diǎn)云的動(dòng)態(tài)場景。 大規(guī)模的車輛運(yùn)動(dòng)對(duì)動(dòng)態(tài)重構(gòu)和新穎的時(shí)空視圖合成提出了重大挑戰(zhàn)，白點(diǎn)表示自車的軌跡。

KITTI - 360數(shù)據(jù)集上定性新視角LiDAR點(diǎn)云合成結(jié)果。 LiDAR - NeRF無法重建動(dòng)態(tài)車輛。相比之下，LiDAR4D為移動(dòng)的汽車生成更精確的幾何形狀，即使在較遠(yuǎn)的稀疏點(diǎn)云中也是如此。

LiDAR深度重建與合成的定性比較。

4. 主要貢獻(xiàn)

（1）提出了LiDAR4D，一個(gè)用于新穎時(shí)空激光雷達(dá)視角合成的可微激光雷達(dá)框架，它可以重建動(dòng)態(tài)駕駛場景并端到端生成逼真的激光雷達(dá)點(diǎn)云。

（2）引入了從點(diǎn)云導(dǎo)出的4D混合神經(jīng)表示和運(yùn)動(dòng)先驗(yàn)，以實(shí)現(xiàn)幾何感知和時(shí)間一致的大規(guī)模場景重建。

（3）全面的實(shí)驗(yàn)證明了LiDAR4D在具有挑戰(zhàn)性的動(dòng)態(tài)場景重建和新視角合成方面的最先進(jìn)性能。

5. 基本原理是啥？

LiDAR4D概述。 針對(duì)大規(guī)模自動(dòng)駕駛場景，利用4D混合表示，將低分辨率的多平面特征和高分辨率的哈希網(wǎng)格特征相結(jié)合，實(shí)現(xiàn)了有效的重建。然后，通過flow MLP聚合的多級(jí)時(shí)空特征被輸入到神經(jīng)激光雷達(dá)場中進(jìn)行密度、強(qiáng)度和射線掉落概率的預(yù)測(cè)。最后，通過可微分渲染合成新的時(shí)空視圖LiDAR點(diǎn)云。進(jìn)一步地，構(gòu)造了由點(diǎn)云導(dǎo)出的幾何約束以保證時(shí)間一致性，并構(gòu)造了用于生成真實(shí)感的光線下降全局優(yōu)化。

平面-網(wǎng)格混合表示的4D分解，利用流MLP可以進(jìn)一步聚合動(dòng)態(tài)特征。

6. 實(shí)驗(yàn)結(jié)果

作者在KITTI-360和NuScenes自動(dòng)駕駛數(shù)據(jù)集的多樣化動(dòng)態(tài)場景上評(píng)估了LiDAR4D。通過全面的實(shí)驗(yàn)，LiDAR4D顯著優(yōu)于先前最先進(jìn)的基于NeRF的隱式方法和顯式重建方法。與LiDAR-NeRF相比，在KITTI-360數(shù)據(jù)集和NuScenes數(shù)據(jù)集上分別實(shí)現(xiàn)了24.3%和24.2%的CD誤差降低。在距離深度和強(qiáng)度的其他度量方面也存在類似的領(lǐng)先優(yōu)勢(shì)。

?

?

7. 限制性 & 總結(jié)

盡管 LiDAR4D 在大量實(shí)驗(yàn)中表現(xiàn)出色，但點(diǎn)云的遠(yuǎn)距離車輛運(yùn)動(dòng)和遮擋問題仍然是開放性問題。與靜態(tài)對(duì)象相比，動(dòng)態(tài)對(duì)象的重建仍存在顯著差距。此外，前景和背景可能難以分離。此外，基于真實(shí)世界數(shù)據(jù)集，NVS 的定量評(píng)估僅限于自車軌跡，并且不允許對(duì)新穎的空間和時(shí)間視圖合成進(jìn)行解耦。

總體來說，這篇文章重新審視了現(xiàn)有 LiDAR NVS 方法的局限性，并提出了一個(gè)新的框架來解決三個(gè)主要挑戰(zhàn)，即動(dòng)態(tài)重建、大規(guī)模場景表征和逼真合成。LiDAR4D 在大量實(shí)驗(yàn)中證明了其優(yōu)越性，實(shí)現(xiàn)了對(duì)大規(guī)模動(dòng)態(tài)點(diǎn)云場景的幾何感知和時(shí)間一致重建，并生成了更接近真實(shí)分布的新穎時(shí)空視圖 LiDAR 點(diǎn)云。作者認(rèn)為，未來更多的工作將集中于將 LiDAR 點(diǎn)云與神經(jīng)輻射場相結(jié)合，并探索動(dòng)態(tài)場景重建和合成的更多可能性。

對(duì)更多實(shí)驗(yàn)結(jié)果和文章細(xì)節(jié)感興趣的讀者，可以閱讀一下論文原文~

審核編輯：黃飛