雷達(dá)點(diǎn)云動(dòng)態(tài)目標(biāo)分割算法研究分析

作者：泡椒味的口香糖??

0. 筆者個(gè)人體會

視覺也好，激光也好，如何剔除動(dòng)態(tài)物體的影響都是一個(gè)很麻煩的課題。一方面要檢測動(dòng)態(tài)物體，另一方面要建立去除干擾的靜態(tài)環(huán)境地圖。現(xiàn)有的動(dòng)態(tài)物體剔除的工作其實(shí)有很多了，但是都有一個(gè)問題：如何解決分割的假陽性和假陰性。其實(shí)這也是CV很經(jīng)典的問題"如何信任深度學(xué)習(xí)的結(jié)果"。

今天給大家介紹的這篇工作就解決了這個(gè)問題，來源于2023 IROS，它將當(dāng)前幀的Lidar掃描和局部地圖都輸入到網(wǎng)絡(luò)中，以此來修正歷史幀的漏檢和誤檢。

這篇文章其實(shí)和之前2021 RAL/IROS"Moving Object Segmentation in 3D LiDAR Data: A Learning-based Approach Exploiting Sequential Data"的工作有點(diǎn)相似，陳謝沅澧也是兩篇文章的共同作者，感興趣的小伙伴可以追一下陳博的Github（https://github.com/Chen-Xieyuanli）。

注：本文使用MOS作為Moving Object Segmentation的簡稱。

1. 效果展示

算法將雷達(dá)點(diǎn)云做為輸入，可以直接判定點(diǎn)是否屬于動(dòng)態(tài)物體。還能構(gòu)建Volumetric Belief地圖（可以理解為存儲每個(gè)點(diǎn)是否動(dòng)態(tài)的概率），構(gòu)建完地圖以后可以直接對點(diǎn)進(jìn)行查詢。但筆者覺得最重要的一點(diǎn)是，它可以修正歷史幀的假陽性和假陰性判據(jù)，這一點(diǎn)是很多算法沒有涉及的。

再來看一看動(dòng)態(tài)環(huán)境下建圖的結(jié)果，實(shí)心圓表示地圖中動(dòng)態(tài)物體的殘留痕跡，虛線圓表示由于假陽性預(yù)測而被4DMOS移除的靜態(tài)區(qū)域。整體來看，建立的動(dòng)態(tài)環(huán)境地圖還是很干凈的。

算法已經(jīng)開源了，感興趣的小伙伴可以去試試，下面來看具體的論文信息。

2. 摘要

在未知環(huán)境中導(dǎo)航的移動(dòng)機(jī)器人需要時(shí)刻感知周圍環(huán)境中的動(dòng)態(tài)物體，以便進(jìn)行建圖、定位和規(guī)劃。對當(dāng)前觀測中的運(yùn)動(dòng)物體進(jìn)行推理，同時(shí)對靜態(tài)世界的內(nèi)部模型進(jìn)行更新以確保安全是關(guān)鍵。在本文中，我們解決了在當(dāng)前3D LiDAR掃描和環(huán)境局部地圖中聯(lián)合估計(jì)運(yùn)動(dòng)物體的問題。我們使用稀疏的4D卷積從掃描和局部地圖中提取時(shí)空特征，并將所有3D點(diǎn)分割為移動(dòng)和非移動(dòng)點(diǎn)。此外，我們提出使用貝葉斯濾波器將這些預(yù)測融合在動(dòng)態(tài)環(huán)境的概率表示中。這種Volumetric Belief模型表示環(huán)境中的哪些部分可以被運(yùn)動(dòng)對象所占據(jù)。我們的實(shí)驗(yàn)表明，我們的方法優(yōu)于現(xiàn)有的運(yùn)動(dòng)目標(biāo)分割基線，甚至可以推廣到不同類型的LiDAR傳感器。我們證明了在在線建圖場景中，我們的Volumetric Belief融合可以提高運(yùn)動(dòng)目標(biāo)分割的精度和召回率，甚至可以檢索到先前丟失的運(yùn)動(dòng)目標(biāo)。

3. 算法解析

算法的整體目標(biāo)是識別當(dāng)前Lidar掃描和局部地圖中的動(dòng)態(tài)物體，并融合生成一個(gè)概率 Volumetric Belief圖。

Lidar點(diǎn)云過來以后，首先使用KISS-ICP（參考https://github.com/PRBonn/kiss-icp）進(jìn)行注冊，并對點(diǎn)云進(jìn)行體素化，之后再進(jìn)行分割。Scan2Map的輸入為當(dāng)前幀Lidar掃描和局部地圖（居然不需要位姿）點(diǎn)云的4D信息（位置+時(shí)間戳），使用4D卷積網(wǎng)絡(luò)MinkUNet進(jìn)行動(dòng)態(tài)目標(biāo)預(yù)測，最后將預(yù)測結(jié)果融合到Volumetric Belief圖中。其使用的分割思想有兩個(gè)：

（1）動(dòng)態(tài)物體的Lidar掃描和局部地圖有差異；

（2）動(dòng)態(tài)物體上點(diǎn)云的時(shí)間戳的變化和靜態(tài)點(diǎn)不同；

引入時(shí)間信息有啥好處呢？

由于遮擋、有限FoV等因素，動(dòng)態(tài)目標(biāo)在短時(shí)間內(nèi)很有可能是有遮擋的，如果使用固定長度的滑窗就沒辦法處理！而且這里還使用了一個(gè)trick，就是對序列的時(shí)間戳進(jìn)行歸一化處理，避免訓(xùn)練時(shí)對序列長度過擬合！

那為啥還要輸入局部地圖信息，而不僅僅是當(dāng)前的Lidar掃描呢？

這里主要是考慮到分割的假陰性和假陽性問題。如果之前幀沒有成功識別動(dòng)態(tài)物體，那么還可以通過局部地圖來回溯錯(cuò)誤。

最后Volumetric Belief就是一個(gè)將多個(gè)獨(dú)立預(yù)測隨時(shí)間進(jìn)行融合的過程。需要特別注意的是，這個(gè)Volumetric Belief存儲的并不是每個(gè)點(diǎn)的預(yù)測，而是環(huán)境中哪部分有更高的概率包含動(dòng)態(tài)對象。也就是說，不僅僅是要識別當(dāng)前點(diǎn)是否為動(dòng)態(tài)對象，還要確定地圖的哪一部分被動(dòng)態(tài)對象經(jīng)過了（Dynamic Occupancy）。舉個(gè)例子，就是如果一個(gè)點(diǎn)落入了動(dòng)態(tài)體素中，那么就假設(shè)這個(gè)點(diǎn)也屬于動(dòng)態(tài)物體，如果一個(gè)體素被靜態(tài)點(diǎn)占據(jù)，那么也就不再期望在這個(gè)體素中觀察到動(dòng)態(tài)物體。Volumetric Belief建立完成以后，也就可以根據(jù)概率查詢其中哪個(gè)點(diǎn)是動(dòng)態(tài)點(diǎn)。

4. 實(shí)驗(yàn)

作者所做的實(shí)驗(yàn)，其實(shí)是圍繞四個(gè)點(diǎn)來進(jìn)行：

（1） 基于過去觀測的局部地圖，將輸入的LiDAR掃描精確地分割成動(dòng)態(tài)和非動(dòng)態(tài)的物體；

（2） 在實(shí)現(xiàn)最新性能的同時(shí)，很好地推廣到新的環(huán)境和傳感器設(shè)置；

（3） 通過將多個(gè)預(yù)測融合到Volumetric Belief中，提高M(jìn)OS的精度和召回率；

（4） 通過Volumetric Belief從錯(cuò)誤的預(yù)測中恢復(fù)到在線建圖。

就數(shù)據(jù)集來說，作者除了在Semantic KITTI和Semantic KITTI MOS（參考https://codalab.lisn.upsaclay.fr/competitions/7088）這兩個(gè)動(dòng)態(tài)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，還標(biāo)注了KITTI Tracking、Apollo Columbia Park MapData、nuScenes這三個(gè)數(shù)據(jù)集中的子序列。評估指標(biāo)就是分割任務(wù)常用的IoU。

先看一下在Semantic KITTI和Semantic KITTI MOS上的運(yùn)動(dòng)物體分割結(jié)果，分別對比了只是用當(dāng)前幀（Scan）以及帶有10幀的局部地圖（Volumetric Belief）。驗(yàn)證集效果很好，但是測試集提升其實(shí)不太明顯。效果比4DMOS好也就證明了使用時(shí)間信息對MOS是有利的。這里L(fēng)MNet就是陳博之前的工作，RVMOS性能好是因?yàn)槭褂昧祟~外的標(biāo)簽訓(xùn)練。

泛化性實(shí)驗(yàn)很有價(jià)值，主要還是因?yàn)?strong>MOS是有監(jiān)督任務(wù)，并且標(biāo)注成本極高（也推薦一個(gè)半監(jiān)督點(diǎn)云分割框架https://ldkong.com/LaserMix）。LMNet和MotionSeg3D性能很差，是因?yàn)閷idar安裝位置和點(diǎn)云強(qiáng)度過擬合了。而4DMOS和作者的方法只是用時(shí)間信息，因此可以適應(yīng)新的Lidar內(nèi)參標(biāo)定。

最后一個(gè)實(shí)驗(yàn)證明的是Volumetric Belief的具體設(shè)置如何提升IoU、召回和精度。表中的No Delay代表局部地圖的點(diǎn)為動(dòng)態(tài)點(diǎn)（主要還是做一個(gè)運(yùn)行時(shí)間的平衡）。結(jié)果表明，Volumetric Belief可以在先驗(yàn)地圖中排除假陽性，雖然有時(shí)精度和召回略低，但是IoU提升很明顯。

5. 總結(jié)

跟動(dòng)態(tài)視覺SLAM不同，動(dòng)態(tài)雷達(dá)SLAM還是有很多可研究的點(diǎn)，但主要思想還是利用動(dòng)態(tài)物體上scan和scan、scan和map之間的矛盾?？梢灾苯永眠@種矛盾做幾何一致性判據(jù)，也可以輸入到網(wǎng)絡(luò)里進(jìn)行訓(xùn)練。從這個(gè)角度出發(fā)，讀者也可以構(gòu)思新的判別方式，設(shè)計(jì)自己的動(dòng)態(tài)點(diǎn)云檢測算法。

IROS的文章都很精簡，很多信息沒辦法從論文中獲取，還是得死磕代碼來解決問題。所以對論文細(xì)節(jié)感興趣的小伙伴不妨閱讀一下代碼。

編輯：黃飛

?