一個(gè)基于學(xué)習(xí)的LiDAR點(diǎn)云3D線特征分割和描述模型

這個(gè)工作來(lái)自于浙江大學(xué)和DAMO academy。在點(diǎn)云配準(zhǔn)領(lǐng)域，盡管已經(jīng)有很多方法被提出來(lái)，但是無(wú)論是傳統(tǒng)方法，還是近年來(lái)蓬勃發(fā)展的基于深度學(xué)習(xí)的三維點(diǎn)云配置方法，其實(shí)在真正應(yīng)用到真實(shí)的LiDAR掃描點(diǎn)云幀時(shí)都會(huì)出現(xiàn)一些問(wèn)題。造成這種困窘的一個(gè)主要的原因在于LiDAR掃描到的點(diǎn)云分布極不均勻。

具體而言，相較于RGBD相機(jī)，LiDAR的有效掃描深度要大很多。隨著深度的增大，其激光發(fā)射出去的扇面將會(huì)變得稀疏。因此，即使是掃描同一目標(biāo)或場(chǎng)景的點(diǎn)云幀之間，其尺度并不一致。導(dǎo)致想要研究的關(guān)鍵點(diǎn)周?chē)泥徲螯c(diǎn)分布也存在較大不同，難以通過(guò)這些3D點(diǎn)的特征描述關(guān)聯(lián)起點(diǎn)云幀。

這個(gè)問(wèn)題一直以來(lái)都十分棘手。這個(gè)工作獨(dú)辟蹊徑，提出對(duì)于這種點(diǎn)云數(shù)據(jù)，不再通過(guò)3D點(diǎn)來(lái)構(gòu)建關(guān)聯(lián)以實(shí)現(xiàn)點(diǎn)云配準(zhǔn)，而是研究點(diǎn)云數(shù)據(jù)中的高層次的幾何原語(yǔ)。這種做法直觀來(lái)說(shuō)是有道理的，因?yàn)檫@些高層次的幾何原語(yǔ)通常會(huì)有較大的支撐點(diǎn)集，換句話(huà)說(shuō)，其對(duì)于點(diǎn)云掃描和采樣具有較大的魯棒性，通常不會(huì)因?yàn)槟硞€(gè)點(diǎn)沒(méi)有被記錄而影響相應(yīng)幾何原語(yǔ)的提取。

同時(shí)，幾何原語(yǔ)通常具有更具體的特征和幾何結(jié)構(gòu)，例如一條直線、一個(gè)平面等，其更容易構(gòu)建不同幀間的關(guān)聯(lián)，避免誤匹配。但是，這種研究思路通常難度較大，原因在于缺乏足夠的有標(biāo)簽的數(shù)據(jù)集。在這種情況下，這個(gè)工作顯得極其重要，它不僅僅提供了一個(gè)數(shù)據(jù)集自動(dòng)標(biāo)注模型，同樣也是少數(shù)真正開(kāi)始探索幾何原語(yǔ)用于點(diǎn)云配準(zhǔn)任務(wù)的先河性的工作。

摘要：交通桿和建筑物邊緣是城市道路上經(jīng)?？梢杂^察到的物體，為各種計(jì)算機(jī)視覺(jué)任務(wù)傳達(dá)了可靠的提示。為了重復(fù)提取它們作為特征并在離散的LiDAR幀之間進(jìn)行關(guān)聯(lián)以進(jìn)行配準(zhǔn)，我們提出了第一個(gè)基于學(xué)習(xí)的LiDAR點(diǎn)云3D線特征分割和描述模型。

為了在沒(méi)有耗時(shí)和繁瑣的數(shù)據(jù)標(biāo)記過(guò)程的情況下訓(xùn)練我們的模型，我們首先為目標(biāo)線的基本外觀生成合成原語(yǔ)，并構(gòu)建一個(gè)迭代線自動(dòng)標(biāo)注過(guò)程以逐漸調(diào)整真實(shí)LiDAR掃描的線標(biāo)簽。我們的分割模型可以在任意尺度擾動(dòng)下提取線，并且我們使用共享的EdgeConv編碼器層來(lái)聯(lián)合訓(xùn)練兩個(gè)分割和描述符提取頭。

基于該模型，我們可以在沒(méi)有初始變換提示的情況下構(gòu)建一個(gè)用于點(diǎn)云配準(zhǔn)的高可用性全局配準(zhǔn)模塊。實(shí)驗(yàn)表明，我們的基于線的配準(zhǔn)方法與最先進(jìn)的基于點(diǎn)的方法相比具有很強(qiáng)的競(jìng)爭(zhēng)力。

主要貢獻(xiàn)：

1.據(jù)我們所知，我們提出了第一個(gè)基于學(xué)習(xí)的激光雷達(dá)掃描線分割和描述網(wǎng)絡(luò)，為全局配準(zhǔn)提出了一個(gè)適用的特征類(lèi)別。

2.我們提出了一種用于點(diǎn)云線標(biāo)注方法，該方法可以將從合成數(shù)據(jù)中學(xué)習(xí)的模型遷移到真實(shí)的LiDAR掃描點(diǎn)云以進(jìn)行自動(dòng)標(biāo)注。

3.我們探索了點(diǎn)云特征的尺度不變性，并通過(guò)消除Sim(3)變換中的尺度因子，為改善點(diǎn)云上基于學(xué)習(xí)的任務(wù)在尺度擾動(dòng)下的泛化提供了可行的思路



Fig1：整體網(wǎng)絡(luò)框架。a)：我們?cè)诤铣蓴?shù)據(jù)上訓(xùn)練尺度不變的分割，并在多次幾何自適應(yīng)迭代后得到精確的線標(biāo)簽。b)：我們同時(shí)在標(biāo)注的LiDAR掃描點(diǎn)云上訓(xùn)練分割和描述符提取網(wǎng)絡(luò)，其中紅色、紫色和綠色層分別代表編碼器、分割網(wǎng)絡(luò)頭和描述符提取網(wǎng)絡(luò)頭。

方法介紹： 考慮到缺乏可用的LiDAR掃描點(diǎn)云的有標(biāo)簽線數(shù)據(jù)集，我們遵循SuperPoint的自監(jiān)督思想來(lái)訓(xùn)練我們的線分割模型，首先構(gòu)建一個(gè)簡(jiǎn)單的合成數(shù)據(jù)來(lái)初始化一個(gè)基礎(chǔ)模型，然后使用幾何自適應(yīng)的自動(dòng)標(biāo)記真實(shí)LiDAR掃描點(diǎn)云進(jìn)行迭代來(lái)調(diào)整模型。之后我們收集不同LiDAR掃描點(diǎn)云幀之間的線對(duì)應(yīng)關(guān)系，并以端到端的方法聯(lián)合訓(xùn)練線分割和描述符提取網(wǎng)絡(luò)。

一、線分割模型

1）合成數(shù)據(jù)生成.

兩種類(lèi)型的可靠線段可以檢測(cè)：

1)平面之間的交線，以及2)交通桿。因此，我們選擇使用圖2（a）所示的以下兩個(gè)網(wǎng)格原語(yǔ)分別模擬它們的局部外觀。這兩個(gè)網(wǎng)格模型首先被均勻采樣成4000個(gè)點(diǎn)，如圖 2(b) 所示，每個(gè)點(diǎn)添加5%的相對(duì)3自由度位置擾動(dòng)。然后，為了模擬附近可能的背景點(diǎn)，我們隨機(jī)裁剪了40 個(gè)基本原語(yǔ)，每個(gè)原語(yǔ)包含1000個(gè)來(lái)自真實(shí)掃描點(diǎn)云的點(diǎn)，并將它們放在一起組成最終的合成數(shù)據(jù)。我們總共生成了5000個(gè)合成點(diǎn)云，每個(gè)點(diǎn)云有5000個(gè)點(diǎn)。

?2）尺度不變線分割.

我們將線檢測(cè)視為點(diǎn)云分割問(wèn)題，主要挑戰(zhàn)是原語(yǔ)尺度縮放問(wèn)題：在真實(shí)的LiDAR點(diǎn)云幀中，點(diǎn)的密度隨著掃描距離的增加而降低，而當(dāng)目標(biāo)特征遠(yuǎn)離傳感器時(shí)，體素網(wǎng)格下采樣不能完全歸一化密度。此外，我們的合成數(shù)據(jù)生成也沒(méi)有考慮線的尺度（如圖 2（e）放在一起時(shí)所示）。如果不處理這個(gè)問(wèn)題，當(dāng)訓(xùn)練和測(cè)試數(shù)據(jù)在不同的尺度上時(shí)，模型將不會(huì)產(chǎn)生合理的預(yù)測(cè)。 我們的網(wǎng)絡(luò)通過(guò)消除Sim(3)變換的尺度因子s和使用相對(duì)距離來(lái)解決這個(gè)問(wèn)題，如：



在上式中，我們搜索點(diǎn)p的k=20個(gè)最近點(diǎn)，并計(jì)算尺度不變的局部特征f（p與其近鄰點(diǎn)之間的曼哈頓距離與歐幾里得距離之比）。這種特征定義的損失在于f不能反映原點(diǎn)在歐幾里德空間中的位置，因此此變換存在信息損失。 3）模型結(jié)構(gòu). 我們選擇DGCNN作為我們的主干，因?yàn)樗苯訉?duì)點(diǎn)及其最近的近鄰點(diǎn)進(jìn)行編碼而無(wú)需復(fù)雜的操作。下式展示了其被稱(chēng)為EdgeConv的局部特征編碼函數(shù)，其中是第j個(gè)特征，是特征空間 S中 的鄰居， h是學(xué)習(xí)的模型。 在第一個(gè)EdgeConv層中，x表示歐氏空間中的點(diǎn)坐標(biāo)。在我們的實(shí)現(xiàn)中，我們收集每個(gè)點(diǎn)的k=20個(gè)最近鄰點(diǎn)并計(jì)算尺度不變特征f。然后我們把第一個(gè)EdgeConv層變成： 它用尺度不變的特征f代替了歐氏空間中的坐標(biāo)，但仍然是歐氏空間中第i個(gè)鄰居點(diǎn)的特征，而不是在特征空間中的鄰居。由于在生成尺度不變特征時(shí)，原始?xì)W氏空間中的部分信息已經(jīng)丟失，保留原始?xì)W氏空間中的鄰域關(guān)系可以減少進(jìn)一步的信息丟失。



Fig2：合成數(shù)據(jù)生成步驟。我們通過(guò)對(duì)原始網(wǎng)格模型進(jìn)行采樣并將真實(shí)掃描散點(diǎn)作為噪聲來(lái)增強(qiáng)生成合成數(shù)據(jù)。

4）自動(dòng)線標(biāo)注.

當(dāng)前沒(méi)有可用的 LiDAR點(diǎn)云有標(biāo)簽線數(shù)據(jù)集，并且難以對(duì)點(diǎn)云進(jìn)行手動(dòng)標(biāo)記。因此，我們構(gòu)建了一個(gè)自動(dòng)線標(biāo)注框架（圖 3）。受SuperPoint啟發(fā)，我們對(duì)LiDAR掃描點(diǎn)云執(zhí)行幾何自適應(yīng)。首先，我們僅在合成數(shù)據(jù)上訓(xùn)練一個(gè)尺度不變的分割模型，并將XOY中20m和偏航 360°的均勻分布的2D變換應(yīng)用于LiDAR掃描點(diǎn)云。

然后，我們使用經(jīng)過(guò)訓(xùn)練的模型來(lái)預(yù)測(cè)擾動(dòng)數(shù)據(jù)上的標(biāo)簽，聚合來(lái)自所有擾動(dòng)幀的結(jié)果，并將超過(guò)80%預(yù)測(cè)屬于線的點(diǎn)作為候選點(diǎn)。為了將點(diǎn)聚類(lèi)成線，我們使用區(qū)域增長(zhǎng)算法。點(diǎn)之間的連通性通過(guò)0.5m搜索半徑的KD-Tree定義。我們使用標(biāo)注點(diǎn)作為種子，生長(zhǎng)到附近的標(biāo)注點(diǎn)，并擬合線。

一旦提取了此類(lèi)線，我們將繼續(xù)在獲得的有標(biāo)簽LiDAR掃描點(diǎn)云上調(diào)整分割模型。我們重復(fù)幾何自適應(yīng)3次以在KITTI里程計(jì)序列上生成12989個(gè)自動(dòng)標(biāo)注的 LiDAR幀。



Fig3：自動(dòng)標(biāo)注框架。我們使用幾何自適應(yīng)和線擬合來(lái)減少網(wǎng)絡(luò)預(yù)測(cè)噪聲，并通過(guò)迭代訓(xùn)練提高真實(shí)LiDAR掃描點(diǎn)云的模型精度。

二、聯(lián)系訓(xùn)練線分割和描述符提取網(wǎng)絡(luò)

1）線描述符的定義.

不同于只需要線段兩個(gè)端點(diǎn)的幾何定義，每條線的描述符應(yīng)通過(guò)其所有所屬點(diǎn)傳達(dá)局部外觀，因?yàn)橛^察到的端點(diǎn)可能由于可能的遮擋而在幀之間變化。因此，我們將描述符定義為其所有所屬點(diǎn)的平均值。



Fig4: 網(wǎng)絡(luò)架構(gòu)。該網(wǎng)絡(luò)使用EdgeConv模塊來(lái)提取特征。分割網(wǎng)絡(luò)頭和描述符提取頭分別用于預(yù)測(cè)每個(gè)點(diǎn)的標(biāo)簽和描述符。

2）網(wǎng)絡(luò)結(jié)構(gòu).

我們的網(wǎng)絡(luò)結(jié)構(gòu)（圖4）由堆疊的三個(gè)EdgeConv層組成，用于特征編碼，兩個(gè)解碼器分別用于線分割和描述。每個(gè)EdgeConv層輸出一個(gè)張量，在max-pooling層之后用于3層的分割和描述。我們使用ReLU進(jìn)行激活。分割網(wǎng)絡(luò)頭將特征向量卷積后變成一個(gè)大小的張量（N為輸入點(diǎn)數(shù)），然后通過(guò)softmax層得到每個(gè)點(diǎn)的布爾坐標(biāo)，預(yù)測(cè)是否屬于一條線。描述符提取網(wǎng)絡(luò)頭輸出一個(gè)大小為的張量，然后進(jìn)行L2歸一化得到一個(gè)d維的描述符。 3)損失函數(shù).我們的分割損失是一個(gè)標(biāo)準(zhǔn)的交叉熵?fù)p失，對(duì)于描述符損失，我們首先使用線段標(biāo)簽得到每條線段的均值描述符u，然后使用將點(diǎn)描述符拉向u。的提出是為了讓不同行的描述符相互排斥。此外，對(duì)于點(diǎn)云對(duì)，我們計(jì)算匹配損失和非匹配線之間的損失。每一個(gè)損失項(xiàng)都可以寫(xiě)成如下形式：



其中N是檢測(cè)到的線數(shù)，代表兩條線的所有對(duì)。i和j是兩個(gè)迭代器，分別用于直線和直線上的點(diǎn)。是一條線的平均描述符，是其相關(guān)點(diǎn)j的描述符。和是另一個(gè)關(guān)聯(lián)點(diǎn)云的平均描述符,和分別為正負(fù)邊緣。, 且表示L1距離。最后，我們使用來(lái)平衡最終的損失：

3）基于線的配準(zhǔn).

我們的網(wǎng)絡(luò)為每個(gè)點(diǎn)輸出標(biāo)簽和描述符。我們首先提取線,然后我們執(zhí)行描述符匹配以獲得行對(duì)應(yīng)。匹配描述符的閾值設(shè)置為0.1。用于將源云注冊(cè)到目標(biāo)點(diǎn)云的變換通過(guò)最小化所有線匹配代價(jià)中的點(diǎn)到線距離進(jìn)行優(yōu)化： 其中是源點(diǎn)云中的線上的點(diǎn)，和是線i的匹配線的端點(diǎn)。

審核編輯：劉清