SDMNet：大規(guī)模激光雷達(dá)點(diǎn)云配準(zhǔn)的稀疏到稠密匹配網(wǎng)絡(luò)

按：自動(dòng)駕駛車輛需要準(zhǔn)確地感知和理解周圍環(huán)境，相比于二維的視覺感知，三維視覺感知提供了更多的信息和更準(zhǔn)確的空間建模能力。而點(diǎn)云配準(zhǔn)是三維視覺感知中的一項(xiàng)基本問題，在自動(dòng)駕駛中的地圖、定位等方面有著重要作用?；谔卣髌ヅ涞呐錅?zhǔn)算法是點(diǎn)云配準(zhǔn)領(lǐng)域的核心框架之一，其主要基于特征相似度求解匹配點(diǎn)對，并結(jié)合魯棒匹配算法得到最終的配準(zhǔn)結(jié)果，該框架更能夠適應(yīng)自動(dòng)駕駛場景，但大規(guī)模且復(fù)雜的點(diǎn)云場景也對點(diǎn)云配準(zhǔn)算法的效率和準(zhǔn)確性提出了更高的要求。基于該問題，作者提出了一種由稀疏到稠密的匹配網(wǎng)絡(luò)SDMNet，實(shí)現(xiàn)了配準(zhǔn)精度和效率的良好平衡。在KITTIOdometry、NuScenes和Apollo-SouthBay數(shù)據(jù)集上都達(dá)到了目前的最優(yōu)性能，且達(dá)到了和稀疏匹配算法相當(dāng)?shù)挠?jì)算效率。

摘要：點(diǎn)云配準(zhǔn)是三維視覺領(lǐng)域的基礎(chǔ)問題之一，其目標(biāo)為基于給定的兩幀點(diǎn)云估計(jì)其相對位姿變換。以前的基于學(xué)習(xí)的激光雷達(dá)點(diǎn)云配準(zhǔn)方法可以分為兩種方案：稀疏匹配（Sparse-to-Sparse）和稠密匹配（Dense-to-Dense）。然而，對于大規(guī)模室外LiDAR點(diǎn)云，解決密集點(diǎn)對應(yīng)關(guān)系非常耗時(shí)，而稀疏關(guān)鍵點(diǎn)匹配容易受到關(guān)鍵點(diǎn)檢測誤差的影響?；谝陨峡紤]，我們提出了SDMNet，一種新的針對大規(guī)模室外點(diǎn)云配準(zhǔn)的稀疏對稠密的關(guān)鍵點(diǎn)匹配網(wǎng)絡(luò)。本文將特征匹配分為兩個(gè)階段，即稀疏匹配與局部稠密匹配。在稀疏匹配階段，從源點(diǎn)云中采樣一組稀疏點(diǎn)，然后使用軟匹配網(wǎng)絡(luò)和魯棒的離群值過濾模塊將它們與密集目標(biāo)點(diǎn)云進(jìn)行匹配。此外，本文采用了一種新的基于最優(yōu)傳輸?shù)泥徲蚱ヅ淠K，增強(qiáng)特征的鄰域一致性，顯著提高了性能。在局部稠密匹配階段，通過在高置信度稀疏對應(yīng)點(diǎn)對的局部空間鄰域中執(zhí)行點(diǎn)的匹配來高效地獲取密集對應(yīng)關(guān)系。本文在三個(gè)大規(guī)模室外激光雷達(dá)點(diǎn)云數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)證明，本文所提出的SDMNet以高效率達(dá)到了最高精度。

Ⅰ引言

點(diǎn)云配準(zhǔn)旨在估計(jì)最佳的剛性變換，以使兩個(gè)點(diǎn)云對齊。作為三維計(jì)算機(jī)視覺中的基本任務(wù)，點(diǎn)云配準(zhǔn)已在各種實(shí)際應(yīng)用中使用，包括自動(dòng)駕駛[1]、智能機(jī)器人[2]、虛擬現(xiàn)實(shí)[3]等。隨著深度學(xué)習(xí)的發(fā)展，基于學(xué)習(xí)的方法在點(diǎn)云配準(zhǔn)方面取得了顯著的性能。早期的基于端到端的估計(jì)位姿變換的方法[4][5]主要集中在物體級點(diǎn)云上，并對兩個(gè)點(diǎn)云的分布和對應(yīng)關(guān)系做出了很強(qiáng)的假設(shè)，這對于具有復(fù)雜分布的大規(guī)模點(diǎn)云缺乏可擴(kuò)展性。近期對大規(guī)模激光雷達(dá)點(diǎn)云的基于學(xué)習(xí)的配準(zhǔn)方法遵循著由特征提取、魯棒的特征匹配的框架，可以分為兩類：稠密匹配和稀疏匹配。如圖1(a)所示，稠密匹配方法[6][7]首先利用預(yù)先計(jì)算的描述符構(gòu)建潛在的密集對應(yīng)關(guān)系，然后利用異常值排除方法排除錯(cuò)誤的對應(yīng)關(guān)系。然而，針對大規(guī)模點(diǎn)云，解決稠密的匹配關(guān)系是相當(dāng)消耗時(shí)間的為了解決計(jì)算問題，如圖1(b)，稀疏點(diǎn)云的匹配方法首先檢測關(guān)鍵點(diǎn)，然后僅在稀疏點(diǎn)云中執(zhí)行配準(zhǔn)。然而，關(guān)鍵點(diǎn)檢測并不總是完美的。有限的關(guān)鍵點(diǎn)重復(fù)特征導(dǎo)致一個(gè)點(diǎn)有很大的風(fēng)險(xiǎn)丟失其在另一幀中的匹配點(diǎn)。此外，關(guān)鍵點(diǎn)檢測錯(cuò)誤也會導(dǎo)致已經(jīng)匹配好的關(guān)鍵點(diǎn)產(chǎn)生有害的偏離，降低配準(zhǔn)的精度。

圖1 點(diǎn)云配準(zhǔn)的不同匹配方案。綠線：正確點(diǎn)對對應(yīng)關(guān)系。紅線：異常值對應(yīng)關(guān)系。我們使用藍(lán)色和黃色的點(diǎn)表示使用的源點(diǎn)和目標(biāo)點(diǎn)，使用淺藍(lán)色和淺黃色的點(diǎn)表示某種方案中未使用的點(diǎn)。

為了處理上述的問題，我們提出了SDMNet，一種新的由稀疏到密集的針對大規(guī)模室外點(diǎn)云的配準(zhǔn)方法。稀疏到稠密匹配方案如圖1(c)所示。具體而言，我們將配準(zhǔn)問題分為兩個(gè)階段，即稀疏匹配階段和局部稠密匹配階段。在稀疏匹配階段，給定要對齊的源點(diǎn)云和目標(biāo)點(diǎn)云、。我們首先使用最遠(yuǎn)點(diǎn)采樣（FPS）[9]算法從中采樣一組稀疏點(diǎn)。然后我們設(shè)計(jì)了一個(gè)軟匹配網(wǎng)絡(luò)，為采樣的源點(diǎn)預(yù)測虛擬對應(yīng)的目標(biāo)點(diǎn)，其中引入了空間一致性特征以提高可靠性。此外，我們設(shè)計(jì)了一種新的損失函數(shù)概率距離損失（Probabilistic distance loss），用于對軟匹配網(wǎng)絡(luò)進(jìn)行額外的監(jiān)督。然后，我們采用了基于學(xué)習(xí)的SCNonlocal [7]與PointCN [10]相結(jié)合的模型對離群的稀疏的匹配關(guān)系中進(jìn)行剔除。為了增強(qiáng)鄰域一致性，我們使用了一種新的鄰域匹配模塊，利用基于最優(yōu)傳輸?shù)姆椒ㄟM(jìn)行局部鄰域匹配，顯著提高了性能。在局部稠密匹配階段，我們在高置信度稀疏對應(yīng)點(diǎn)的局部空間鄰域中進(jìn)行點(diǎn)匹配。例如，給定兩個(gè)稀疏對應(yīng)點(diǎn)和，我們只在這兩個(gè)點(diǎn)的鄰域點(diǎn)中搜索稠密對應(yīng)關(guān)系，這比在全局空間中進(jìn)行稠密匹配更高效。此外，鄰域?qū)?yīng)關(guān)系可以直接從前面的鄰域匹配模塊中獲得，從而進(jìn)一步降低了成本。我們使用簡單的OA-Net [11]模塊進(jìn)行稠密對應(yīng)關(guān)系過濾。

與稀疏對稀疏匹配方案相比，通過保持目標(biāo)點(diǎn)云的密度，我們減小了源點(diǎn)失去對應(yīng)點(diǎn)的風(fēng)險(xiǎn)，并避免了由于關(guān)鍵點(diǎn)檢測錯(cuò)誤引起的性能下降。與稠密匹配方案相比，我們將特征匹配建模為一個(gè)兩階段的過程，避免了在兩個(gè)密集點(diǎn)集之間進(jìn)行昂貴的計(jì)算。此外，在稀疏匹配階段，候選的點(diǎn)對匹配關(guān)系的數(shù)量相對較小，我們可以利用更強(qiáng)大的策略提高稀疏匹配的魯棒性而不引入大量的計(jì)算負(fù)擔(dān)，且在稀疏匹配階段的鄰域匹配模塊的匹配結(jié)果可以在局部密集匹配階段中重新使用，避免了重復(fù)計(jì)算，進(jìn)一步提高了效率。為了評估所提出的SDMNet方法，我們在三個(gè)大規(guī)模的室外LiDAR點(diǎn)云數(shù)據(jù)集上進(jìn)行了廣泛的實(shí)驗(yàn)，分別是KITTI里程計(jì)數(shù)據(jù)集[12]、NuScenes數(shù)據(jù)集[13]和Apollo-SouthBay數(shù)據(jù)集[14]。實(shí)驗(yàn)結(jié)果表明，所提出的方法在高效率的同時(shí)實(shí)現(xiàn)了最先進(jìn)的性能。我們也評估了該方法在室內(nèi)點(diǎn)云配準(zhǔn)數(shù)據(jù)集上的表現(xiàn)結(jié)果（如3Dmatch數(shù)據(jù)集），結(jié)果同樣表明我們的方法有卓越的性能。

作為總結(jié)，我們的主要貢獻(xiàn)如下：

1、我們針對激光雷達(dá)的點(diǎn)云配準(zhǔn)提出了一種新的由稀疏到稠密的匹配模式，避免了關(guān)鍵點(diǎn)檢測造成的性能下降和稠密匹配中高的計(jì)算開銷。 2、我們設(shè)計(jì)了一種基于最優(yōu)傳輸算法的新型鄰域匹配模塊，將鄰域一致性集成到匹配流程中，進(jìn)一步提高了配準(zhǔn)性能。 3、在三個(gè)大規(guī)模室外LiDAR點(diǎn)云數(shù)據(jù)集上進(jìn)行的廣泛實(shí)驗(yàn)證明了所提出的SDMNet方法具有高精度和高效率。 Ⅱ相關(guān)工作

傳統(tǒng)的點(diǎn)云配準(zhǔn)方法可以分為局部和全局方法。局部方法中迭代最近點(diǎn)（Iterative Closest Point，ICP）[15]及其變種[16]，[17]，[18]是點(diǎn)云配準(zhǔn)中最常用的方法。盡管ICP具有高準(zhǔn)確性和高效率，但它需要初始轉(zhuǎn)換以避免陷入局部最小值。正態(tài)分布變換（Normal Distribution Transform，NDT）是另一類局部配準(zhǔn)方法[19]，[20]，它將源點(diǎn)云表示為帶有正態(tài)分布的網(wǎng)格單元，然后將目標(biāo)點(diǎn)云與其進(jìn)行匹配。與基于ICP的方法相比，NDT對初始轉(zhuǎn)換的敏感性較低，但它也面臨局部最優(yōu)的問題。在全局方法中，如分支定界（Branch-and-Bound，BnB）[21]，[22]和半定規(guī)劃（Semi-Definite Programming，SDP）[23]，[24]，[25]被用于實(shí)現(xiàn)全局配準(zhǔn)。然而，這些方法通常耗時(shí)較長，因此不能應(yīng)用于實(shí)時(shí)應(yīng)用?；谔卣髌ヅ涞姆椒▽τ谌贮c(diǎn)云配準(zhǔn)非常有效。點(diǎn)云的經(jīng)典局部特征[26]，[27]，[28]通常使用局部幾何屬性提取，這在Guo[29]等人的綜述中已經(jīng)詳細(xì)介紹。隨機(jī)采樣一致性（Random Sample Consensus，RANSAC）[30]及其變種[31]，[32]，[33]被廣泛用于從特征空間中排除異常值，并獲得初始候選對應(yīng)關(guān)系。然而，在異常值比例較低的情況下，RANSAC需要大量迭代才能達(dá)到最優(yōu)解，這導(dǎo)致效率較低。

基于學(xué)習(xí)的點(diǎn)云配準(zhǔn)可以分為兩種方案，即端到端配準(zhǔn)和基于特征匹配的配準(zhǔn)。端到端的配準(zhǔn)在單次前向傳遞中進(jìn)行特征提取和位姿估計(jì)。例如，PointNetLK [5]將PointNet [34]與Lucas和Kanade算法 [35]結(jié)合起來進(jìn)行配準(zhǔn)。Deep Closest Point (DCP) [4]使用帶有軟指針的Transformer架構(gòu)來預(yù)測軟對應(yīng)關(guān)系。特征度量配準(zhǔn)（Feature-metric Registration，F(xiàn)MR）[36]通過最小化全局特征投影誤差來對齊兩個(gè)點(diǎn)云。IDAM [37]提出了一種迭代的距離感知相似性矩陣卷積模塊，并結(jié)合了兩階段點(diǎn)云消除（下采樣）技術(shù)，實(shí)現(xiàn)了高效準(zhǔn)確的配準(zhǔn)。然而，端到端方法對兩個(gè)點(diǎn)云的分布和對應(yīng)關(guān)系做出了很強(qiáng)的假設(shè)，因此在大規(guī)模復(fù)雜場景中無法達(dá)到預(yù)期的結(jié)果。

基于特征匹配的方法首先利用預(yù)先計(jì)算的特征構(gòu)建點(diǎn)對應(yīng)關(guān)系，然后應(yīng)用基于學(xué)習(xí)的異常值剔除模塊進(jìn)行對應(yīng)關(guān)系過濾[6][7][8][39][40]，41]。隨著深度學(xué)習(xí)的快速發(fā)展，出現(xiàn)了許多基于學(xué)習(xí)的局部點(diǎn)云特征[42][43][44][45][46]。其中，F(xiàn)CGF是最常用的基于學(xué)習(xí)的特征之一，它利用基于3D稀疏卷積的ResUNet架構(gòu)來提取特征[42][47]。Deep Global Registration (DGR) [6]提出使用6D稀疏卷積網(wǎng)絡(luò)來過濾預(yù)先計(jì)算的點(diǎn)對應(yīng)關(guān)系。DGR在室內(nèi)點(diǎn)云配準(zhǔn)問題中取得了出色的性能。PointDSC [7]將深度空間一致性引入到配準(zhǔn)流程中，進(jìn)一步提高了性能。然而，這些方法主要針對室內(nèi)點(diǎn)云設(shè)計(jì)。盡管這些方法可以遷移到室外LiDAR點(diǎn)云，但由于稠密匹配方案面臨著高計(jì)算復(fù)雜性問題。DeepVCP [40]是專門為LiDAR點(diǎn)云配準(zhǔn)設(shè)計(jì)的，然而只能實(shí)現(xiàn)局部配準(zhǔn)，因?yàn)閷?yīng)關(guān)系是在局部空間中進(jìn)行搜索的。最近，Lu等人[8]提出了一種名為HRegNet的分層網(wǎng)絡(luò)，用于室外LiDAR點(diǎn)云配準(zhǔn)，該方法在準(zhǔn)確性和效率方面優(yōu)于先前的方法，但稀疏關(guān)鍵點(diǎn)匹配方案容易受到關(guān)鍵點(diǎn)檢測誤差的影響。

Ⅲ本文方法

3.1 整體架構(gòu)

網(wǎng)絡(luò)的整體架構(gòu)如圖2，輸入網(wǎng)絡(luò)的為源點(diǎn)云與目標(biāo)點(diǎn)云、。我們首先使用共享的特征提取器提取特征。然后從中利用最遠(yuǎn)點(diǎn)采樣算法采樣個(gè)稀疏點(diǎn)，確保他們空間上分布均勻。在稀疏匹配階段，我們將采樣的稀疏點(diǎn)與密集目標(biāo)點(diǎn)云進(jìn)行匹配，構(gòu)建一組稀疏對應(yīng)關(guān)系。然后，在局部密集匹配階段，我們不是對兩個(gè)密集點(diǎn)云進(jìn)行匹配，而是僅匹配高置信度稀疏對應(yīng)點(diǎn)的局部鄰域點(diǎn)，以實(shí)現(xiàn)細(xì)粒度的配準(zhǔn)結(jié)果。接下來，我們將詳細(xì)描述稀疏匹配階段和局部密集匹配階段。

圖2：SDMNet整體架構(gòu)

3.2 稀疏匹配階段

稀疏匹配階段的目標(biāo)是生成可靠和準(zhǔn)確的稀疏對應(yīng)關(guān)系。給定個(gè)稀疏點(diǎn)，我們首先使用軟匹配網(wǎng)絡(luò)從中預(yù)測個(gè)虛擬的對應(yīng)點(diǎn)。然后，我們引入鄰域匹配模塊，為每個(gè)對應(yīng)關(guān)系獲取鄰域一致性特征，這也將成為后續(xù)稀疏對應(yīng)關(guān)系篩選模塊的輸入之一。

3.2.1 軟匹配網(wǎng)絡(luò)

我們采用了一種軟匹配策略去生成虛擬點(diǎn)，這種策略受到HregNet[8]的啟發(fā)。此外，我們將匹配特征的空間一致性考慮在內(nèi)，改善虛擬生成點(diǎn)的可靠性。具體的，針對確定的，我們在中搜索個(gè)特征空間中的近鄰點(diǎn)參與軟匹配。為了提高空間一致性，我們針對選擇其空間最近鄰點(diǎn)及其在點(diǎn)云中的特征空間中的個(gè)近鄰點(diǎn)。計(jì)算與之間的距離及其對應(yīng)的個(gè)近鄰點(diǎn)之間的距離，形成一個(gè)的矩陣。上述的計(jì)算過程可以通過下式表示：

基于上述，我們進(jìn)一步產(chǎn)生了距離相異性矩陣，即對中的每個(gè)元素減去對應(yīng)的。直觀的看，編碼了匹配關(guān)系中的空間一致性。考慮到離群的匹配關(guān)系對應(yīng)的分布的隨機(jī)性，對于一對匹配點(diǎn)，當(dāng)其近鄰存在與之在空間上具有一致性，那么這就有很大可能是一對正確的匹配點(diǎn)。因此，我們利用表示的空間相似度特征。

我們將采樣的源點(diǎn)和其候選的對應(yīng)點(diǎn)的坐標(biāo)、高維特征以及空間一致特征拼接起來，作為共享多層感知機(jī)（Shared-MLP）[34]的輸入。然后使用最大值池化層（maxpool）以及softmax函數(shù)來預(yù)測每個(gè)候選點(diǎn)的軟匹配權(quán)重。同時(shí)，該權(quán)重表示該點(diǎn)是正確對應(yīng)的可能性。最終的虛擬對應(yīng)點(diǎn)及其特征可以通過候選點(diǎn)及其特征按照軟匹配權(quán)重的加權(quán)和來計(jì)算。為了訓(xùn)練軟匹配網(wǎng)絡(luò)，我們受被用于關(guān)鍵點(diǎn)檢測[48]的概率倒角損失的啟發(fā)設(shè)計(jì)了一種新穎的概率距離損失，本文將在第3.4節(jié)詳細(xì)描述該損失。

3.2.2 鄰域匹配

我們采用了一種基于最優(yōu)傳輸?shù)泥徲蚱ヅ淠K生成一個(gè)特征來編碼兩個(gè)局部鄰域的鄰域一致性。如圖3所示，為每對匹配點(diǎn)，分別搜索其鄰域的個(gè)點(diǎn)形成兩個(gè)點(diǎn)簇，每個(gè)點(diǎn)簇有個(gè)點(diǎn)，每個(gè)點(diǎn)含義維度的特征，然后基于最優(yōu)傳輸算法對齊其鄰域特征。最優(yōu)傳輸算法是一種優(yōu)化算法，其通過最小化傳輸?shù)拇鷥r(jià)矩陣[51]得到最優(yōu)匹配結(jié)果。在這里，我們使用離散版本的最優(yōu)輸運(yùn)模型，其中源分布和目標(biāo)分布都是離散的。我們首先使用特征空間中簡單的點(diǎn)對點(diǎn)的歐氏距離構(gòu)建一個(gè)成本矩陣?？梢员硎緩牡趥€(gè)源鄰近點(diǎn)到第個(gè)目標(biāo)鄰近點(diǎn)的運(yùn)輸成本。源分布和目標(biāo)分布都初始化為均勻分布，表示每個(gè)鄰近點(diǎn)的重要性相等。形式上，設(shè)，，其中表示所有元素為的維向量。這里的最優(yōu)輸運(yùn)問題可以表示為下式：

其中是解決的最優(yōu)輸運(yùn)計(jì)劃，表示Frobenius內(nèi)積。本文采用了IPOT算法[53]實(shí)現(xiàn)了高精度、高效率的最優(yōu)傳輸優(yōu)化。得到后將特征通過將特征對齊。于對齊后的鄰域特征進(jìn)行拼接從而得到兩個(gè)對應(yīng)鄰域的共同特征。將該特征送入共享的MLP中，通過最大值池化后得到鄰域一致性特征。該特征將融入后續(xù)的匹配框架中，進(jìn)一步提高了特征匹配的精度。

圖3 鄰域匹配模塊的架構(gòu)。給定兩個(gè)局部鄰域中的點(diǎn)形成的點(diǎn)簇，通過解決一個(gè)最優(yōu)傳輸問題來計(jì)算軟分配矩陣，以對齊兩組特征。

3.2.3稀疏對應(yīng)關(guān)系的過濾

我們采用了使用PointCN的SCNonlocal模塊來執(zhí)行稀疏對應(yīng)關(guān)系的過濾。SCNonlocal模塊在[7]中被提出，它引入了空間一致性以實(shí)現(xiàn)可靠的匹配點(diǎn)預(yù)測。給定相匹配的點(diǎn)組：、。假設(shè)是一對匹配的點(diǎn)，SCNonlocal模塊首先計(jì)算一個(gè)矩陣來表示這一組關(guān)鍵點(diǎn)之間的空間一致性，如下式：

其中，是一個(gè)控制對不同距離敏感度的參數(shù)。給定潛在對應(yīng)集合的輸入特征圖，我們采用三個(gè)線性投影層來生成query：、鍵：和值：的?；诤椭g的點(diǎn)積，計(jì)算特征相似性矩陣。然后，更新后的特征可以表示為

為了獲取全局的上下文信息，我們在SCNonlocal模塊之后進(jìn)一步應(yīng)用了一個(gè)簡單的PointCN模塊。PointCN是一種高效的基于學(xué)習(xí)的異常值排除方法，它僅由輕量級的多層感知機(jī)（MLP）和上下文歸一化層（CN）組成。緊隨其后的是Sigmoid函數(shù)，用于預(yù)測每個(gè)稀疏對應(yīng)關(guān)系的置信度分?jǐn)?shù)。稀疏對應(yīng)關(guān)系過濾的過程可以形式上表示為下式：

其中表示Sigmoid函數(shù)。對應(yīng)關(guān)系的輸入特征由3D坐標(biāo)和來自之前鄰域匹配模塊的鄰域一致性特征拼接組成。由于稀疏采樣點(diǎn)數(shù)量較少，我們可以在稀疏匹配階段引入復(fù)雜的操作，如鄰域匹配模塊和軟匹配網(wǎng)絡(luò)，以提高稀疏對應(yīng)關(guān)系的魯棒性和準(zhǔn)確性，同時(shí)實(shí)現(xiàn)高效的點(diǎn)云配準(zhǔn)。

3.3 局部稠密匹配

我們在局部鄰域中進(jìn)行局部稠密匹配以獲得稠密的相互匹配的點(diǎn)對。通過將稠密匹配問題分解為多個(gè)小的局部稠密匹配問題是高效的。此外，考慮到鄰域匹配模塊可以輸出兩個(gè)局部鄰域之間的軟分配矩陣，可以直接獲得局部稠密點(diǎn)云之間的對應(yīng)關(guān)系，進(jìn)一步節(jié)省計(jì)算成本。我們將高置信度稀疏點(diǎn)對的近鄰點(diǎn)簡單地組合成一個(gè)密集對應(yīng)關(guān)系的集合。然后采用Order-Aware Network (OA-Net) [11]來進(jìn)行密集對應(yīng)關(guān)系的過濾。OA-Net是一種有效的基于學(xué)習(xí)的異常值排除方法，基于PointCN構(gòu)建，并引入DiffPool [54]和DiffUnpool層構(gòu)建分層結(jié)構(gòu)，以捕捉局部上下文信息。我們將點(diǎn)云的3D坐標(biāo)及其特征和對應(yīng)的稀疏置信度拼接，將其作為OA-Net的輸入，輸出是密集對應(yīng)關(guān)系的置信度。

最后，最優(yōu)剛性變換通過類似于weighted kabsch algorithm[55]的算法進(jìn)行估計(jì)，如下式：

對上述過程的效率進(jìn)行分析，在經(jīng)過體素下采樣后，在KITTI數(shù)據(jù)集中源點(diǎn)云和目標(biāo)點(diǎn)云中的點(diǎn)數(shù)分別為。本文將采樣點(diǎn)的數(shù)量為設(shè)為，鄰域點(diǎn)的數(shù)量為設(shè)為，構(gòu)建對應(yīng)關(guān)系的計(jì)算量大約為，而在密集對密集匹配方法中為（是特征維度，對于廣泛使用的FCGF [42]，）。因此，與密集對密集匹配方法相比，所提出的方法可以節(jié)省約10倍的計(jì)算量。

3.4 損失函數(shù)

本算法的損失函數(shù)由三部分組成，旋轉(zhuǎn)與平移損失用于下游配準(zhǔn)任務(wù)的訓(xùn)練，見式（7）。分類損失用于對匹配點(diǎn)對的置信度的學(xué)習(xí)進(jìn)行監(jiān)督，該損失函數(shù)見式（8），其中為置信度，取決于匹配點(diǎn)之間匹配程度，當(dāng)高度匹配時(shí)為1，否則為0，BCE即計(jì)算二元交叉熵?fù)p失。本文提出的一種新的損失為概率距離損失，旨在為軟匹配網(wǎng)絡(luò)提供額外的監(jiān)督信息，該損失函數(shù)見式（9），最小化式中的第二項(xiàng)傾向于減小高置信度對應(yīng)點(diǎn)之間的距離，并同時(shí)減小具有較大距離的對應(yīng)關(guān)系的置信度。第一項(xiàng)是為了避免在優(yōu)化第二項(xiàng)時(shí)降低所有對應(yīng)關(guān)系的置信度。從而引導(dǎo)軟匹配網(wǎng)絡(luò)更好地學(xué)習(xí)稀疏對應(yīng)關(guān)系之間的距離和置信度。

Ⅳ實(shí)驗(yàn) 4.1 數(shù)據(jù)集

我們在三個(gè)大規(guī)模室外LiDAR點(diǎn)云數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，分別是KITTI里程計(jì)數(shù)據(jù)集[12]、NuScenes數(shù)據(jù)集[13]和Apollo-SouthBay數(shù)據(jù)集[14]。對于KITTI數(shù)據(jù)集和NuScenes數(shù)據(jù)集，我們使用[8]中提供的點(diǎn)云配對數(shù)據(jù)進(jìn)行所提出方法的訓(xùn)練、驗(yàn)證和測試。Apollo-SouthBay數(shù)據(jù)集是一個(gè)包含多種場景的大規(guī)模數(shù)據(jù)集。此數(shù)據(jù)集最初是用于車輛定位[14]，姿態(tài)經(jīng)過精心微調(diào)，適合用于點(diǎn)云配準(zhǔn)的評估。Apollo-SouthBay數(shù)據(jù)集提供了官方的訓(xùn)練和測試數(shù)據(jù)集劃分。我們按照[8]的方法，將當(dāng)前幀與之后的第10幀作為一對點(diǎn)云進(jìn)行配準(zhǔn)。我們還隨機(jī)抽取了訓(xùn)練數(shù)據(jù)的20%作為驗(yàn)證集。

4.2 評估指標(biāo)

我們采用相對平移誤差（RTE）與相對旋轉(zhuǎn)誤差（RRE）作為我們的評價(jià)指標(biāo)，如下式

其中表示矩陣的跡。我們還計(jì)算了配準(zhǔn)召回率（registration recall），它定義為成功配準(zhǔn)的比例（即RTE和RRE在預(yù)定義的閾值內(nèi)）。按照[8]的方法，我們計(jì)算了平均RTE和RRE以及標(biāo)準(zhǔn)差。此外，只有成功配準(zhǔn)的配對被包括在此計(jì)算中。在所有實(shí)驗(yàn)中，平移與旋轉(zhuǎn)的成功的閾值設(shè)置為2米和5度。此外，我們也計(jì)算了了所有配對的平均RTE和RRE，以進(jìn)行更全面的比較。

4.3 實(shí)驗(yàn)結(jié)果

按照[8]的方法，我們將提出的方法與6種代表性的傳統(tǒng)配準(zhǔn)方法進(jìn)行比較，包括點(diǎn)對點(diǎn)和點(diǎn)對面的ICP（ICP（P2P）和ICP（P2Pl））[15]、Go-ICP [21]、Fast Global Registration (FGR) [58]、RANSAC [30]（使用FCGF [42]作為特征）以及使用FCGF估計(jì)的對應(yīng)關(guān)系的TEASER [25]。此外，我們將SDMNet與5種基于學(xué)習(xí)的方法在KITTI數(shù)據(jù)集和NuScenes數(shù)據(jù)集上進(jìn)行了比較，其中包括兩種對象級別的配準(zhǔn)方法（Deep Closest Point (DCP) [4]和IDAM [37]），兩種室內(nèi)點(diǎn)云配準(zhǔn)方法（Feature-metric registration (FMR) [36]和Deep Global Registration (DGR) [6]），以及最先進(jìn)的LiDAR點(diǎn)云配準(zhǔn)網(wǎng)絡(luò)HRegNet [8]。

圖4為召回率隨不同的RRE與RTE閾值的變化情況，可以看出本文的模型SDMNet在極小的閾值下就能得到很高的成功率，且在任何閾值下的成功率均達(dá)到了最優(yōu)。表1展示了不同配準(zhǔn)算法在KITTI與NuScenes數(shù)據(jù)集上的性能?？梢?，與之前的最優(yōu)算法HRegNet相比，SDMNet在KITTI數(shù)據(jù)集上實(shí)現(xiàn)了超過20％的RTE降低，10％的RRE降低，并且具有更高的配準(zhǔn)召回率。此外，由于我們高效的稀疏到稠密匹配方案，所提出的方法在推理速度上實(shí)現(xiàn)了可比或甚至更快的速度，與HRegNet相當(dāng)。

圖4 配準(zhǔn)召回率。在KITTI與NuScenes數(shù)據(jù)集設(shè)置不同的RRE與RTE閾值得到不同模型對應(yīng)的召回率 表1 配準(zhǔn)算法在KITTI與NuScenes數(shù)據(jù)集上的性能

在Apollo-SouthBay數(shù)據(jù)集上，我們根據(jù)表格1將提出的SDMNet與兩種最佳手工設(shè)計(jì)方法（即RANSAC和TEASER）以及兩種基于學(xué)習(xí)的基準(zhǔn)方法（即HRegNet和DGR）進(jìn)行了比較。我們重新在Apollo-SouthBay數(shù)據(jù)集上對這兩個(gè)網(wǎng)絡(luò)進(jìn)行了訓(xùn)練，結(jié)果顯示在表格2和圖5中。與之前表現(xiàn)最佳的方法HRegNet相比，SDMNet在推理速度方面表現(xiàn)相當(dāng)，并且在RTE和RRE方面減少了約14％和27％，并且具有更高的配準(zhǔn)召回率，這證明了所提出方法的高配準(zhǔn)精度和效率。

表2 配準(zhǔn)算法在Apollo-SouthBay數(shù)據(jù)集上的性能

4.4 消融實(shí)驗(yàn)

我們進(jìn)行了豐富的消融實(shí)驗(yàn)，以分析所提出的SDMNet的不同模塊和參數(shù)。所有的消融實(shí)驗(yàn)都是在[8]提供的KITTI數(shù)據(jù)集上進(jìn)行的。

（1）對稀疏點(diǎn)數(shù)量消融：表3結(jié)果顯示采樣的稀疏點(diǎn)數(shù)量 S 顯然會影響配準(zhǔn)性能。直觀上，采樣更多的點(diǎn)可以覆蓋更廣的點(diǎn)云，從而提高魯棒性和準(zhǔn)確性。然而，更多的采樣點(diǎn)也會導(dǎo)致效率降低。

表3 對稀疏點(diǎn)數(shù)量消融實(shí)驗(yàn)結(jié)果

（2）對軟匹配網(wǎng)絡(luò)消融：我們進(jìn)行實(shí)驗(yàn)分析軟匹配網(wǎng)絡(luò)的影響。根據(jù)表5的結(jié)果，沒有軟匹配網(wǎng)絡(luò)時(shí)，RTE 增加約5%。需要注意的是，我們設(shè)計(jì)了一種新穎的概率距離損失來訓(xùn)練軟匹配網(wǎng)絡(luò)，結(jié)果顯示，沒有使用進(jìn)行訓(xùn)練時(shí)，RTE增加約7%，配準(zhǔn)召回率也降低。我們還進(jìn)行了不同候選對應(yīng)點(diǎn)數(shù)量的實(shí)驗(yàn)。結(jié)果顯示，的表現(xiàn)略優(yōu)于。然而，我們觀察到將增加到8會導(dǎo)致性能下降，因?yàn)榇罅垮e(cuò)誤的候選點(diǎn)會產(chǎn)生負(fù)面影響。為了進(jìn)一步驗(yàn)證有效性，我們計(jì)算了帶有和不帶有軟匹配網(wǎng)絡(luò)的稀疏對應(yīng)關(guān)系的正確匹配點(diǎn)比例。根據(jù)圖7中顯示的結(jié)果，使用軟匹配網(wǎng)絡(luò)可以增加該比例，這表明該策略可以恢復(fù)一些因簡單最近鄰搜索而丟失的對應(yīng)關(guān)系。

表4 對軟匹配網(wǎng)絡(luò)消融實(shí)驗(yàn)結(jié)果

圖5 稀疏對應(yīng)關(guān)系的正確匹配點(diǎn)比例，包括使用軟匹配網(wǎng)絡(luò)（SMN）和不使用（w/o）軟匹配網(wǎng)絡(luò)的情況

（3）對局部稠密匹配階段消融：根據(jù)結(jié)果，沒有局部稠密匹配階段時(shí)，RTE和RRE分別增加約14%和39%，這表明局部稠密匹配階段對于配準(zhǔn)性能的優(yōu)化作用。此外，由于局部對應(yīng)關(guān)系可以直接從前面的鄰域匹配模塊導(dǎo)出，局部稠密匹配階段不會引入很大的計(jì)算成本。值得注意的是，即使沒有局部稠密匹配階段，我們的性能仍優(yōu)于HRegNet。

表5 對局部稠密匹配階段消融結(jié)果。為搜索最近鄰的數(shù)目。

（4）對鄰域一致性特征的消融：為了驗(yàn)證設(shè)計(jì)的鄰域一致性特征的有效性，我們首先重新訓(xùn)練了沒有該特征的SDMNet，并在表6中展示了結(jié)果。根據(jù)結(jié)果，在沒有該特征的情況下，RTE和RRE分別增加了超過16%和4%。我們還提供了我們SDMNet去除了軟匹配網(wǎng)絡(luò)、鄰域一致性特征和局部稠密匹配階段（即SDMNet）的性能。根據(jù)表7的結(jié)果，SDMNet在所有指標(biāo)上優(yōu)于SDMNet。

表6 對鄰域一致性特征的消融結(jié)果

（5）對于優(yōu)化傳輸算法的消融研究，我們還使用Sinkhorn算法作為進(jìn)行實(shí)驗(yàn)，以展示在我們的場景中IPOT算法的有效性。根據(jù)表8的結(jié)果，由于相對于Sinkhorn算法而言，IPOT算法產(chǎn)生了更精確的收斂最優(yōu)解，因此具有更好的準(zhǔn)確性。

表7 Sinkhorn算法與IPOT算法的比較

此外，我們還對不同內(nèi)/外迭代次數(shù)的性能進(jìn)行了分析。根據(jù)表8的結(jié)果，較少的迭代次數(shù)會導(dǎo)致性能較差，因?yàn)閷R質(zhì)量較差。然而，當(dāng)外部迭代次數(shù)達(dá)到50時(shí)，性能改進(jìn)就趨于飽和。此外，當(dāng)將內(nèi)部迭代次數(shù)增加到2時(shí)，我們沒有觀察到明顯的改進(jìn)?？紤]到時(shí)間成本，我們在最終實(shí)現(xiàn)中將設(shè)置為1，設(shè)置為50。

表8 對IPOT不同內(nèi)/外迭代次數(shù)的性能的比較

另外，為了更好地說明基于最優(yōu)傳輸?shù)膶R的有效性，我們計(jì)算了變換前后相鄰點(diǎn)的特征距離，統(tǒng)計(jì)了內(nèi)點(diǎn)的對數(shù)（即特征距離在距離閾值內(nèi)的點(diǎn)對數(shù)），變換前和變換后記為和。然后，我們計(jì)算。根據(jù)圖6的結(jié)果，最優(yōu)傳輸顯著減小了點(diǎn)對之間的特征距離，表明進(jìn)行了有效的鄰域?qū)R。

圖6 最優(yōu)傳輸后的內(nèi)點(diǎn)數(shù)量與之前的內(nèi)點(diǎn)數(shù)量之比（在不同的特征距離閾值下）

4.5 定性結(jié)果可視化

我們在圖7中提供了三個(gè)數(shù)據(jù)集上定性點(diǎn)云配準(zhǔn)結(jié)果的幾個(gè)樣例。第一列和第二列分別顯示了稀疏匹配階段和局部密集匹配階段估計(jì)的對應(yīng)關(guān)系。我們對置信度低于閾值的對應(yīng)關(guān)系進(jìn)行了過濾，以便更好地展示。根據(jù)定性結(jié)果，稀疏匹配階段可以生成可靠的稀疏對應(yīng)關(guān)系，這些對應(yīng)關(guān)系在局部密集匹配階段進(jìn)一步稠密化。圖7的最后一列顯示了配準(zhǔn)結(jié)果，表明估計(jì)的變換可以準(zhǔn)確地對齊兩個(gè)點(diǎn)云。

圖7 SDMNet的定性可視化。每一行顯示一個(gè)定性配準(zhǔn)結(jié)果樣本。為了更好地可視化過濾了置信度低于閾值的對應(yīng)點(diǎn)。藍(lán)色點(diǎn)為源點(diǎn)云，黃色點(diǎn)為目標(biāo)點(diǎn)云。綠色線為估計(jì)的對應(yīng)關(guān)系。 Ⅴ 結(jié)論

本文提出了一種基于學(xué)習(xí)的室外激光雷達(dá)點(diǎn)云配準(zhǔn)方法，稱為SDMNet。該方法采用了一種新的稀疏到稠密匹配方案，很好地結(jié)合了稠密匹配的細(xì)粒度信息和稀疏匹配的高效性。此外，我們引入了基于最優(yōu)輸運(yùn)的鄰域匹配模塊，將鄰域一致性融入匹配流程中，顯著提高了配準(zhǔn)性能。通過對三個(gè)大規(guī)模室外激光雷達(dá)點(diǎn)云數(shù)據(jù)集進(jìn)行大量實(shí)驗(yàn)，驗(yàn)證了所提方法的準(zhǔn)確性、魯棒性和效率。此外，我們還進(jìn)行了豐富的消融研究，詳細(xì)分析了所提出的SDMNet不同組件和參數(shù)的影響。

審核編輯 ：李倩