CVPR2023 I BUFFER：點(diǎn)云配準(zhǔn)中卓越精度、高效性和泛化性的完美平衡

一個(gè)理想的點(diǎn)云配準(zhǔn)框架應(yīng)具備卓越的精度、可接受的效率和強(qiáng)大的泛化能力。然而，這是非常具有挑戰(zhàn)性的，因?yàn)楝F(xiàn)有的配準(zhǔn)技術(shù)要么不夠準(zhǔn)確，要么效率低下，要么泛化能力差。如何在這三個(gè)關(guān)鍵要素之間取得令人滿意的平衡仍然是一個(gè)懸而未決的問題。在本文中提出了BUFFER，一種點(diǎn)云配準(zhǔn)方法，用于平衡精度、效率和泛化能力。本文方法的關(guān)鍵在于同時(shí)利用點(diǎn)對(duì)點(diǎn)和面對(duì)面的技術(shù)，同時(shí)克服了固有的缺點(diǎn)。與現(xiàn)有方法的簡單組合不同，本文網(wǎng)絡(luò)的每個(gè)組件都經(jīng)過精心設(shè)計(jì)，以解決特定的問題。具體而言，本文首先引入了一個(gè)點(diǎn)對(duì)點(diǎn)學(xué)習(xí)器，通過預(yù)測(cè)關(guān)鍵點(diǎn)并通過估計(jì)點(diǎn)的方向來改善特征的表示能力，從而提高了計(jì)算效率。然后，本文部署了一個(gè)面對(duì)面嵌入器，利用輕量級(jí)的本地特征學(xué)習(xí)器來提取高效且通用的面對(duì)面特征。此外，本文還提出了一個(gè)內(nèi)點(diǎn)生成器，它結(jié)合了簡單的神經(jīng)層和通用特征，用于搜索內(nèi)點(diǎn)對(duì)應(yīng)關(guān)系。在真實(shí)世界的場景中進(jìn)行的大量實(shí)驗(yàn)證明，本文的方法在精度、效率和泛化性方面兼顧了最佳表現(xiàn)。特別是，本文的方法不僅在未見過的場景中取得了最高的成功率，而且?guī)缀醣葘Ｗ⒂诜夯膹?qiáng)基線方法快了近30倍。

1 前言

點(diǎn)云配準(zhǔn)在 LiDAR SLAM、3D 重建和機(jī)器人導(dǎo)航中發(fā)揮著關(guān)鍵作用。理想的配準(zhǔn)框架不僅需要準(zhǔn)確有效地配準(zhǔn)幾何形狀，而且在不同傳感器獲取的未見過的場景中也需要準(zhǔn)確有效地配準(zhǔn)幾何形狀。然而，由于數(shù)據(jù)質(zhì)量不均勻（例如噪聲分布、密度不均勻、視角不同、不同傳感器之間的域間隙），如何在效率、準(zhǔn)確性和泛化之間實(shí)現(xiàn)令人滿意的平衡仍是一個(gè)具有挑戰(zhàn)的問題。這里也推薦「3D視覺工坊」新課程三維點(diǎn)云處理：算法與實(shí)戰(zhàn)匯總》。

現(xiàn)有的配準(zhǔn)方法主要可分為基于對(duì)應(yīng)關(guān)系的方法和無對(duì)應(yīng)關(guān)系的方法。通過建立一系列可靠的對(duì)應(yīng)關(guān)系，基于對(duì)應(yīng)關(guān)系的方法通常比無對(duì)應(yīng)關(guān)系的方法具有更好的配準(zhǔn)性能，特別是在大規(guī)模場景中。然而，這些基于對(duì)應(yīng)關(guān)系的方法仍然沒有為大規(guī)模的現(xiàn)實(shí)應(yīng)用做好準(zhǔn)備，因?yàn)樗鼈円床粔驕?zhǔn)確，要么效率低下，要么泛化性差。

總體而言，現(xiàn)有基于對(duì)應(yīng)關(guān)系方法的局限性在于兩個(gè)方面。首先，目前還沒有統(tǒng)一、高效、通用的特征學(xué)習(xí)框架。許多 patch-wise 方法通常采用復(fù)雜的網(wǎng)絡(luò)和復(fù)雜的步驟來編碼局部 3D patch 的細(xì)粒度幾何形狀。得益于固有的對(duì)遮擋具有魯棒性且易于區(qū)分的局部特征，patch-wise方法通常具有良好的泛化能力，但效率較低。為了提高計(jì)算效率，幾種逐點(diǎn)方法采用分層架構(gòu)來連續(xù)采樣原始點(diǎn)云。然而，層次結(jié)構(gòu)傾向于捕獲全局上下文而不是局部幾何，這使得學(xué)習(xí)的逐點(diǎn)特征容易同質(zhì)化并且難以正確匹配，特別是對(duì)于不可見的上下文。其次，缺乏高效、通用的對(duì)應(yīng)關(guān)系查找機(jī)制。大多數(shù)基于對(duì)應(yīng)關(guān)系的配準(zhǔn)利用 RANSAC 或從粗到細(xì)的匹配策略來搜索可靠的對(duì)應(yīng)關(guān)系?？紤]到 RANSAC 算法的效率與內(nèi)點(diǎn)率有關(guān)，當(dāng)內(nèi)點(diǎn)率很低時(shí)，該方法將非常耗時(shí)。此外，由于依賴全局上下文匹配，從粗到細(xì)的策略無法推廣到未見領(lǐng)域中。

最近的一些工作還嘗試?yán)脽o監(jiān)督域適應(yīng)技術(shù)或簡化網(wǎng)絡(luò)架構(gòu)以實(shí)現(xiàn)泛化性和效率之間更好的平衡。然而，這些方法要么需要額外的目標(biāo)數(shù)據(jù)集進(jìn)行訓(xùn)練，要么犧牲學(xué)習(xí)模型的表示能力?？偟膩碚f，效率和泛化性似乎是相互矛盾的，因?yàn)楝F(xiàn)有技術(shù)本質(zhì)上只專注于一個(gè)領(lǐng)域，并且不能相互補(bǔ)充。

在本文中，通過結(jié)合 point-wise 和 patch-wise 方法，在效率和泛化性方面實(shí)現(xiàn)了完美的平衡。此外還提出了一種有效且通用的搜索機(jī)制來提高對(duì)應(yīng)關(guān)系的內(nèi)點(diǎn)率。所提出的配準(zhǔn)框架稱為 BUFFER，主要由 Point-wise Learner、Patch-wise Embedder 和 Inliers Generator 組成。輸入點(diǎn)云首先被輸入到逐點(diǎn)學(xué)習(xí)器中，其中使用新穎的等變?nèi)矸e架構(gòu)來預(yù)測(cè)逐點(diǎn)顯著性和方向，進(jìn)一步降低計(jì)算成本并增強(qiáng)特征的表示能力。通過選定的關(guān)鍵點(diǎn)和學(xué)習(xí)的方向，Patch-wise Embedder 利用輕量級(jí)的基于 patch 的特征學(xué)習(xí)器，即 MiniSpinNet，來提取高效且通用的局部特征和圓柱形特征圖。通過匹配局部特征，可以獲得一組初始對(duì)應(yīng)關(guān)系以及相應(yīng)的圓柱特征圖。然后將這些通用的圓柱形特征圖輸入 Inlier Gener-ator，它使用輕量級(jí) 3D 圓柱卷積網(wǎng)絡(luò)預(yù)測(cè)每個(gè)對(duì)應(yīng)關(guān)系的剛性變換，并通過尋求最佳變換來生成最終可靠的對(duì)應(yīng)關(guān)系集，然后使用 RANSAC來估計(jì)更精細(xì)的變換。

實(shí)際上，如果簡單地結(jié)合現(xiàn)有方法，在準(zhǔn)確性、效率和泛化性之間取得令人滿意的平衡是極其困難的。例如，點(diǎn)式方法 Predator 很容易受到看不見的場景的影響，而補(bǔ)丁式方法 SpinNe 則非常耗時(shí)。當(dāng)直接將它們組合在一起時(shí)，整個(gè)框架既不高效也不通用。相比之下，本文提出的 BUFFER 中的每個(gè)組件都經(jīng)過精心設(shè)計(jì)來解決特定問題，因此更有可能實(shí)現(xiàn)卓越的平衡。

僅在 3DMatch 數(shù)據(jù)集上進(jìn)行訓(xùn)練，本文的 BUFFER 不僅在 3DMatch 數(shù)據(jù)集上實(shí)現(xiàn)了 92.9% 的最高配準(zhǔn)召回率，而且在未見過的室外 ETH 數(shù)據(jù)集上也達(dá)到了 99.30% 的最佳成功率（顯著）超過最佳逐點(diǎn)基線 GeoTrans 近 10%）。同時(shí)，本文的 BUFFER 幾乎比 patch-wise 方法快一個(gè)數(shù)量級(jí)。大量實(shí)驗(yàn)證明了本文方法的卓越性能和效率。

總的來說，本文的貢獻(xiàn)有三方面：

? 本文提出了一種新的點(diǎn)云配準(zhǔn)框架，巧妙地結(jié)合了 point-wise 和 patch-wise 方法，在準(zhǔn)確性、效率和泛化性方面達(dá)到了完美的平衡。

? 本文引入了等變?nèi)矸e架構(gòu)來預(yù)測(cè)逐點(diǎn)方向和顯著性。

? 引入新的對(duì)應(yīng)關(guān)系搜索策略以提高初始對(duì)應(yīng)關(guān)系的內(nèi)點(diǎn)率。

2 相關(guān)背景

基于對(duì)應(yīng)的配準(zhǔn)首先提取點(diǎn)云特征，然后通過特征匹配在兩次掃描之間建立明確的點(diǎn)對(duì)應(yīng)關(guān)系，最后估計(jì)剛性變換。從特征的角度來看，現(xiàn)有的基于對(duì)應(yīng)關(guān)系的配準(zhǔn)方法可以大致分為兩類：patch-wise 和 point-wise 方法。patch-wise 方法利用共享權(quán)重網(wǎng)絡(luò)來表征以關(guān)鍵點(diǎn)為中心的局部 3D patch，為每個(gè) patch 生成稀疏描述。逐點(diǎn)方法。point-wise 方法基于分層架構(gòu)在一次前向傳遞中處理整個(gè)點(diǎn)云，為每個(gè)片段生成密集的描述。無對(duì)應(yīng)關(guān)系配準(zhǔn)意味著直接估計(jì)兩片點(diǎn)云之間的剛性變換，通常通過建立端到端的可微分網(wǎng)絡(luò)來實(shí)現(xiàn)。根據(jù)網(wǎng)絡(luò)架構(gòu)的不同，現(xiàn)有的無對(duì)應(yīng)關(guān)系配準(zhǔn)方法可以分為基于軟對(duì)應(yīng)關(guān)系和基于直接回歸的配準(zhǔn)方法。盡管沒有明確的對(duì)應(yīng)關(guān)系，基于軟對(duì)應(yīng)的方法通常依賴特征之間的軟對(duì)應(yīng)關(guān)系，然后是利用 SVD 來生成剛性變換?；谥苯踊貧w方法的目的是在沒有任何硬或軟對(duì)應(yīng)關(guān)系的條件下回歸剛性變換。

現(xiàn)有方法在配準(zhǔn)精度方面表現(xiàn)出令人滿意的性能，但仍無法實(shí)現(xiàn)效率和泛化性之間的完美平衡。本文通過巧妙地集成 patch-wise 和 point-wise 網(wǎng)絡(luò)并設(shè)計(jì)一個(gè)新的3D配準(zhǔn)框架來解決這個(gè)問題，其中 point-wise 組件主要負(fù)責(zé)提高效率并使 patch-wise 模塊能夠提取通用特征。

3 方法

3.1. Problem Statement

給定兩個(gè)部分重疊的點(diǎn)云 和 ，點(diǎn)云配準(zhǔn)的目標(biāo)是計(jì)算 和 之間的最優(yōu)剛性變換 。如果子集 和 之間存在真實(shí)的一一對(duì)應(yīng)關(guān)系，配準(zhǔn)問題可以重新表述為最小化問題：

其中 是正確匹配對(duì)應(yīng)關(guān)系的數(shù)量， 是置換矩陣。

為了獲得點(diǎn)子集 和 ，本文提出了一種新的配準(zhǔn)框架，稱為 BUFFER，它主要由 Point-wise Learner、Patch-wise Embedder 和 Inliers Generator 組成。如圖2所示。

圖 2. 本文所提點(diǎn)云配準(zhǔn)框架 BUFFER 的總體結(jié)構(gòu)。

3.2. Point-wise Learner

Point-wise Learner 旨在預(yù)測(cè)旋轉(zhuǎn)不變關(guān)鍵點(diǎn)和旋轉(zhuǎn)等變方向，進(jìn)一步提高配準(zhǔn)效率和準(zhǔn)確性。如圖2所示，它由兩個(gè)組件組成。等變?nèi)矸e網(wǎng)絡(luò)。為了獲得魯棒的關(guān)鍵點(diǎn)和點(diǎn)方向，第一步是構(gòu)建主干網(wǎng)絡(luò)來學(xué)習(xí)密集和旋轉(zhuǎn)等變特征?，F(xiàn)有的方法如要么具有極高的空間和時(shí)間復(fù)雜度，要么依賴于對(duì)平移敏感的全局點(diǎn)坐標(biāo)。本文設(shè)計(jì)了一種輕量且對(duì)平移不變的等變?nèi)矸e網(wǎng)絡(luò)（EFCN）。為了保證旋轉(zhuǎn)等變性和平移不變性，本文探索了點(diǎn)云 的以下三個(gè)幾何屬性：

相對(duì)坐標(biāo)：

鄰域中心：

初始方向： 為最小特征值對(duì)應(yīng)的特征向量。

這里，表示 在支撐半徑 內(nèi)的所有鄰近點(diǎn)?；诖?，第 層中點(diǎn) 的等變卷積可以重新表述為：

其中是權(quán)重矩陣，表示等變映射。

由于與 SO(3) 旋轉(zhuǎn)等變且對(duì)平移不變，因此整個(gè)卷積網(wǎng)絡(luò)也具有相同的不變性和等變性。本文的 EFCN 基于 KPConv 的分層架構(gòu)（詳細(xì)信息在補(bǔ)充材料中）。與現(xiàn)有的等變網(wǎng)絡(luò)相比，本文的EFCN更加高效并且可以應(yīng)用于場景級(jí)任務(wù)。盡管分層架構(gòu)中的采樣/上采樣不可避免地會(huì)帶來一些定量誤差，但其背后嚴(yán)格的數(shù)學(xué)模型已經(jīng)為網(wǎng)絡(luò)學(xué)習(xí)等變特征提供了強(qiáng)大的歸納偏差。點(diǎn)云的 EFCN 是相同的。等變和不變分支。下一步是預(yù)測(cè)旋轉(zhuǎn)不變關(guān)鍵點(diǎn)和旋轉(zhuǎn)等變方向。為此，本文將最后一個(gè)卷積層中的等變特征輸入到兩個(gè)獨(dú)立的解碼器分支中，以產(chǎn)生密集方向和顯著性。如圖 2 所示。同樣的操作也適用于點(diǎn)云 。

受益于每層的等變性，最終學(xué)習(xí)到的方向自然與 SO(3) 旋轉(zhuǎn)等變。在另一個(gè)不變分支中，我們采用與前任工作相同的不變變換來產(chǎn)生不變信號(hào)。通過扁平化并將其輸入三個(gè) MLP 層，然后進(jìn)行 Softplus 激活函數(shù)，預(yù)測(cè)最終的逐點(diǎn)顯著性，其中具有較高顯著性的個(gè)點(diǎn)被視為關(guān)鍵點(diǎn)。

綜上所述，基于本文的 EFCN，Point-wise Learner 可以預(yù)測(cè)密集的顯著性，以選擇更容易匹配的關(guān)鍵點(diǎn)，從而提高配準(zhǔn)效率。同時(shí)，Point-wise Learner 能夠?qū)W習(xí)魯棒的點(diǎn)方向，這有利于后續(xù)的 Patch-wise Embedder 學(xué)習(xí)高度描述性的特征。

3.3. Patch-wise Embedder

該模塊旨在學(xué)習(xí)所選關(guān)鍵點(diǎn)的高效且通用的特征。它包含兩個(gè)關(guān)鍵組件，如下所述。

Mini-SpinNet.本文利用局部特征學(xué)習(xí)器，即 SpinNet，來提取一般特征。然而，普通的 SpinNet 非常耗時(shí)且占用大量內(nèi)存。為了緩解這些問題，本文開發(fā)了一種輕量級(jí)架構(gòu)，稱為 Mini-SpinNet 以提取一般的局部補(bǔ)丁特征。

Reference Axes.在獲得效率極大提升的同時(shí)，必須承認(rèn)這種輕量級(jí)結(jié)構(gòu)不可避免地惡化了特征的可辨別性。為了補(bǔ)償性能，本文采用學(xué)習(xí)的方向作為參考軸，這比普通 SpinNet 中使用的手工制作的 Z 軸更具可重復(fù)性和魯棒性，以提取更獨(dú)特的特征。

最后，可以獲得一組通用局部特征和圓柱特征圖。通過在和之間進(jìn)行特征匹配，可以建立一系列初始對(duì)應(yīng)關(guān)系，如圖 2 所示。總的來說，本文的 Patch-wise Embedder 不僅輕量級(jí)且高效，而且還可以學(xué)習(xí)獨(dú)特和通用的局部特征用于特征匹配。

3.4. Inliers Generator

該模塊旨在從一系列初始對(duì)應(yīng)關(guān)系中搜索內(nèi)部點(diǎn)，提高整個(gè)框架的配準(zhǔn)性能。如圖 2 所示，它由兩個(gè)組件組成，如下所述。

變換估計(jì)。在這里，從特征的角度來處理內(nèi)點(diǎn)搜索問題。給定初始點(diǎn)對(duì)應(yīng)關(guān)系的列表，對(duì)于每對(duì)對(duì)應(yīng)關(guān)系，還獲得兩個(gè)圓柱特征圖，其中表示高度，寬度，以及展開的圓柱形特征圖的特征維數(shù)。根據(jù) 3.3 節(jié)，可以知道以關(guān)鍵點(diǎn)為中心的局部補(bǔ)丁使用旋轉(zhuǎn)矩陣與學(xué)習(xí)的方向預(yù)先對(duì)齊。因此，和之間僅存在 SO(2) 旋轉(zhuǎn)?；诖?，本文的目標(biāo)是估計(jì)兩個(gè)圓柱形特征圖之間的 SO(2) 旋轉(zhuǎn)，從而恢復(fù)兩個(gè)匹配的局部補(bǔ)丁之間的剛性變換。

受立體匹配中視差回歸的啟發(fā)，首先通過計(jì)算在不同寬度值下計(jì)算的兩個(gè)圓柱形特征圖之間的差異來構(gòu)造4D匹配 cost volume。請(qǐng)注意，cost volume 在圓柱體上 360° 內(nèi)是連續(xù)的。為了保留此特性，利用輕量級(jí) 3D 圓柱卷積網(wǎng)絡(luò) (3DCCN) 進(jìn)行成本聚合。經(jīng)過 softmax 運(yùn)算，獲得每個(gè)偏移的概率。然后通過 softargmax 運(yùn)算計(jì)算預(yù)測(cè)偏移：因此，兩個(gè)圓柱特征圖和之間的 SO(2) 旋轉(zhuǎn)可以通過以下方式求出：

此外，為每對(duì)對(duì)應(yīng)關(guān)系產(chǎn)生旋轉(zhuǎn)矩陣和平移向量以用于內(nèi)點(diǎn)搜索。內(nèi)點(diǎn)搜索。由于內(nèi)點(diǎn)對(duì)應(yīng)關(guān)系具有相似的估計(jì)變換，因此很容易從許多假定的對(duì)應(yīng)關(guān)系中找到它們。具體來說，首先根據(jù)每個(gè)變換滿足的對(duì)應(yīng)數(shù)量尋求最佳變換，其中是指示函數(shù)，表示歐氏距離，表示內(nèi)點(diǎn)距離閾值。然后獲得內(nèi)部對(duì)應(yīng)關(guān)系，

總的來說，本文的內(nèi)點(diǎn)生成器首先利用簡單的神經(jīng)層和一般的圓柱特征來估計(jì)每對(duì)對(duì)應(yīng)關(guān)系的粗略剛性變換，然后根據(jù)內(nèi)點(diǎn)之間的變換相似性搜索可靠的對(duì)應(yīng)關(guān)系。內(nèi)部值生成器從特征級(jí)別而不是對(duì)應(yīng)級(jí)別修剪異常值。因此，所提出的 Inliers Generator 與現(xiàn)有的異常值拒絕方法并不矛盾，并且還可以與這些方法相結(jié)合來估計(jì)更精細(xì)的剛性變換。

3.5. Training and Inference

損失函數(shù)。本文使用由四項(xiàng)組成的損失函數(shù)來訓(xùn)練整個(gè)模型：。給定一組真實(shí)對(duì)應(yīng)關(guān)系和真實(shí)變換，可以獲得相應(yīng)的方向由逐點(diǎn)學(xué)習(xí)器。受概率倒角損失的啟發(fā)，本文定義了概率余弦損失函數(shù)作為學(xué)習(xí)方向的監(jiān)督：其中是真實(shí)匹配對(duì)應(yīng)關(guān)系的數(shù)量，是可學(xué)習(xí)的參數(shù)。接下來，按照 D3Feat 利用對(duì)比損失進(jìn)行特征學(xué)習(xí)，利用檢測(cè)損失進(jìn)行關(guān)鍵點(diǎn)檢測(cè)。為了訓(xùn)練所提出的 Inliers Generator，首先計(jì)算兩個(gè)圓柱形特征圖之間的真實(shí)偏移，然后采用 L1 損失作為變換估計(jì)監(jiān)督：假設(shè)生成。本文發(fā)現(xiàn) RANSAC 算法對(duì)于具有高內(nèi)點(diǎn)率的對(duì)應(yīng)關(guān)系非常有效。在整個(gè)注冊(cè)框架中， RANSAC 的時(shí)間消耗幾乎可以忽略不計(jì)。因此，利用 RANSAC 計(jì)算精確的剛性變換。

4 實(shí)驗(yàn)

在本節(jié)中，首先測(cè)試訓(xùn)練集和測(cè)試集屬于同一域時(shí) BUFFER 的配準(zhǔn)性能。然后在未見過的領(lǐng)域進(jìn)行廣泛的比較實(shí)驗(yàn)以評(píng)估泛化性。最后，進(jìn)行了一組消融研究。

4.1. Datasets and Settings

選擇四個(gè)數(shù)據(jù)集，即室內(nèi) 3DMatch 和 3DLoMatch 、室外KITTI 和 ETH 來評(píng)估所有方法的配準(zhǔn)性能。在 3DMatch 和 3DLoMatch 數(shù)據(jù)集上，使用注冊(cè)召回（RR）作為評(píng)估指標(biāo)。

在 KITTI 和 ETH 數(shù)據(jù)集上，均使用相對(duì)平移誤差（RTE）、相對(duì)旋轉(zhuǎn)誤差（RRE）和成功率作為評(píng)估指標(biāo)。實(shí)施細(xì)節(jié)。BUFFER 是用 PyTorch 實(shí)現(xiàn)的。為了保證公平性，利用基線發(fā)布的代碼和訓(xùn)練模型進(jìn)行對(duì)比實(shí)驗(yàn)。所有方法均使用 PyTorch 實(shí)現(xiàn)，并在具有 Intel Xeon CPU @2.30GHZ 和 NVIDIA RTX 3090 GPU 的計(jì)算機(jī)上運(yùn)行。

4.2. Evaluation on Datasets of Same Domains

室內(nèi) 3DMatch 數(shù)據(jù)集的結(jié)果。將所提出的 BUFFER 與在 3DMatch 和 3DLoMatch 數(shù)據(jù)集上注冊(cè)召回和運(yùn)行時(shí)間方面最先進(jìn)的方法進(jìn)行了比較。如表 1 所示， BUFFER 在 3DMatch 數(shù)據(jù)集上實(shí)現(xiàn)了最高的配準(zhǔn)召回率和顯著的計(jì)算效率。得益于高效的子流形稀疏卷積，F(xiàn)CGF 是最快的方法。然而，F(xiàn)CGF 實(shí)現(xiàn)的注冊(cè)召回率幾乎是所有方法中最差的，比 BUFFER 低了近 8%。在低重疊 3DLoMatch 數(shù)據(jù)集上， BUFFER 的結(jié)果與最先進(jìn)的方法相當(dāng)。特別是， BUFFER 是最輕量級(jí)的方法，比普通 SpinNet 快約 35 倍。

戶外 KITTI 數(shù)據(jù)集的結(jié)果。將 BUFFER 與 KITTI 數(shù)據(jù)集上的強(qiáng)基線進(jìn)行比較，如表 2 所示。很明顯， BUFFER 實(shí)現(xiàn)了最高的成功率，并且是最輕量級(jí)的模型且效率很高。雖然 FCGF 比BUFFER 更快，但其注冊(cè)成功率明顯低于 BUFFER 15.86%。還觀察到所有方法在 KITTI 數(shù)據(jù)集上花費(fèi)更多時(shí)間來注冊(cè)點(diǎn)云，而不是在 3DMatch 數(shù)據(jù)集上。這是因?yàn)槭彝釱ITTI數(shù)據(jù)集包含更大的場景和更多的采樣點(diǎn)。

4.3. Generalizing to Unseen Domains

為了廣泛評(píng)估所提出的 BUFFER 在未知領(lǐng)域的泛化能力，進(jìn)行了三組實(shí)驗(yàn)：從室內(nèi)到室外、從室外到室內(nèi)、從室外到室外的泛化。在每組實(shí)驗(yàn)中，所有方法都在一個(gè)數(shù)據(jù)集上進(jìn)行訓(xùn)練，然后直接在其他未見過的數(shù)據(jù)集上進(jìn)行測(cè)試。

從室內(nèi) 3DMatch 到室外 ETH 和 KITTI。表3和表4分別列出了從3DMatch到ETH和從3DMatch到KITTI的泛化結(jié)果。可以注意到，當(dāng)直接推廣到未見過的數(shù)據(jù)集時(shí)，所有逐點(diǎn)方法都表現(xiàn)出較低的成功率。這主要是因?yàn)樗麄儾捎梅謱泳W(wǎng)絡(luò)架構(gòu)來學(xué)習(xí)特征描述符，這不利于泛化。

還值得注意的是，patch-wise 方法具有出色的泛化能力，但它們非常耗時(shí)，幾乎比 point-wise 方法慢一個(gè)數(shù)量級(jí)。相比之下， BUFFER 巧妙地結(jié)合了這兩種方法，不僅在未見過的領(lǐng)域中實(shí)現(xiàn)了最高的成功率，而且比 patch-wise 方法要高效得多。誠然， BUFFER 在 RTE 和 RRE 上比 SpinNet 稍差，主要是因?yàn)?SpinNet 使用了更多的采樣點(diǎn)。

從室外 KITTI 到室內(nèi) 3DMatch。如表 5 所示，這些逐點(diǎn)方法，即 FCGF、D3Feat、Predator 和 GeoTrans，由于域間隙較大而表現(xiàn)出較差的泛化結(jié)果。值得注意的是，本文方法在 3DMatch 數(shù)據(jù)集上的召回率超過 SpinNet 3.6%，而在 3DLoMatch 數(shù)據(jù)集上性能差距擴(kuò)大到 11.7%。這主要是因?yàn)?SpinNet 只能在低重疊的 3DLoMatch 數(shù)據(jù)集上生成具有較低內(nèi)點(diǎn)率的點(diǎn)對(duì)應(yīng)。相比之下，所提出的 Inliers Generator 可以顯著提高 內(nèi)點(diǎn)率，進(jìn)一步提高整個(gè)框架的配準(zhǔn)性能。值得注意的是，當(dāng)直接推廣到未見過的 3DMatch 時(shí)， BUFFER 達(dá)到了 91.2% 的最高 RR，甚至超過了在 3DMatch 上訓(xùn)練的那些強(qiáng)基線（例如 Predator 和 YOHO）。這進(jìn)一步證明了 BUFFER 強(qiáng)大的泛化能力及其潛在的效用。

從戶外 KITTI 到戶外 ETH。如表6所示，與從3DMatch到ETH的泛化實(shí)驗(yàn)相比，GeoTrans和D3Feat等逐點(diǎn)方法在此實(shí)驗(yàn)設(shè)置下具有顯著的性能提升。這是因?yàn)?KITTI 和 ETH 數(shù)據(jù)集僅包含相同的 SO(2) 旋轉(zhuǎn)，并且兩個(gè)數(shù)據(jù)集之間的域差距并不大。盡管這個(gè)泛化實(shí)驗(yàn)確實(shí)有利于對(duì)旋轉(zhuǎn)和域間隙敏感的逐點(diǎn)方法，但 BUFFER 仍然實(shí)現(xiàn)了最佳成功率。這里也推薦「3D視覺工坊」新課程三維點(diǎn)云處理：算法與實(shí)戰(zhàn)匯總》。

4.4. Ablations

為了證明所提出的等變?nèi)矸e網(wǎng)絡(luò)的有效性，在 3DMatch 數(shù)據(jù)集上進(jìn)行了一系列消融實(shí)驗(yàn)。系統(tǒng)地評(píng)估 BUFFER 中每個(gè)組件的貢獻(xiàn)。學(xué)習(xí)方向的消融。為了研究不同設(shè)置對(duì)方向重復(fù)性的影響，進(jìn)行了以下 3 項(xiàng)消融研究。

用手工方法取代本文學(xué)習(xí)的方向。在此設(shè)置中，方向是通過手工方法計(jì)算的，即法線、SHOT、FLARE 和 SpinNet。

用KPConv替換所提出的等變卷積。在此設(shè)置中，消融模型對(duì)于平移不變，但對(duì)于旋轉(zhuǎn)不等變。

用向量神經(jīng)元（VN）代替所提出的等變卷積。在這種情況下，消融模型對(duì)于旋轉(zhuǎn)是等變的，但對(duì)于平移不是不變的。

用向量神經(jīng)元（VN）代替所提出的等變卷積。在這種情況下，消融模型對(duì)于旋轉(zhuǎn)是等變的，但對(duì)于平移不是不變的。圖 3 顯示了 3DMatch 數(shù)據(jù)集上所有消融模型的方向誤差的定量結(jié)果?？梢钥闯觯?）與手工技術(shù)相比，本文的方法對(duì)于現(xiàn)實(shí)世界的點(diǎn)云更具可重復(fù)性和魯棒性。這主要是因?yàn)樗岢龅?EFCN 可以學(xué)習(xí)魯棒的深度等變特征，而手工方法僅依賴于低級(jí)幾何屬性來計(jì)算方向。2）如果神經(jīng)網(wǎng)絡(luò)對(duì)于旋轉(zhuǎn)不是等變的，或者對(duì)于平移不是不變的，則無法估計(jì)可重復(fù)且魯棒的方向。這是合理的，因?yàn)榫W(wǎng)絡(luò)只能粗暴地記住方向，這對(duì)于新數(shù)據(jù)來說無疑是失敗的。還發(fā)現(xiàn)，所提出的 EFCN 對(duì)于等變特征學(xué)習(xí)和方向估計(jì)具有重要意義，并且具有擴(kuò)展到更多任務(wù)的巨大潛力。BUFFER 框架的消融。BUFFER 引入了三個(gè)關(guān)鍵組件：學(xué)習(xí)方向 (LO)、預(yù)測(cè)關(guān)鍵點(diǎn) (PK) 和內(nèi)點(diǎn)生成器 (IG)。為了調(diào)查每個(gè)模塊的影響，進(jìn)行了以下 6 項(xiàng)消融研究，以證明每個(gè)組件的有效性。特別是在 3DMatch 數(shù)據(jù)集上訓(xùn)練所有消融模型，然后直接在 3DMatch、3DLoMatch 和 ETH 數(shù)據(jù)集上測(cè)試它們。

表 7 顯示了所有消融實(shí)驗(yàn)的定量結(jié)果?？梢钥吹剑?）在不使用任何所提出的組件的情況下，基線（Mini-SpinNet [1]）在室內(nèi) 3DMatch 和 3DLoMatch 數(shù)據(jù)集上實(shí)現(xiàn)了最低的配準(zhǔn)召回率，在室外 ETH 數(shù)據(jù)集上實(shí)現(xiàn)了最差的泛化能力。2）當(dāng)使用所提出的LO或PK時(shí)（第2和第3），整個(gè)框架的配準(zhǔn)精度和泛化能力得到提高。當(dāng)同時(shí)采用 LO 和 PK 時(shí)（第 4 點(diǎn)），消融模型在 3DLoMatch 數(shù)據(jù)集上的召回率和 ETH 數(shù)據(jù)集上的成功率分別顯著超過基線 2.9% 和 5.19%。這清楚地表明，所提出的Point-wise Learner不僅可以提高配準(zhǔn)精度，而且有利于模型的泛化。3）當(dāng)僅采用所提出的IG時(shí)（No.5），整個(gè)框架的配準(zhǔn)性能仍然大大提高。這是因?yàn)樗岢龅腎G可以有效地從初始對(duì)應(yīng)中修剪掉一些異常值（定性結(jié)果如圖4所示），使得在后續(xù)假設(shè)生成階段更容易求解正確的位姿。

5 總結(jié)

本文提出了一種用于點(diǎn)云配準(zhǔn)深度學(xué)習(xí)框架，稱為 BUFFER。引入了高效且通用的特征學(xué)習(xí)框架和對(duì)應(yīng)關(guān)系搜索機(jī)制。大量的實(shí)驗(yàn)表明，本文的方法在準(zhǔn)確性、效率和泛化性之間實(shí)現(xiàn)了最佳權(quán)衡，大大優(yōu)于現(xiàn)有技術(shù)。