如何實(shí)現(xiàn)面向三維點(diǎn)云的信息豐富的旋轉(zhuǎn)不變特征

論文題目：SpinNet: Learning a General Surface Descriptor for 3D Point Cloud Registration

作者：Sheng Ao, Qingyong Hu, Bo Yang, Andrew Markham, Yulan Guo

和二維圖像匹配類似，三維點(diǎn)云匹配中，實(shí)現(xiàn)能夠在兩個(gè)掃描幀之間共享的魯棒局部特征也是一直以來(lái)十分棘手的問(wèn)題。這項(xiàng)任務(wù)的挑戰(zhàn)性在于：1）不同的掃描幀通常具有不同的視角，2）原始3D掃描通常是不完整的、具有較多噪聲且點(diǎn)密度明顯不同的。針對(duì)這項(xiàng)任務(wù)，已經(jīng)有許多傳統(tǒng)的方法被提出來(lái)，例如經(jīng)典的SHOT，ISS等。但是盡管它們?cè)诟哔|(zhì)量的3D點(diǎn)云上取得了令人鼓舞的結(jié)果，但它們不能推廣到高噪聲和大規(guī)模實(shí)際3D點(diǎn)云。最近，基于深度神經(jīng)網(wǎng)絡(luò)的點(diǎn)云匹配方法取得了出色的成果。然而，它們有兩個(gè)主要限制。第一，其中許多方法，如D3Feat和FCGF，依賴于基于核的點(diǎn)卷積或子流形稀疏卷積來(lái)提取每個(gè)點(diǎn)的特征，導(dǎo)致學(xué)得的點(diǎn)局部特征對(duì)旋轉(zhuǎn)敏感。因此，當(dāng)應(yīng)用于具有強(qiáng)烈旋轉(zhuǎn)變化的新型3D掃描幀時(shí)，它們的性能會(huì)急劇下降。第二，雖然最近一些方法引入了旋轉(zhuǎn)不變的點(diǎn)描述符，但它們只是將手工特征或外部局部參考坐標(biāo)系集成到神經(jīng)網(wǎng)絡(luò)中，從根本上限制了網(wǎng)絡(luò)的表示能力。這篇論文則是致力實(shí)現(xiàn)用于三維點(diǎn)云匹配的信息豐富的旋轉(zhuǎn)不變特征。該網(wǎng)絡(luò)明顯滿足三個(gè)重要特性：1）它具有旋轉(zhuǎn)不變性，能從不同旋轉(zhuǎn)角度的3D掃描中學(xué)習(xí)一致的局部特征；2）它描述性強(qiáng)。本質(zhì)上，它保留了突出的局部特征，即使在噪聲、表面不完整或點(diǎn)密度不同時(shí)也能實(shí)現(xiàn)；3）它不包括任何手工設(shè)計(jì)的特征。這個(gè)工作將極大的促進(jìn)三維點(diǎn)云的相關(guān)研究，提高對(duì)旋轉(zhuǎn)變換的魯棒性。

1 摘要

從點(diǎn)云配準(zhǔn)和重建等下游任務(wù)來(lái)看，提取魯棒且普適的3D局部特征至關(guān)重要?，F(xiàn)有的基于學(xué)習(xí)的局部描述符要么對(duì)旋轉(zhuǎn)變換敏感，要么依賴于經(jīng)典手工制作的特征，既不具有普適性也不具有代表性。本文引入了一種新的、概念上簡(jiǎn)單的神經(jīng)結(jié)構(gòu)，稱為SpinNet，以提取旋轉(zhuǎn)不變但足夠信息豐富從而實(shí)現(xiàn)精確配準(zhǔn)的局部特征。首先引入了一個(gè)空間點(diǎn)變形器將輸入的局部表面映射到一個(gè)精心設(shè)計(jì)的圓柱空間中，從而實(shí)現(xiàn)SO(2)等變表示的端到端優(yōu)化。然后利用強(qiáng)大的基于點(diǎn)和3D圓柱卷積神經(jīng)網(wǎng)絡(luò)層的神經(jīng)特征提取器來(lái)實(shí)現(xiàn)緊湊且具有代表性的描述符以用于匹配。在室內(nèi)外數(shù)據(jù)集上進(jìn)行的大量實(shí)驗(yàn)證明SpinNet顯著優(yōu)于現(xiàn)有的最新技術(shù)。更為重要的是，在不同傳感器模態(tài)的未見(jiàn)場(chǎng)景中具有最佳的泛化能力。

貢獻(xiàn)

我們提出了一個(gè)新的神經(jīng)特征學(xué)習(xí)器用于3D表面匹配。它具有旋轉(zhuǎn)不變性、代表性和在看不見(jiàn)的情況下具有卓越的泛化能力。

通過(guò)將轉(zhuǎn)換后的3D表面規(guī)則化成圓柱體，我們引入了強(qiáng)大的3D圓柱卷積來(lái)學(xué)習(xí)豐富和通用的特征。

我們進(jìn)行了大量實(shí)驗(yàn)和消融研究，證明了我們方法的顯著泛化能力。

2 方法

2.1 問(wèn)題陳述

給定兩個(gè)部分重疊的點(diǎn)云和。點(diǎn)云配準(zhǔn)的任務(wù)是找到最優(yōu)剛性變換，以及點(diǎn)對(duì)應(yīng)關(guān)系來(lái)對(duì)齊成對(duì)的片段，最終恢復(fù)完整的場(chǎng)景。點(diǎn)對(duì)應(yīng)關(guān)系需要滿足：

其中表示旋轉(zhuǎn)矩陣，表示平移向量， 是殘差誤差。在實(shí)踐中，由于這個(gè)問(wèn)題的非凸性，同時(shí)找到對(duì)應(yīng)關(guān)系和估計(jì)變換是不可行的。但是，如果可以確定具有一對(duì)一對(duì)應(yīng)關(guān)系的點(diǎn)子集和，則配準(zhǔn)問(wèn)題可以簡(jiǎn)化為以下L2距離的最小化問(wèn)題：

其中是成功匹配到的對(duì)應(yīng)關(guān)系數(shù)，是一個(gè)置換矩陣，其元素滿足如果中的第個(gè)點(diǎn)對(duì)應(yīng)于中的第個(gè)點(diǎn)，則，否則為0。

我們提出了一種新的表面特征學(xué)習(xí)器SpinNet，它是一個(gè)映射函數(shù)，其中如果和 確實(shí)是正確匹配的，則等于任意剛性變換（如旋轉(zhuǎn)和平移）下的。特別地，我們的特征學(xué)習(xí)器主要由空間點(diǎn)形變器和神經(jīng)元特征提取器組成。

2.2 空間點(diǎn)形變器

這個(gè)模塊旨在將輸入的3D表面空間轉(zhuǎn)換為柱形體，在克服旋轉(zhuǎn)變化的同時(shí)不丟失局部關(guān)鍵信息。如圖2所示，它包括四個(gè)組成部分，如下所述。

基于參考坐標(biāo)系進(jìn)行對(duì)齊

給定局部表面中的特定點(diǎn)，我們首先從其半徑為的鄰域點(diǎn)集中估計(jì)一個(gè)朝向觀察方向的參考軸。然后使用旋轉(zhuǎn)矩陣將與Z軸對(duì)齊。與可能存在歧義和不穩(wěn)定的外部局部參考坐標(biāo)系相比，我們估計(jì)出來(lái)的在旋轉(zhuǎn)變化方面更加魯棒和穩(wěn)定。隨后，將鄰域點(diǎn)集轉(zhuǎn)換為。為了實(shí)現(xiàn)平移不變性，我們進(jìn)一步將標(biāo)準(zhǔn)化到中心點(diǎn)，即。因此，獲得的局部塊已經(jīng)與z軸對(duì)齊，剩下的旋轉(zhuǎn)自由度完全留給XY平面。

球形體素化

這是本文的核心，在設(shè)計(jì)網(wǎng)絡(luò)時(shí)需要引入一些幾何知識(shí)先驗(yàn)實(shí)現(xiàn)一些歸一化，來(lái)加速訓(xùn)練、實(shí)現(xiàn)泛化：

為了進(jìn)一步消除XY平面上的旋轉(zhuǎn)不變性，我們利用旋轉(zhuǎn)魯棒的球形表示。特別地，將塊視為球體，并沿徑向距離，仰角和方位角均勻地將其分成個(gè)體素。每個(gè)體素的中心點(diǎn)被表示為，其中, , 。然后，我們明確確定了每個(gè)體素中心點(diǎn)的一組鄰域點(diǎn)。具體來(lái)說(shuō)，我們使用半徑查詢找到以固定半徑為基礎(chǔ)的鄰域點(diǎn)，其中。最后，我們隨機(jī)采樣并保留每個(gè)體素的個(gè)點(diǎn)，旨在實(shí)現(xiàn)并行計(jì)算的高效性。這個(gè)球形體素化步驟對(duì)于接下來(lái)的空間點(diǎn)變換至關(guān)重要。

歡迎關(guān)注微信公眾號(hào)「3D視覺(jué)工坊」，加群/文章投稿/課程主講，請(qǐng)加微信：dddvisiona，添加時(shí)請(qǐng)備注：加群/投稿/主講申請(qǐng)

在XY平面上的變換

為了使每個(gè)球形體素在XY平面上具有旋轉(zhuǎn)不變性，我們將每個(gè)體素主動(dòng)繞Z軸旋轉(zhuǎn)，將其中心與YZ平面對(duì)齊，其中旋轉(zhuǎn)矩陣定義如下：

這種操作消除了每個(gè)體素在XY平面上的一個(gè)旋轉(zhuǎn)自由度，而不會(huì)丟失每個(gè)體素的任何局部幾何信息。值得注意的是，現(xiàn)有的方法通常使用手工特征來(lái)實(shí)現(xiàn)旋轉(zhuǎn)不變性，導(dǎo)致豐富的局部信息被丟失。獨(dú)特的是，我們的簡(jiǎn)單策略可以保留這些信息。

圓柱體建模

一旦每個(gè)體素的局部幾何被轉(zhuǎn)換，進(jìn)一步保留跨多個(gè)體素的較大空間結(jié)構(gòu)就變得至關(guān)重要。這要求將所有體素的相對(duì)位置在整個(gè)框架中表示出來(lái)。為此，我們將球形體素重新組合成一個(gè)圓柱體。這有利于所提出的三維圓柱卷積網(wǎng)絡(luò)，它保證了輸入局部表面的等變性，并保留了多個(gè)體素的拓?fù)淠Ｊ?。具體來(lái)說(shuō)，給定經(jīng)過(guò)轉(zhuǎn)換的球形體素，每個(gè)都有一組相鄰點(diǎn)，我們將它們邏輯上投影到一個(gè)圓柱體積，表示為，如圖2所示。

總之，對(duì)于給定的輸入表面塊，我們的空間點(diǎn)變換器將其Z軸明確地與參考軸對(duì)齊，并主動(dòng)地對(duì)XY平面上的球形體素模式進(jìn)行轉(zhuǎn)換，并通過(guò)圓柱體建模進(jìn)一步保留了拓?fù)浔砻娼Y(jié)構(gòu)。顯然，該模塊使所有表面幾何保持完整，以供后續(xù)的神經(jīng)特征提取器學(xué)習(xí)。

2.3 神經(jīng)特征提取器

此模塊旨在使用強(qiáng)大的神經(jīng)網(wǎng)絡(luò)層從每個(gè)圓柱體素內(nèi)的轉(zhuǎn)換點(diǎn)中學(xué)習(xí)特征。如圖3所示，它包含兩個(gè)組件，具體討論如下。

基于點(diǎn)的網(wǎng)絡(luò)層

對(duì)于每個(gè)圓柱體素內(nèi)的點(diǎn)，我們使用共享的MLP（多層感知器）和最大池化函數(shù)學(xué)習(xí)每個(gè)體素的初始特征。形式上，基于點(diǎn)的網(wǎng)絡(luò)層定義為：

其中是D維的學(xué)習(xí)特征，請(qǐng)注意，MLP權(quán)重在所有球形體素之間共享。最終，我們得到一組3D圓柱特征圖。

三維圓柱卷積層

為了進(jìn)一步學(xué)習(xí)多個(gè)體素之間的空間結(jié)構(gòu)，我們提出了一種高效的3D圓柱卷積網(wǎng)絡(luò)（3DCCN）。特別是，給定位于第層中第個(gè)圓柱特征圖上位置的一個(gè)體素，我們的3DCCN定義如下：

其中是徑向維度上的卷積核大小，和分別是卷積核的高度和寬度，是可學(xué)習(xí)的參數(shù)。

與現(xiàn)有的卷積操作非常不同，我們提出的3DCCN在以下兩個(gè)方面是新穎的。第一，由于圓柱特征圖在整個(gè)圓柱體上是360度連續(xù)的，因此我們的3DCCN被設(shè)計(jì)為繞這些特征圖進(jìn)行卷積操作，即通過(guò)周期性邊界從?180度到180度。因此，我們的3DCCN中不需要顯式填充，但是在特征圖邊界處的3D CNN是必需的。第二， 與現(xiàn)有的3D流形稀疏卷積或核心點(diǎn)卷積相比，圍繞360度體積的連續(xù)卷積使得所獲取的特征圖具有等變性，從而實(shí)現(xiàn)了最終的旋轉(zhuǎn)不變性。在堆疊多個(gè)這些3DCCN層并進(jìn)行最大池化之后，原始的圓柱特征圖被壓縮成了一個(gè)緊湊且具有代表性的特征向量。

2.3 端到端應(yīng)用細(xì)節(jié)

空間點(diǎn)形變器直接與神經(jīng)元特征提取器相連，隨后采用現(xiàn)有的對(duì)比損失進(jìn)行端到端優(yōu)化。廣泛適用的批內(nèi)最難樣本抽樣也被即時(shí)采用，以最大化最近的正負(fù)樣本塊之間的距離。我們基于PyTorch框架實(shí)現(xiàn)了SpinNet。使用默認(rèn)參數(shù)的Adam優(yōu)化器。初始學(xué)習(xí)率設(shè)置為0.001，并且每5個(gè)epoch衰減率為0.5。我們訓(xùn)練網(wǎng)絡(luò)20個(gè)epoch，然后使用在驗(yàn)證集上表現(xiàn)最佳的模型進(jìn)行測(cè)試。為了公平比較，我們?cè)谒袑?shí)驗(yàn)中保持相同的設(shè)置。所有實(shí)驗(yàn)在Intel Xeon CPU @2.30GHZ和NVIDIA RTX2080Ti GPU的平臺(tái)上進(jìn)行。

審核編輯 ：李倩