CVPR 2019，曠視提出基于測地距離的點(diǎn)云分析深度網(wǎng)絡(luò)GeoNet

全球計(jì)算機(jī)視覺三大頂會(huì)之一 CVPR 2019 （IEEE Conference on Computer Vision and Pattern Recognition）將于 6 月 16-20 在美國洛杉磯如期而至。屆時(shí)，曠視首席科學(xué)家、研究院院長孫劍博士將帶領(lǐng)團(tuán)隊(duì)遠(yuǎn)赴盛會(huì)，助力計(jì)算機(jī)視覺技術(shù)的交流與落地。在此之前，曠視每周會(huì)推出一篇 CVPR'19 接收論文解讀文章。本文是第 2 篇解讀，曠視 CVPR'19 Oral 論文提出一種基于測地距離的點(diǎn)云分析深度網(wǎng)絡(luò)——GeoNet。

論文名稱：GeoNet: Deep Geodesic Networks for Point Cloud Analysis

論文鏈接：https://arxiv.org/pdf/1901.00680.pdf

導(dǎo)語

簡介

GeoNet方法

問題陳述

方法

測地鄰域估計(jì)

特征提取

測地匹配

測地融合

PU-Net

PointNet++

GeoNet實(shí)驗(yàn)

測地鄰域估計(jì)

點(diǎn)云上采樣

法向量估計(jì)及網(wǎng)格重建

非剛性形狀分類

結(jié)論

參考文獻(xiàn)

往期解讀

基于網(wǎng)格曲面的幾何拓?fù)?a target="_blank">信息可以為物體語義分析和幾何建模提供較強(qiáng)的線索，但是，如此重要的連接性信息在點(diǎn)云中是缺失的。為此，曠視西雅圖研究院首次提出一種全新的深度學(xué)習(xí)網(wǎng)絡(luò)，稱之為 GeoNet，可建模點(diǎn)云所潛在表征的網(wǎng)格曲面特征。

為證明這種學(xué)習(xí)型的測地表示的有效性，曠視西雅圖研究院提出一種融合方案，即把 GeoNet 與其他 baseline 和 backbone 相結(jié)合，比如 PU-Net、PointNet++，用于若干對(duì)潛在網(wǎng)格曲面特征理解有較高要求的點(diǎn)云分析任務(wù)。

得益于對(duì)潛在曲面拓?fù)浣Y(jié)構(gòu)的理解，這一方法在點(diǎn)云上采樣、法向量估計(jì)、網(wǎng)格重建及非剛性形狀分類等多項(xiàng)經(jīng)典任務(wù)上取得了新的當(dāng)前最優(yōu)結(jié)果。該項(xiàng)工作已收錄為 CVPR 2019 Oral 論文。

簡介

拓?fù)涔烙?jì)，即確定點(diǎn)云之中不同點(diǎn)的鄰域關(guān)系，是一個(gè)很重要的問題，因?yàn)樗甘局蛇M(jìn)一步揭示點(diǎn)云語意和功能信息的潛在的點(diǎn)云結(jié)構(gòu)。

圖 1：GeoNet 方法示意圖，其輸入是一個(gè)點(diǎn)云，然后輸出相應(yīng)的表示用于多項(xiàng)點(diǎn)云分析任務(wù)。

如圖 1 左邊紅色插框所示：這兩個(gè)點(diǎn)集，盡管看起來不相連，但實(shí)際上應(yīng)該相連為一個(gè)椅腿，作為整個(gè)椅子的一部分。另一方面，位于椅子上、下表面的點(diǎn)集，盡管空間上非常聚集，但卻不該相連，以避免混淆可坐的上表面和不可坐的下表面。確定這樣的拓?fù)鋵W(xué)信息似乎是一個(gè)低階問題，而實(shí)際上這是一項(xiàng)充滿挑戰(zhàn)的任務(wù)，需要全局、高階的知識(shí)。

再次回到圖 1 中的紅色插框，本文由此得出結(jié)論，兩個(gè)點(diǎn)集只有從大量點(diǎn)云學(xué)習(xí)到統(tǒng)計(jì)規(guī)則之后才相連，并觀察這一類型的諸多物體，伴隨著從椅子延伸到地面的相連、垂直的元素。這啟發(fā)本文采取一種學(xué)習(xí)的方法來捕捉點(diǎn)云的拓?fù)鋵W(xué)結(jié)構(gòu)。

本文旨在開發(fā)一種針對(duì)潛在曲面拓?fù)鋵W(xué)和物體幾何學(xué)的點(diǎn)云數(shù)據(jù)的表示，進(jìn)而提出一種利用已學(xué)習(xí)的拓?fù)鋵W(xué)特征分析測地性點(diǎn)云的方法。

這一表示可捕捉一個(gè)點(diǎn)云的不同拓?fù)鋵W(xué)模式，并且這一方法不會(huì)改變數(shù)據(jù)流，因此本文的表示可實(shí)現(xiàn)聯(lián)合學(xué)習(xí)，與當(dāng)前最優(yōu)的 baseline 或 backbone 相結(jié)合，比如 PU-Net，PointNet++。

對(duì)于第一個(gè)目標(biāo)，本文提出一種測地性鄰域估計(jì)網(wǎng)絡(luò)（Geodesic Neighborhood Estimation Network），稱之為 GeoNet，通過使用groundtruth測地距離作為監(jiān)督信號(hào)來學(xué)習(xí)深度測地表示。

如圖 2 所示，GeoNet 包含兩個(gè)模塊：1）自動(dòng)編碼器，提取每一個(gè)點(diǎn)的特征向量；2）測量匹配層（GM），使用潛在特征充當(dāng)一個(gè)已學(xué)習(xí)的核函數(shù)估計(jì)測地鄰域點(diǎn)。

圖 2：GeoNet：測地鄰域估計(jì)網(wǎng)絡(luò)。

借助于監(jiān)督式的測地訓(xùn)練過程，GM 層的中間特征包含豐富的點(diǎn)云拓?fù)鋵W(xué)信息以及固有的曲面屬性。本文注意到，盡管表示在測地距離上訓(xùn)練，但由于沒有施加對(duì)稱性、三角不等式等基于距離的約束，所學(xué)得的表示暫時(shí)并不適合作為標(biāo)準(zhǔn)測地距離。表示的目標(biāo)是為整體幾何學(xué)和拓?fù)鋵W(xué)的后續(xù)處理過程提供點(diǎn)云潛在的網(wǎng)格曲面特征信息，而不是直接進(jìn)行指標(biāo)計(jì)算。

對(duì)于第二個(gè)任務(wù)，如圖 3 所示，本文提出測地融合方案，從而把 GeoNet 整合進(jìn)當(dāng)前最優(yōu)的架構(gòu)之中，完成不同的任務(wù)。

圖 3：PU-Net（上）和 PointNet++（下）測地融合方案。

具體而言，本文通過 PU-Net fusion（PUF）進(jìn)行點(diǎn)云上采樣，通過 PointNet++ fusion（POF）進(jìn)行法向量估計(jì)、網(wǎng)格重建以及非剛性形狀分類。

實(shí)驗(yàn)表明，這種來自 GeoNet 的已學(xué)習(xí)的測地表示同時(shí)有助于幾何學(xué)和語義點(diǎn)云分析。

GeoNet方法

問題陳述

本文用表示一個(gè)點(diǎn)云，其中，其中

的系數(shù)是 K，x_i 的相應(yīng)測地距離集合表示為代表測地距離。本文的目標(biāo)是學(xué)習(xí)函數(shù)（的近似集合）。

方法

本文通過訓(xùn)練 GeoNet 學(xué)習(xí)上述定義的函數(shù) f。它包含一個(gè)帶有跳躍式連接（skip connections）的自動(dòng)編碼器層，以及一個(gè)多尺度的測地匹配層（GM），起到利用點(diǎn)集潛在的空間特征的作用。

GeoNet 借助集合 X 不同點(diǎn)之間的 groundtruth 測地距離實(shí)現(xiàn)監(jiān)督式訓(xùn)練。為證明 GeoNet 表示的可用性，本文在一些需要理解潛在的表面拓?fù)鋵W(xué)的經(jīng)典任務(wù)上測試了該方法，具體包括點(diǎn)云上采樣、法向量估計(jì)、網(wǎng)格重建以及非剛性形狀分類。

為此，本文還結(jié)合了專為上述問題而設(shè)計(jì)的當(dāng)前最優(yōu)的架構(gòu)。比如，使用 PU-Net 作為 baseline 用于點(diǎn)云上采樣，把 PointNet++ 用于其他任務(wù)，這兩種測地融合方法分別稱之為 PU-Net fusion (PUF) 和 PointNet++ fusion (POF)，通過與 GeoNet 的整合，解決測地相關(guān)的點(diǎn)云分析問題。

測地領(lǐng)域估計(jì)

如圖 2 所示，GeoNet 包含兩個(gè)模塊：自編碼器提取每個(gè)點(diǎn)

特征提取。本文使用 PointNet++ 變體提取特征，它把一個(gè)輸入點(diǎn)集映射到特征集。為恢復(fù)點(diǎn)云的特征，本文還使用了帶有跳躍連接的編碼器。該編碼器包含遞歸應(yīng)用的三線性特征轉(zhuǎn)換器，并共享全連接層、ReLU 和批歸一化。所得到的（N，3+C）張量接著被饋送至 GM 層用于測地鄰域估計(jì)。

測地匹配。本文把不同半徑下的潛在特征歸組為鄰域特征集合。針對(duì)每個(gè)半徑設(shè)置一個(gè)最大數(shù)量的鄰域點(diǎn)，從而得到一個(gè)維的向量。歸組的特征，連同潛在的特征，輸入到一個(gè)測地匹配模塊，所得特征成為一組帶有 ReLU、批歸一化和 Dropout 的共享 FC 層的輸入。最后，GM 層為輸入點(diǎn)云的每個(gè)點(diǎn)反饋一個(gè)測地核函數(shù)評(píng)估。

本文使用一個(gè)多尺度的對(duì)比 groundtruth 測地距離及其評(píng)估：

測地融合

為證明這一學(xué)習(xí)的測地表示可用于點(diǎn)云分析，本文結(jié)合針對(duì)不同任務(wù)的當(dāng)前最優(yōu)（SOTA）架構(gòu)給出了新的融合方法。主要是基于 PU-Net 提出 PU-Net fusion (PUF)，基于 PointNet++ 提出 PointNet++ fusion (POF)。

PU-Net 測地融合。如圖 3 上半部分所示，輸入點(diǎn)集（N，d）并將其饋送至兩個(gè)分支：Multi-scale Grouping 和 GeoNet。

接著，向量。剩余的層則來自 PU-Net。如圖 3 紅框所示，這個(gè)損失函數(shù)有兩個(gè)權(quán)重項(xiàng)：

其中，L_geo 用于 GeoNet 訓(xùn)練，L_task 是本文當(dāng)前目標(biāo)任務(wù)的損失函數(shù)。在這種情況下，目標(biāo)是點(diǎn)云上采樣：：

其中第一個(gè)項(xiàng)是上采樣點(diǎn)集和 groundtruth 密集點(diǎn)云之間的地球移動(dòng)距離 EMD（Earth Mover Distance）：

（3）中第二項(xiàng)是一個(gè)排斥損失函數(shù)，通過懲罰相近的點(diǎn)對(duì)來提升統(tǒng)一的空間分布：

PointNet++ 測地融合。圖 3 下半部分給出了基于 PointNet++ 的融合方法的 pipeline。由于 PU-Net 和 PointNet++ 所面向的任務(wù)以及架構(gòu)的不同，本文對(duì) PUF 做了以下改變以設(shè)計(jì)一種使用 PointNet++ 的適宜的融合策略。

首先，對(duì)于 multi-scale grouping，本文使用學(xué)習(xí)的測地鄰域融合進(jìn) backbone，在 GeoNet 中 POF 層依然使用提取自倒數(shù)第二個(gè)全連接層的潛在測地特征。第三，在 PointNet++ 融合中，借助最遠(yuǎn)點(diǎn)采樣，本文以分層方式應(yīng)用 POF 層。

因此，已學(xué)習(xí)的特征同時(shí)編碼點(diǎn)集的局部和全局的結(jié)構(gòu)化信息。本文借助 L_1 誤差估計(jì)點(diǎn)云法向量：

接著，本文使用所估計(jì)的法向量通過泊松曲面重建（Poisson surface reconstruction）生成網(wǎng)格。為分類非網(wǎng)格物體的點(diǎn)云，本文使用交叉熵?fù)p失函數(shù)：

GeoNet實(shí)驗(yàn)

本文通過評(píng)估點(diǎn)云測地鄰域?qū)?GeoNet 進(jìn)行性能測試。為證明已學(xué)習(xí)的深度測地表示的可用性，本文在一系列對(duì)潛在曲面網(wǎng)格特征理解有所要求的點(diǎn)云任務(wù)上進(jìn)行了實(shí)驗(yàn)，比如點(diǎn)云上采樣、法向量估計(jì)、網(wǎng)格重建、非剛性形狀分類。

測地鄰域估計(jì)

通過使用具有 512 個(gè)均布點(diǎn)的點(diǎn)云，表 1 展示了 ShapeNet 數(shù)據(jù)集上的測地距離集合、

表 1

GeoNet 在 baselines 上有持續(xù)提升，代表性結(jié)果如圖 4 所示。本文方法捕捉到不同的拓?fù)鋵W(xué)模式，比如彎曲面，分層結(jié)構(gòu)，外部/內(nèi)部部分等等。

圖4：測地鄰域估計(jì)的表示結(jié)果。

點(diǎn)云上采樣

本文在點(diǎn)云上采樣任務(wù)重測試 PUF，結(jié)果如表 3 所示。本文在 3 個(gè)指標(biāo)上與當(dāng)前最優(yōu)的點(diǎn)云上采樣方法 PU-Net 進(jìn)行了對(duì)比：MSE、EMD 以及倒角距離 CD（Chamfer Distance）。

表 3

由于測地鄰域較于歐氏鄰域具有更豐富的潛在點(diǎn)集拓?fù)鋵W(xué)信息，PUF 上采樣產(chǎn)生更少的異常值，并復(fù)原更多的細(xì)節(jié)，比如曲線及尖銳結(jié)構(gòu)，如圖 5 所示。

圖 5：PUF 與 PU-Net 的點(diǎn)云上采樣結(jié)果對(duì)比。

法向量估計(jì)及網(wǎng)格重建

本文將 PointNet++ 測地融合方法 POF 應(yīng)用于法向量估計(jì)，接著借已完成的法向量估計(jì)做泊松曲面重建。Shrec15 和 ShapeNet 數(shù)據(jù)集上的法向量估計(jì)量化結(jié)果如表 4 和表 5 所示。通過對(duì)比傳統(tǒng)的 PCA 算法和當(dāng)前最優(yōu)的深度學(xué)習(xí)方法 PointNet++，POF 有 10% 左右的相對(duì)提升。

表 4

表 5

非剛性形狀分類

非剛性形狀分類的實(shí)驗(yàn)結(jié)果如表 6 所示。盡管 POF 和 PointNet++ 只把歐式坐標(biāo)系的點(diǎn)云作為輸入，DeepGM 需要在 groudtruth 測地度量空間中利用精確網(wǎng)格數(shù)據(jù)獲取線下計(jì)算的固有特征。盡管所用數(shù)據(jù)信息量更少，但 POF 相較其他方法精度更高。

表 6

這進(jìn)一步證明，POF 更適合解決需要理解潛在點(diǎn)云曲面屬性的任務(wù)。

結(jié)論

本文提出 GeoNet，一種全新的深度學(xué)習(xí)架構(gòu)，可學(xué)習(xí)點(diǎn)云基于測地空間的拓?fù)鋵W(xué)結(jié)構(gòu)。其訓(xùn)練過程在 groundtruth 測地距離的監(jiān)督之下進(jìn)行，因此已學(xué)習(xí)的表示可反映出點(diǎn)云所潛在表征的網(wǎng)格曲面特征。

為證明這一拓?fù)鋵W(xué)結(jié)構(gòu)的有效性，本文借助融合方法把 GeoNet 與當(dāng)前最優(yōu)的點(diǎn)云分析 baseline 或 backbone 整合為一種計(jì)算方案，在點(diǎn)云上采樣、法向量估計(jì)、網(wǎng)格重建及非剛性形狀分類等幾何學(xué)及語義任務(wù)上的實(shí)驗(yàn)結(jié)果表明，GeoNet 性能優(yōu)于當(dāng)前最佳同類方法。