用于處理三維點云的深度學(xué)習(xí)方法的分析

3D點云學(xué)習(xí)（ Point Clouds）作為近年來的研究熱點之一，受到了廣泛關(guān)注，每年在各大會議上都有大量的相關(guān)文章發(fā)表。當(dāng)前，點云上的深度學(xué)習(xí)變得越來越流行，人們提出了許多方法來解決這一領(lǐng)域的不同問題。國防科技大學(xué)郭裕蘭老師課題組新出的這篇論文對近幾年點云深度學(xué)習(xí)方法進行了全面綜述，是第一篇全面涵蓋多個重要點云相關(guān)任務(wù)的深度學(xué)習(xí)方法的綜述論文，包括三維形狀分類、三維目標(biāo)檢測與跟蹤、三維點云分割等，并對點云深度學(xué)習(xí)的機制和策略進行全面的歸納和解讀，幫助讀者更好地了解當(dāng)前的研究現(xiàn)狀和思路。也提供了現(xiàn)有方法在幾個可公開獲得的數(shù)據(jù)集上的全面比較，最后也介紹了未來的研究方向。

對于3D點云，數(shù)據(jù)正在迅速增長。大有從2D向3D發(fā)展的趨勢，比如在opencv中就已經(jīng)慢慢包含了3D點云的處理的相關(guān)模塊，在數(shù)據(jù)方面點云的獲取也是有多種渠道， 無論是源于CAD模型還是來自LiDAR傳感器或RGBD相機的掃描點云，無處不在。另外，大多數(shù)系統(tǒng)直接獲取3D點云而不是拍攝圖像并進行處理。因此，在深度學(xué)習(xí)大火的年代，應(yīng)該如何應(yīng)用這些令人驚嘆的深度學(xué)習(xí)工具，在3D點云上的處理上達到對二維圖像那樣起到很好的作用呢？

3D點云應(yīng)用深度學(xué)習(xí)面臨的挑戰(zhàn)。首先在神經(jīng)網(wǎng)絡(luò)上面臨的挑戰(zhàn)：

（1）非結(jié)構(gòu)化數(shù)據(jù)（無網(wǎng)格）：點云是分布在空間中的XYZ點。沒有結(jié)構(gòu)化的網(wǎng)格來幫助CNN濾波器。

（2）不變性排列：點云本質(zhì)上是一長串點（nx3矩陣，其中n是點數(shù)）。在幾何上，點的順序不影響它在底層矩陣結(jié)構(gòu)中的表示方式，例如， 相同的點云可以由兩個完全不同的矩陣表示。如下圖所示：

（3）點云數(shù)量上的變化：在圖像中，像素的數(shù)量是一個給定的常數(shù)，取決于相機。然而，點云的數(shù)量可能會有很大的變化，這取決于各種傳感器。

在點云數(shù)據(jù)方面的挑戰(zhàn)：

（1）缺少數(shù)據(jù)：掃描的模型通常被遮擋，部分數(shù)據(jù)丟失。
（2）噪音：所有傳感器都是嘈雜的。有幾種類型的噪聲，包括點云擾動和異常值。這意味著一個點有一定的概率位于它被采樣的地方（擾動）附近的某一半徑范圍內(nèi)，或者它可能出現(xiàn)在空間的任意位置（異常值）。
（3）旋轉(zhuǎn)：一輛車向左轉(zhuǎn)，同一輛車向右轉(zhuǎn)，會有不同的點云代表同一輛車。

點云學(xué)習(xí)近年來受到越來越多的關(guān)注，因為它在許多領(lǐng)域都有廣泛的應(yīng)用，比如計算機視覺、自動駕駛和機器人技術(shù)。作為人工智能的主要技術(shù)之一，深度學(xué)習(xí)已經(jīng)成功地用于解決各種二維視覺問題。然而，由于使用深度神經(jīng)網(wǎng)絡(luò)處理點云所面臨的獨特挑戰(zhàn)，對點云的深度學(xué)習(xí)仍處于起步階段。最近，點云上的深度學(xué)習(xí)變得越來越流行，人們提出了許多方法來解決這一領(lǐng)域的不同問題。為了激發(fā)未來的研究，本文對點云深度學(xué)習(xí)方法的最新進展進行了綜述。它涵蓋了三個主要任務(wù)，包括三維形狀分類，三維目標(biāo)檢測和跟蹤以及三維點云分割。我們還提供了一些可公開獲得的數(shù)據(jù)集的比較結(jié)果，以及有見地的觀察和啟發(fā)性的未來研究方向。

引言

3D數(shù)據(jù)在不同的領(lǐng)域有許多應(yīng)用，包括自動駕駛、機器人、遙感、醫(yī)療和設(shè)計行業(yè)[4]。近年來，深度學(xué)習(xí)技術(shù)在計算機視覺、語音識別、自然語言處理(NLP)、生物信息學(xué)等研究領(lǐng)域占據(jù)主導(dǎo)地位。但是，在三維點云上進行深度學(xué)習(xí)仍然面臨數(shù)個重大挑戰(zhàn)[5]，例如數(shù)據(jù)集規(guī)模小，維數(shù)高和三維點云的非結(jié)構(gòu)化性質(zhì)。在此基礎(chǔ)上，本文重點分析了用于處理三維點云的深度學(xué)習(xí)方法。

一些公開的數(shù)據(jù)集也被發(fā)布，例如ModelNet [6]，ShapeNet [7]，ScanNet [8]，Semantic3D [9]和KITTI Vision Benchmark Suite[10]。這些數(shù)據(jù)集進一步推動了對三維點云的深度學(xué)習(xí)研究，提出了越來越多的方法來解決與點云處理相關(guān)的各種問題，包括三維形狀分類、三維目標(biāo)檢測與跟蹤、三維點云分割等。

這篇論文是第一個專門針對點云的深度學(xué)習(xí)方法的綜述。此外，論文全面涵蓋了分類，檢測，跟蹤和分割等不同應(yīng)用。圖1顯示了三維點云的現(xiàn)有深度學(xué)習(xí)方法的分類。

圖1：三維點云深度學(xué)習(xí)方法分類。

這項工作的主要貢獻可以概括如下：

· 1）據(jù)我們所知，這是第一篇全面涵蓋多個重要點云相關(guān)任務(wù)的深度學(xué)習(xí)方法的綜述論文，包括三維形狀分類、三維目標(biāo)檢測與跟蹤、三維點云分割等。

·2）相對于已有的綜述[11]，[12]，我們特別關(guān)注三維點云的深度學(xué)習(xí)方法，而不是所有類型的三維數(shù)據(jù)。

· 3）本文介紹了點云深度學(xué)習(xí)的最新進展。因此，它為讀者提供了最先進的方法。

·4）提供了現(xiàn)有方法在幾個可公開獲得的數(shù)據(jù)集上的全面比較（例如，表1、2、3、4），并提供了簡要的總結(jié)和深入的討論。

本文的結(jié)構(gòu)如下。第2節(jié)回顧了三維形狀分類的方法。第3節(jié)概述了現(xiàn)有的三維目標(biāo)檢測和跟蹤方法。第4節(jié)介紹了點云分割的方法，包括語義分割、實例分割和部件分割。最后，第5節(jié)總結(jié)了論文。

論文還在以下網(wǎng)址上提供了定期更新的項目頁面：

https://github.com/QingyongHu/SoTA-Point-Cloud

圖2：三維形狀分類網(wǎng)絡(luò)的時間順序概覽。

圖3：PointNet的體系結(jié)構(gòu)。

圖4：點的局部鄰居的連續(xù)和離散卷積的圖解。(a)代表一個局部鄰居;(b)和(c)分別表示三維連續(xù)卷積和離散卷積。

圖5：基于圖的網(wǎng)絡(luò)的圖解。

表1：在ModelNet10/40基準上比較三維形狀分類結(jié)果。這里，我們只關(guān)注基于點的網(wǎng)絡(luò)，“#params”表示相應(yīng)模型的參數(shù)數(shù)量?！癘A”表示總體精度，“mAcc”表示表中的平均精度。符號“-”表示結(jié)果不可用。

圖6：按時間順序概述的最相關(guān)的基于深度學(xué)習(xí)的三維目標(biāo)檢測方法。

圖7：三類三維目標(biāo)檢測方法的典型網(wǎng)絡(luò)。從上到下:(a)基于多視圖，(b)基于分割，(c)基于視錐的方法。

表2：在KITTI測試三維檢測基準上的三維目標(biāo)檢測結(jié)果對比。

表3：在KITTI test BEV檢測基準上三維目標(biāo)檢測結(jié)果對比。

圖8：按時間順序概述了一些最相關(guān)的基于深度學(xué)習(xí)的點云語義分割方法。

圖9：基于投影方法的中間表示圖。

圖10：PointNet++[27]框架的示意圖。

圖11：有代表性的三維點云實例分割方法的年代概述。

未來方向

表4展示了現(xiàn)有方法在公共基準測試上的結(jié)果，包括S3DIS[176]、Semantic3D[9]、ScanNet[102]、SemanticKITTI[177]。需要進一步研究的問題有:

·基于點的網(wǎng)絡(luò)是最常被研究的方法。然而，點表示自然不具有顯式的鄰近信息，現(xiàn)有的大多數(shù)基于點的方法不得不借助于昂貴的鄰近搜索機制(如KNN[52]或ball query [27])。這從本質(zhì)上限制了這些方法的效率，因為鄰居搜索機制既需要很高的計算成本，又需要不規(guī)則的內(nèi)存訪問[214]。

·從不平衡數(shù)據(jù)中學(xué)習(xí)仍然是點云分割中一個具有挑戰(zhàn)性的問題。雖然有幾種的方法取得了顯著的綜合成績[42]、[170]、[182]，但它們在類標(biāo)很少的情況下表現(xiàn)仍然有限。例如，RandLA-Net[95]在Semantic3D的reduced-8子集上獲得了76.0%的整體IoU，而在hardscape類上獲得了41.1%的非常低的IoU。

·大多數(shù)現(xiàn)有的方法[5]、[27]、[52]、[170]、[171]都適用于小點云(如1m*1m，共4096個點)。在實際中，深度傳感器獲取的點云通常是巨大的、大規(guī)模的。因此，有必要進一步研究大規(guī)模點云的有效分割問題。

·已有少數(shù)文獻[145]、[146]、[167]開始研究動態(tài)點云的時空信息。預(yù)期時空信息可以幫助提高后續(xù)任務(wù)的性能，如三維目標(biāo)識別、分割和完成。

表4：S3DIS(包括Area5和6-fold cross validation)[176]、Semantic3D(包括semantic-8和reduced-8子集)[9]、ScanNet[8]和SemanticKITTI[177]數(shù)據(jù)集的語義分割結(jié)果對比。

結(jié)論

本文介紹了最先進的三維理解方法，包括三維形狀分類，三維目標(biāo)檢測和跟蹤，以及三維場景和目標(biāo)分割。對這些方法進行了全面的分類和性能比較。介紹了各種方法的優(yōu)缺點，并提出了今后的研究方向。

作者：Yulan Guo, Hanyun Wang, Qingyong Hu, Hao Liu, Li Liu, and Mohammed Bennamoun

審核編輯：郭婷