基于深度學(xué)習(xí)的方法在處理3D點(diǎn)云進(jìn)行缺陷分類應(yīng)用

作者：Anju Rani, Daniel Ortiz-Arroyo等

作者機(jī)構(gòu)：Department of Energy, Aalborg University

近年來，3D點(diǎn)云在各個(gè)領(lǐng)域的應(yīng)用日益廣泛，尤其在計(jì)算機(jī)視覺、狀態(tài)監(jiān)測(cè)、虛擬現(xiàn)實(shí)、機(jī)器人技術(shù)和自動(dòng)駕駛方面。深度學(xué)習(xí)已經(jīng)被證明是利用3D點(diǎn)云解決2D視覺挑戰(zhàn)的有效方法。然而，將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于處理3D點(diǎn)云也面臨著挑戰(zhàn)。為了解決這些挑戰(zhàn)，研究人員提出了許多方法。本文深入審視了最近基于深度學(xué)習(xí)的利用3D點(diǎn)云進(jìn)行條件監(jiān)測(cè)的進(jìn)展，特別關(guān)注工業(yè)應(yīng)用中的缺陷形狀分類和分割。認(rèn)識(shí)到這些方面在工業(yè)維護(hù)中的關(guān)鍵作用，本文提供了對(duì)審查的基于深度學(xué)習(xí)的點(diǎn)云處理方法的優(yōu)勢(shì)和局限性的深刻觀察。這種知識(shí)綜合旨在為工業(yè)系統(tǒng)中的條件監(jiān)測(cè)過程，特別是在剩余壽命框架內(nèi)的改進(jìn)和理解做出貢獻(xiàn)。

讀者理解：

這篇文章主要討論了近年來基于深度學(xué)習(xí)的方法在處理3D點(diǎn)云（PCs）進(jìn)行缺陷分類和分割方面的應(yīng)用。文章指出了基于投影和基于體積的方法在處理3D點(diǎn)云時(shí)面臨的挑戰(zhàn)，以及稀疏卷積方法可能是一種有前途的解決方案。此外，文章還提到了基于點(diǎn)的網(wǎng)絡(luò)在處理鄰域信息和不平衡數(shù)據(jù)方面存在挑戰(zhàn)，需要進(jìn)一步研究新技術(shù)。領(lǐng)域自適應(yīng)和遷移學(xué)習(xí)被認(rèn)為可以解決標(biāo)記數(shù)據(jù)不足的問題。另外，實(shí)例分割在工業(yè)系統(tǒng)中缺陷檢測(cè)方面具有挑戰(zhàn)性和前景。文章強(qiáng)調(diào)了工業(yè)系統(tǒng)內(nèi)缺陷估計(jì)的數(shù)據(jù)集匱乏問題，呼吁收集更多更好的數(shù)據(jù)集來評(píng)估和改進(jìn)PC分類方法的效果。總體而言，這篇文章對(duì)當(dāng)前3D點(diǎn)云缺陷分類和分割領(lǐng)域的研究現(xiàn)狀進(jìn)行了較為全面的總結(jié)和展望。

1 引言

本文引言介紹了條件監(jiān)測(cè)（CM）在確保結(jié)構(gòu)物長(zhǎng)期使用和正確維護(hù)中的重要性，并指出傳統(tǒng)的二維圖像在提供深度信息和相對(duì)物體位置方面存在局限性。隨著3D采集技術(shù)的發(fā)展，包括深度傳感器和3D掃描儀，可以更好地提取詳細(xì)的3D信息。利用3D數(shù)據(jù)相比傳統(tǒng)的2D圖像可以更好地理解對(duì)象。近年來，研究人員越來越關(guān)注利用3D掃描的對(duì)象在工業(yè)應(yīng)用中進(jìn)行缺陷檢測(cè)和分割。點(diǎn)云表示以在3D空間中保留原始幾何特征而脫穎而出，使其成為許多應(yīng)用中的首選選擇。然而，將深度學(xué)習(xí)應(yīng)用于3D點(diǎn)云數(shù)據(jù)具有獨(dú)特的挑戰(zhàn)。本文綜述了最新的深度學(xué)習(xí)方法應(yīng)用于3D點(diǎn)云數(shù)據(jù)，特別強(qiáng)調(diào)它們?cè)诠I(yè)環(huán)境中的應(yīng)用。通過解剖基本方法和最新進(jìn)展，本文超越了以往，特別關(guān)注工業(yè)應(yīng)用中CM要求的3D形狀分類和分割。綜述涵蓋了傳統(tǒng)和創(chuàng)新方法，揭示了處理工業(yè)環(huán)境中的3D點(diǎn)云數(shù)據(jù)的固有挑戰(zhàn)和潛在解決方案。此外，還提供了用于3D點(diǎn)云特征學(xué)習(xí)的現(xiàn)有深度學(xué)習(xí)方法的詳細(xì)總結(jié)，概述了它們各自的優(yōu)點(diǎn)和缺點(diǎn)。綜述的結(jié)構(gòu)安排包括討論現(xiàn)有數(shù)據(jù)集和評(píng)估指標(biāo)、DL方法用于3D形狀分類、對(duì)現(xiàn)有的3D點(diǎn)云分割方法進(jìn)行廣泛調(diào)查，以及綜合見解和未來研究方向的概述。

2 背景

背景部分介紹了3D點(diǎn)云應(yīng)用領(lǐng)域中公開可訪問的數(shù)據(jù)集的重要性，這些數(shù)據(jù)集對(duì)于分析和比較各種模型至關(guān)重要。研究人員專門設(shè)計(jì)了各種數(shù)據(jù)集，包括用于3D形狀分類、3D物體檢測(cè)和3D點(diǎn)云分割等任務(wù)的數(shù)據(jù)集。這些數(shù)據(jù)集分為真實(shí)世界和合成數(shù)據(jù)集兩類，前者包含不同程度的遮擋和背景噪聲，而后者則提供了一個(gè)受控環(huán)境進(jìn)行實(shí)驗(yàn)。此外，介紹了在文獻(xiàn)中用于評(píng)估基于深度學(xué)習(xí)的3D點(diǎn)云處理任務(wù)性能的不同評(píng)估指標(biāo)，包括整體精度（OA）、平均類別精度（mAcc）、平均交集聯(lián)合（mIoU）和平均平均精度（mAP）。這些指標(biāo)提供了對(duì)深度學(xué)習(xí)模型在不同3D點(diǎn)云處理任務(wù)中表現(xiàn)的量化評(píng)估。選擇合適的指標(biāo)取決于特定任務(wù)和所需評(píng)估性能方面的要求。

3 三維形狀分類的深度學(xué)習(xí)

在3D形狀分類的深度學(xué)習(xí)方法中，主要有兩類方法：投影方法和直接點(diǎn)云方法。投影方法包括多視角和體積圖像方法，利用2D圖像處理技術(shù)進(jìn)行分類。直接點(diǎn)云方法則直接處理輸入的點(diǎn)云數(shù)據(jù)以生成稀疏表示。投影方法又分為Multi-View Based Methods和Volumetric-Based Methods兩種。

Multi-View Based Methods通過多視角捕獲3D形狀的投影，并從每個(gè)視角獨(dú)立提取特征，然后將這些特征融合以準(zhǔn)確分類形狀。這種方法的代表是Multi-View CNN (MVCNN)，它從不同視角捕獲3D形狀，并通過CNN從每個(gè)視角獨(dú)立提取特征。另一種方法是Group-View CNN (GVCNN)，它在池化過程中將分組和單個(gè)視角信息結(jié)合起來，展現(xiàn)出與MVCNN相比更高的準(zhǔn)確性。

Volumetric-Based Methods將3D形狀表示為3D體素網(wǎng)格，使用3D體素卷積，其中每個(gè)體素表示3D空間中的一個(gè)點(diǎn)是否被對(duì)象占據(jù)。這種方法的代表是VoxNet，它將3D點(diǎn)云數(shù)據(jù)與3D CNN結(jié)合起來處理。另一種方法是Octree-based CNN (O-CNN)，它通過使用一組不平衡八叉樹對(duì)3D點(diǎn)云數(shù)據(jù)進(jìn)行分層分區(qū)，實(shí)現(xiàn)了對(duì)相關(guān)區(qū)域的內(nèi)存分配，從而使得可以使用具有高分辨率的深度網(wǎng)絡(luò)。

直接點(diǎn)云方法將輸入的點(diǎn)云數(shù)據(jù)進(jìn)行處理以生成稀疏表示。這些方法分為點(diǎn)級(jí)MLP、基于卷積的和基于圖的方法。點(diǎn)級(jí)MLP方法通過共享的MLP處理每個(gè)點(diǎn)，然后通過對(duì)稱聚合函數(shù)對(duì)局部特征進(jìn)行聚合以獲得全局特征。其中的代表是PointNet和PointNet++，它們分別通過處理每個(gè)點(diǎn)并通過max-pooling層進(jìn)行全局特征提取，或者通過引入分層結(jié)構(gòu)以捕獲更細(xì)的幾何結(jié)構(gòu)。

基于卷積的方法使用卷積操作處理3D點(diǎn)云數(shù)據(jù)。其中，PointCNN通過學(xué)習(xí)X變換和排列輸入點(diǎn)特征的權(quán)重來解決無序結(jié)構(gòu)的問題，EdgeConv層則用于從每個(gè)點(diǎn)及其鄰居中提取邊緣特征。而ConvPoint引入了一個(gè)密集的加權(quán)函數(shù)來定義詳細(xì)和自適應(yīng)的卷積核。

圖形方法將點(diǎn)云轉(zhuǎn)換為全面的圖，避免了需要體素化的問題。這些方法利用圖中點(diǎn)之間的復(fù)雜關(guān)系，表示點(diǎn)云中的每個(gè)點(diǎn)為圖中的一個(gè)頂點(diǎn)，邊連接在附近的點(diǎn)之間，以分析空間關(guān)系，從而創(chuàng)建一個(gè)包含原始點(diǎn)云幾何特征的圖。

4 3D PC分割的深度學(xué)習(xí)

3D點(diǎn)云分割任務(wù)需要對(duì)點(diǎn)云數(shù)據(jù)中的幾何結(jié)構(gòu)和細(xì)節(jié)進(jìn)行全面理解。根據(jù)對(duì)象的概念級(jí)別,點(diǎn)云分割可以分為三類:

語義分割(場(chǎng)景級(jí)):將點(diǎn)云中的每個(gè)點(diǎn)分類到預(yù)定義的類別中,實(shí)現(xiàn)高層次的場(chǎng)景理解。

實(shí)例分割(對(duì)象級(jí)):識(shí)別并區(qū)分點(diǎn)云中的每個(gè)對(duì)象,區(qū)分相同語義類中的不同對(duì)象實(shí)例。

部件分割(部件級(jí)):將每個(gè)對(duì)象細(xì)分為不同的部件,提供對(duì)象層次更詳細(xì)的分割。

這三種分割類別對(duì)應(yīng)不同程度的抽象,從場(chǎng)景級(jí)上下文到對(duì)象識(shí)別和細(xì)粒度部件分割。

深度學(xué)習(xí)為點(diǎn)云分割提供了許多有效方法,主要包括基于投影、直接點(diǎn)云、基于圖卷積神經(jīng)網(wǎng)絡(luò)等方式。其中,語義分割方法包括投影法、直接點(diǎn)云法等;實(shí)例分割包含基于提議和無提議兩類;部件分割面臨對(duì)象形狀和部件邊界不明確的困難。表3匯總了使用深度學(xué)習(xí)進(jìn)行工業(yè)系統(tǒng)缺陷分割的結(jié)果。

5 總結(jié)

這篇論文全面調(diào)研和討論了近年來基于深度學(xué)習(xí)的點(diǎn)云分類和分割方法。引言部分概述了點(diǎn)云及其應(yīng)用的重要性，突出了處理這種獨(dú)特?cái)?shù)據(jù)形式所面臨的挑戰(zhàn)。論文全面討論了用于對(duì)象分類和分割的公開可用的3D點(diǎn)云數(shù)據(jù)集。綜述論文涵蓋了各種基于深度學(xué)習(xí)的方法，將其分類為基于視圖的方法、基于體積的方法和直接點(diǎn)云方法。論文對(duì)這些現(xiàn)有方法的性能進(jìn)行了比較，提供了對(duì)其在工業(yè)系統(tǒng)中優(yōu)勢(shì)和局限性的見解。最后，討論部分探討了該領(lǐng)域的前景和潛在研究方向，有助于全面了解基于深度學(xué)習(xí)的點(diǎn)云分析的進(jìn)展和挑戰(zhàn)。點(diǎn)云分類和分割方法在各種實(shí)際場(chǎng)景中都有應(yīng)用，包括室內(nèi)環(huán)境、道路、鐵路、建筑等。然而，這些場(chǎng)景的多樣性使得確定大量點(diǎn)云分類方法的具體優(yōu)勢(shì)存在挑戰(zhàn)。因此，研究人員面臨著選擇與特定場(chǎng)景要求相符的分類算法的任務(wù)，強(qiáng)調(diào)了需要適應(yīng)實(shí)際條件的重要性。正如前文所述，這一挑戰(zhàn)進(jìn)一步強(qiáng)調(diào)了適當(dāng)數(shù)據(jù)集的稀缺性的問題。研究人員需要根據(jù)場(chǎng)景的特定特征選擇適當(dāng)?shù)姆诸愃惴ǖ谋匾酝伙@了該領(lǐng)域數(shù)據(jù)集短缺問題的持續(xù)性。這指向了擴(kuò)大和多樣化數(shù)據(jù)集的重要性，以更好地評(píng)估和改進(jìn)點(diǎn)云分類方法在不同實(shí)際場(chǎng)景中的有效性。

審核編輯：黃飛