研究人員們提出了一系列新的點(diǎn)云處理模塊

點(diǎn)云是三維深度學(xué)習(xí)中一種重要的數(shù)據(jù)類(lèi)型，研究人員們一直致力于高效準(zhǔn)確的處理點(diǎn)云，并基于點(diǎn)云實(shí)現(xiàn)分類(lèi)、檢測(cè)和分割等一系列高級(jí)計(jì)算機(jī)視覺(jué)任務(wù)。自從PointNet以來(lái)，研究人員們提出了眾多基于PointNet的模型和模型變體，極大的拓展了計(jì)算機(jī)視覺(jué)對(duì)于三維點(diǎn)云數(shù)據(jù)的處理能力。

但是由于點(diǎn)云的表示和處理方法對(duì)于計(jì)算資源的消耗使得網(wǎng)絡(luò)模型無(wú)法加深，同時(shí)全局與局部的信息缺乏多層級(jí)地交互也限制了模型的表達(dá)能力。

為了探索這些問(wèn)題的解決辦法、來(lái)自倫敦大學(xué)學(xué)院的研究人員們提出了一系列新的點(diǎn)云處理模塊，從效率、信息共享和點(diǎn)云卷積操作等方面進(jìn)行了研究，得到了更寬、更深、更快效率更高的點(diǎn)云處理網(wǎng)絡(luò)，讓更深的點(diǎn)云深度學(xué)習(xí)模型成為可能。

與圖像領(lǐng)域的深度學(xué)習(xí)架構(gòu)相比，針對(duì)點(diǎn)云的處理手段還比較簡(jiǎn)單。無(wú)論是模塊的多樣性和網(wǎng)絡(luò)的寬度與深度上，點(diǎn)云網(wǎng)絡(luò)的架構(gòu)都還有很大的發(fā)展空間。例如PointNet和PointNet++這樣的模型架構(gòu)隨讓證明了神經(jīng)網(wǎng)絡(luò)的有效性，但是對(duì)于計(jì)算資源的巨大消耗成為了制約這類(lèi)架構(gòu)發(fā)展的限制。

網(wǎng)絡(luò)內(nèi)部的每一個(gè)節(jié)點(diǎn)都需要攜帶所有鄰域的特征使得存儲(chǔ)資源消耗過(guò)大，過(guò)深的網(wǎng)絡(luò)無(wú)法高效的實(shí)現(xiàn)。而在圖像領(lǐng)域的發(fā)展經(jīng)驗(yàn)表明，更深更寬的網(wǎng)絡(luò)與模型的精度有著直接的聯(lián)系。研究人員在這一工作中通過(guò)引入三方面的新結(jié)構(gòu)來(lái)改善點(diǎn)云處理網(wǎng)絡(luò)的精度、降低計(jì)算資源的消耗，同時(shí)提升了推理階段的運(yùn)行速度。

多分辨率

研究人員引入了多分辨率用于在多個(gè)不同的尺度上處理多尺度網(wǎng)絡(luò)結(jié)構(gòu)，大幅度降低了內(nèi)存占用。在PointNet++中利用不斷增加的聚類(lèi)半徑來(lái)對(duì)原始點(diǎn)云處理多尺度信息。而在這篇文章中，研究人員直接在網(wǎng)絡(luò)早期的處理階段使用了多個(gè)不同的聚類(lèi)半徑來(lái)處理，使得模型可以混合多個(gè)尺度的信息，理解多尺度上下文內(nèi)容并減少計(jì)算資源的消耗。

研究人員使用了以下采樣的方法來(lái)對(duì)原始點(diǎn)云進(jìn)行處理，而后進(jìn)行分組實(shí)現(xiàn)了不同尺度的處理。下圖顯示了多分辨率的處理方式不僅增加了某個(gè)點(diǎn)的領(lǐng)域感受野，同時(shí)不增加內(nèi)存占用，更好的捕獲全局的內(nèi)容信息。

圖中紅色的點(diǎn)表示綠色點(diǎn)增加的感受野

點(diǎn)卷積模塊

為了更加高效的獲取鄰域信息，研究人員將圖像鄰域信息的卷積概念延伸到了點(diǎn)云領(lǐng)域，提出了點(diǎn)卷積概念，在訓(xùn)練過(guò)程中更有效地混合鄰域信息。相較于PointNet++減小了67%的內(nèi)存占用，實(shí)現(xiàn)了41%的速度提升。其中的關(guān)鍵在于針對(duì)分組操作在前向傳播的過(guò)程中將中間結(jié)果及時(shí)釋放，利用單層神經(jīng)網(wǎng)絡(luò)大大加速了處理過(guò)程。

上面的算法顯示了前向和反向傳播的過(guò)程，在內(nèi)存占用和速度上同時(shí)進(jìn)行了優(yōu)化。

卷積計(jì)算單元對(duì)于內(nèi)存占用的大幅下降使得更深的網(wǎng)絡(luò)成為可能。與先前的工作相比，這種結(jié)構(gòu)的網(wǎng)絡(luò)在深度增加時(shí)對(duì)計(jì)算資源需求增加地更為緩慢。

新的模型不僅在降低了初始化地內(nèi)存需求，當(dāng)層數(shù)增加時(shí)內(nèi)存的增加也較為緩慢。深度翻倍時(shí)模型地高分辨和低分辨部分地僅僅增加了16.8%和2.3%。

優(yōu)化信息流

為了綜合各個(gè)尺度下的信息實(shí)現(xiàn)更有效的點(diǎn)云感知，研究人員對(duì)模型進(jìn)行了更深入的分析和改進(jìn)。首先為了保證在模型加深時(shí)網(wǎng)絡(luò)的穩(wěn)定性，研究人員在模型中添加了殘差結(jié)構(gòu)，在提高訓(xùn)練效果的同時(shí)避免了梯度消失的問(wèn)題。

為了更好地利用多分辨率的信息，研究人員利用了交叉分辨率鏈接來(lái)為不同分辨率下的分支提供了信息溝通的渠道，使得高、中、低各個(gè)分辨率的信息得以有效在訓(xùn)練過(guò)程中交換，每個(gè)分辨率在專(zhuān)注于學(xué)習(xí)自身尺度信息的同時(shí)與其他分辨率進(jìn)行信息交換，更有效地提升了訓(xùn)練和速度和推理地精度。

最終利用鄰域卷積、多分辨率交叉互聯(lián)和多分辨率點(diǎn)云處理等基礎(chǔ)模塊構(gòu)建出了可堆疊的深度卷積點(diǎn)云網(wǎng)絡(luò)。

研究人員在ShapeNet-Part，ScanNet，PartNet等數(shù)據(jù)集上對(duì)算法進(jìn)行了驗(yàn)證，并利用平均IOU和部分IOU等指標(biāo)評(píng)測(cè)了算法對(duì)于點(diǎn)云目標(biāo)分割的表現(xiàn)。研究發(fā)現(xiàn)新提出的卷積點(diǎn)云處理結(jié)構(gòu)對(duì)于更為復(fù)雜的數(shù)據(jù)表現(xiàn)更為優(yōu)秀。

首先多分辨率結(jié)構(gòu)為模型提供了不同尺度上的信息理解，對(duì)于不同分辨率的信息混合可以增加對(duì)于復(fù)雜數(shù)據(jù)的感知，更為關(guān)鍵的是在模型同時(shí)還在效率上實(shí)現(xiàn)了提升。在反向傳播階段時(shí)間減少了62%。

其次，交叉連接部分可以看作是不同分辨率間的信息互補(bǔ)，在很小的內(nèi)存開(kāi)銷(xiāo)和速度延遲下，能在最復(fù)雜的PartNet數(shù)據(jù)集上實(shí)現(xiàn)更好的分割精度。

最后，內(nèi)存高效的卷積利用單層感知機(jī)實(shí)現(xiàn)點(diǎn)云特征提取移除了中間層的激活，并利用多個(gè)相同單元進(jìn)行堆疊，不僅提升了2.6~3%的IOU提升，更減小了67%的內(nèi)存占用和41~68%的時(shí)間消耗。

最重要的，由于新的網(wǎng)絡(luò)模塊對(duì)于內(nèi)存的消耗減少，使得更深的點(diǎn)云處理網(wǎng)絡(luò)成為可能，通過(guò)殘差結(jié)構(gòu)和交叉互聯(lián)保證了深度網(wǎng)絡(luò)的穩(wěn)定性和信息的流動(dòng)過(guò)程。

下圖展示了模型與PointNet++比較的一些結(jié)果，可以看到深度卷積點(diǎn)云網(wǎng)絡(luò)在分割任務(wù)中的的誤差更?。?/p>

基于本文提出模塊重新構(gòu)建的網(wǎng)絡(luò)模型在IOU和計(jì)算資源利用率上均有大幅度提升：