GO-Surf: 用于快速、高保真RGB-D表面重建的神經(jīng)特征網(wǎng)格優(yōu)化

摘要

我們提出了GO-Surf，一種直接的特征網(wǎng)格優(yōu)化方法，用于從RGB-D序列中準(zhǔn)確和快速地重建表面。我們用一個(gè)學(xué)習(xí)過的分層特征體素網(wǎng)格對底層場景進(jìn)行建模，該網(wǎng)格封裝了多層次的幾何和外觀局部信息。特征向量被直接優(yōu)化，以便在三線插值后，由兩個(gè)淺層MLP解碼為有符號的距離和輻射度值，并通過體積渲染進(jìn)行渲染，使合成的RGB/深度值與觀察到的RGB/深度值之間的差異最小。我們的監(jiān)督信號--RGB、深度和近似的SDF--可以直接從輸入圖像中獲得，不需要任何融合或后處理。我們制定了一個(gè)新的SDF梯度正則化項(xiàng)，鼓勵表面光滑和孔洞填充，同時(shí)保持高頻細(xì)節(jié)。GO-Surf可以在15-45分鐘內(nèi)優(yōu)化1-2K幀的序列，比基于MLP表示的最相關(guān)方法NeuralRGB-D的速度提高了60倍，同時(shí)在標(biāo)準(zhǔn)基準(zhǔn)上保持同等的性能。

項(xiàng)目頁面：https://jingwenwang95.github. io/go_surf。

主要貢獻(xiàn)：

GO-Surf將可學(xué)習(xí)的特征網(wǎng)格引入RGB-D序列的SDF重建中，以實(shí)現(xiàn)：

(i) 在交互式運(yùn)行時(shí)間內(nèi)快速優(yōu)化

(ii) 高精度的表面重建。

我們還首次在體素網(wǎng)格的背景下應(yīng)用Eikonal和平滑度正則化條款。

主要方法

給定一個(gè)輸入的RGB-D序列，GO-Surf通過直接優(yōu)化一個(gè)多分辨率的特征網(wǎng)格和有符號的距離值以及顏色預(yù)測來獲得高質(zhì)量的三維表面重建。我們在有符號距離值上制定了一個(gè)新的平滑度先驗(yàn)，從而在保留細(xì)節(jié)的同時(shí)，改善了孔洞填充和平滑度特性。我們的優(yōu)化比基于MLP的方法快×60倍。

GO-Surf使用多級特征網(wǎng)格和兩個(gè)淺層MLP解碼器。給定一個(gè)沿射線的采樣點(diǎn)，每個(gè)網(wǎng)格通過三線插值進(jìn)行查詢。多級特征被串聯(lián)并解碼為SDF，并用于計(jì)算樣本權(quán)重。顏色是由最細(xì)的網(wǎng)格單獨(dú)解碼的。損失項(xiàng)被應(yīng)用于SDF值，并渲染深度和顏色。在每個(gè)查詢點(diǎn)計(jì)算SDF的梯度，并用于Eikonal和平滑度正則化。

主要結(jié)果

審核編輯 ：李倩