RayDF：實時渲染！基于射線的三維重建新方法

方法流程：

圖 1 RayDF的整體流程和組成部分

一、Introduction

在機(jī)器視覺和機(jī)器人領(lǐng)域的許多前沿應(yīng)用中，學(xué)習(xí)準(zhǔn)確且高效的三維形狀表達(dá)是十分重要的。然而，現(xiàn)有的基于三維坐標(biāo)的隱式表達(dá)在表示三維形狀或是渲染二維圖像時，需要耗費昂貴的計算成本；相比之下，基于射線的方法則能夠高效地推斷出三維形狀。但是，已有的基于射線的方法沒有考慮到多視角下的幾何一致性，以至于在未知視角下難以恢復(fù)出準(zhǔn)確的幾何形狀。

針對這些問題，本論文提出一個全新的維護(hù)了多視角幾何一致性的基于射線的隱式表達(dá)方法RayDF。該方法基于簡單的射線-表面距離場（ray-surface distance field），通過引入全新的雙射線可見性分類器（dual-ray visibility classifier）和多視角一致性優(yōu)化模塊（multi-view consistency optimization module），學(xué)習(xí)得到滿足多視角幾何一致的射線-表面距離。實驗結(jié)果表明，改方法在三個數(shù)據(jù)集上實現(xiàn)了優(yōu)越的三維表面重建性能，并達(dá)到了比基于坐標(biāo)的方法快1000倍的渲染速度（見Table 1）。

主要貢獻(xiàn)如下：

采用射線-表面距離場來表示三維形狀，這個表達(dá)比現(xiàn)有的基于坐標(biāo)的表達(dá)更高效。

設(shè)計了全新的雙射線可見性分類器，通過學(xué)習(xí)任意一對射線的空間關(guān)系，使得所學(xué)的射線-表面距離場能夠在多視角下保持幾何一致性。

在多個數(shù)據(jù)集上證明了該方法在三維形狀重建上的準(zhǔn)確性和高效性。

二、Method

2.1 Overview

如圖1所示，RayDF包含兩個網(wǎng)絡(luò)及一個優(yōu)化模塊。對于主網(wǎng)絡(luò)ray-surface distance network，只需輸入一條射線，即可得到射線起點到射線打到的幾何表面點之間的距離值。其中，如圖2所示，RayDF使用一個包圍三維場景的球?qū)斎氲纳渚€進(jìn)行參數(shù)化，將參數(shù)化得到的四維球坐標(biāo)（入射點和出射點）作為網(wǎng)絡(luò)輸入。對于輔助網(wǎng)絡(luò)dual-ray visibility classifier，輸入一對射線和一個幾何表面點，預(yù)測兩條射線之間的相互可見性。這個輔助網(wǎng)絡(luò)在訓(xùn)練好之后，將在后續(xù)multi-view consistency optimization module中起到關(guān)鍵作用。

圖 2 射線-表面距離場的射線參數(shù)化及網(wǎng)絡(luò)結(jié)構(gòu)

2.2 Dual-ray Visibility Classifier

該方法中的輔助網(wǎng)絡(luò)是一個預(yù)測輸入的兩條射線是否能同時看到一個表面點的二元分類器。如圖3所示，將輸入的兩條射線所得特征取平均值，以確保預(yù)測的結(jié)果不受兩條射線的順序所影響。同時，將表面點進(jìn)行單獨編碼得到的特征拼接在射線特征之后，以增強(qiáng)射線特征，從而提升分類器的準(zhǔn)確性。

圖 3 雙射線可見性分類器的框架結(jié)構(gòu)

2.3 Multi-view Consistency Optimization

以設(shè)計的主網(wǎng)絡(luò)ray-surface distance network和輔助網(wǎng)絡(luò)dual-ray visibility classifier為鋪墊，引入多視角一致性優(yōu)化這一關(guān)鍵模塊，對兩個網(wǎng)絡(luò)進(jìn)行two-stage訓(xùn)練。

(1) 首先為輔助網(wǎng)絡(luò)dual-ray visibility classifier構(gòu)造用于訓(xùn)練的射線對。對于一張圖片中的一條射線（對應(yīng)圖片中的一個像素），通過其ray-surface distance可知對應(yīng)的空間表面點，將其投影到訓(xùn)練集中的剩余視角下，即得到另一個射線；而該射線有其對應(yīng)的ray- surface distance，文章設(shè)置閾值10毫米來判斷兩條射線是否相互可見。

(2) 第二階段是訓(xùn)練主網(wǎng)絡(luò)ray-surface distance network使其預(yù)測的距離場滿足多視角一致性。如圖4所示，對于一條主射線及其表面點，以該表面點為球心均勻采樣，得到若干條multi-view ray。將主射線與這些multi-view ray一一配對，通過訓(xùn)練好的dual-ray visibility classifier即可得到其相互可見性。再通過ray-surface distance network預(yù)測這些射線的ray-surface distance；若主射線與某一條采樣射線是相互可見的，那么兩條射線的ray-surface distances計算得到的表面點應(yīng)是同一個點；依此設(shè)計了對應(yīng)的損失函數(shù)，并對主網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最終可以使ray-surface distance field滿足多視角一致性。

圖 4 多視角射線采樣

2.4 Surface Normal Derivation and Outlier Points Removal

由于在場景表面邊緣處的深度值往往存在突變（存在不連續(xù)性），而神經(jīng)網(wǎng)絡(luò)又是連續(xù)函數(shù)，上述ray-surface distance field在表面邊緣處容易預(yù)測出不夠準(zhǔn)確的距離值，從而導(dǎo)致邊緣處的幾何表面存在噪聲。好在，設(shè)計的ray-surface distance field有一個很好的特性，如圖5所示，每個估計的三維表面點的法向量都可以通過網(wǎng)絡(luò)的自動微分以閉合形式輕松求出。因此，可以在網(wǎng)絡(luò)推理階段計算表面點的法向量歐氏距離，若該距離值大于閾值，則該表面點被視作離群點并剔除，從而得到干凈的三維重建表面。

圖 5 Surface normal計算

三、Experiments

為了驗證所提出方法的有效性，本文在三個數(shù)據(jù)集上進(jìn)行了實驗，分別是object-level的合成數(shù)據(jù)集Blender [1]、scene-level合成數(shù)據(jù)集DM-SR [2]、scene-level真實數(shù)據(jù)集ScanNet [3]。論文選取了七個baselines進(jìn)行性能對比，其中OF [4]/DeepSDF [5]/NDF [6]/NeuS [7]是基于坐標(biāo)的level-set方法、DS-NeRF [8]是有depth監(jiān)督的NeRF-based方法，LFN [9]和PRIF [10]是基于射線的兩個baselines。

由于RayDF方法很容易直接增加一個radiance分支來學(xué)習(xí)紋理，從而和上述支持預(yù)測radiance field的baselines進(jìn)行比較。因此，論文對比實驗分為兩組，其中，Group 1只預(yù)測distances （幾何），Group 2同時預(yù)測distances和radiances（幾何和紋理）。

3.1 Evaluation on Blender Dataset

從Table 2和圖6可以看出，在Group 1和2中，RayDF在表面重建上取得了更優(yōu)的結(jié)果，尤其是在最重要的 ADE 指標(biāo)上明顯優(yōu)于基于坐標(biāo)和射線的baselines。同時在radiance field rendering上，RayDF也取得了與DS-NeRF相當(dāng)?shù)男阅?，并?yōu)于LFN和PRIF。

圖 6 Blender數(shù)據(jù)集可視化對比

3.2 Evaluation on DM-SR Dataset

從Table 3可以看出，在最關(guān)鍵的 ADE 指標(biāo)上，RayDF超越了所有baselines。同時，在Group 2的實驗中，RayDF能夠在獲得高質(zhì)量的新視圖合成的同時，保證恢復(fù)出準(zhǔn)確的表面形狀（見圖7）。

圖 7 DM-SR數(shù)據(jù)集可視化對比

3.3 Evaluation on ScanNet Dataset

Table 4比較了RayDF和baselines在具有挑戰(zhàn)性的真實世界場景中的性能。在Group 1和2中，RayDF在幾乎所有評估指標(biāo)上都明顯優(yōu)于baselines，展示出了在恢復(fù)復(fù)雜的真實世界三維場景方面的明顯優(yōu)勢。

圖 8 ScanNet數(shù)據(jù)集可視化對比

3.4 Ablation Study

論文在Blender數(shù)據(jù)集上進(jìn)行了消融實驗，其中Table 5展示了在十分關(guān)鍵的dual-ray visibility classifier上的消融實驗結(jié)果。

如Table 5 (1)所示，如果沒有dual-ray visibility classifier的幫助，ray-surface distance field則會無法對新視角下的射線預(yù)測出合理的距離值（見圖9）。

在classifier的輸入中，選擇了輸入表面點坐標(biāo)來作為輔助，如Table 5 (2)和(3)所示，若選擇輸入表面點距離值作為輔助或是不提供輔助信息，分類器會獲得較低的準(zhǔn)確率和F1分?jǐn)?shù)，導(dǎo)致為ray-surface distance network提供的可見性信息不夠準(zhǔn)確，進(jìn)而預(yù)測出錯誤的距離值。

如Table 5 (4)所示，以非對稱的方式輸入一對射線，所訓(xùn)練得到的分類器準(zhǔn)確率較高，但F1分?jǐn)?shù)較低。這表明，這種分類器的魯棒性明顯低于用對稱輸入射線訓(xùn)練的分類器。

其他ablations可在論文及論文附錄中查看。

圖 9 使用與不使用分類器的可視化對比

四、Conclusion

總的來說，論文證明了通過使用基于射線的多視角一致性框架，確實可以高效、準(zhǔn)確地學(xué)習(xí)三維形狀表示。論文使用簡單的射線-表面距離場來表示三維形狀幾何圖形，并通過新穎的雙射線可見性分類器進(jìn)一步實現(xiàn)多視角幾何一致性。在多個數(shù)據(jù)集上都證明了RayDF方法具有極高的渲染效率和出色的性能。歡迎進(jìn)一步對RayDF框架進(jìn)行擴(kuò)展。更多可視化結(jié)果可在主頁查看：