介紹一種神經(jīng)場成對配準的技術(shù)NeRF2NeRF

大家好，今天要介紹的論文是來自多倫多大學和谷歌研究室的NeRF2NeRF：神經(jīng)輻射場的配對配準。

摘要

我們介紹了一種神經(jīng)場成對配準的技術(shù)，它擴展了基于優(yōu)化的經(jīng)典局部配準（即ICP）以操作神經(jīng)輻射場（NeRF）。NeRF不分解光照和顏色，因此為了使配準不受光照影響，我們引入了 "表面場 "的概念（Surface Field）--從預先訓練的NeRF模型中提煉出來的場，用于測量一個點在物體表面的概率。

然后，我們將nerf2nerf配準作為一個穩(wěn)健的優(yōu)化，迭代地尋求一個剛性的變換，使兩個場景的表面場對齊。我們通過引入預訓練的NeRF場景數(shù)據(jù)集來評估我們技術(shù)的有效性--我們的合成場景能夠進行定量評估并與經(jīng)典的配準技術(shù)進行比較，而我們的真實場景則證明了我們的技術(shù)在真實世界場景中的正確性。

主要貢獻

提出了一種對包含同一物體的兩個場景的NeRFs進行配準的方法。

引入表面場作為一個點在物體表面的概率進行配準。

在幾個相應的點上對準初始化后，使用NeRF場進行高精度優(yōu)化。

主要方法：

使用NeRF進行定位主要存在以下問題：

由于色彩信息在不同場景中不一致導致照明和顏色不能分開。

由于物體內(nèi)部的密度場是有噪聲的，沒有對閉塞區(qū)的密度進行監(jiān)測的方法。

本文使用的方法是通過使用響應對象表面的場的概率來保持一致性，用以配準兩個不同神經(jīng)場下的場景。

表面場：表面場的主要作用是對渲染過程中透明度變化較大的區(qū)域做出反應，假設相機的位置在物體之外，搜索來自每個相機的射線，計算每個參考相機的 "短間隔內(nèi)的透明度變化"，并使用最大值作為"表面場"。最大值被用作表面場。

設計了一個目標函數(shù)，使兩個場景之間的坐標變換[R,t]得到優(yōu)化，這里使用場景之間對應點的表面場值的殘差：

用高斯分布對表面場進行卷積，并對其進行平滑處理。

主要結(jié)果

審核編輯：劉清