CVPR2023 RobustNeRF: 從單張圖像生成3D形狀

簡介：神經(jīng)輻射場（NeRF）學(xué)習(xí)時數(shù)據(jù)包含不在圖像拍攝期間持續(xù)存在的干擾物（如移動物體、光照變化、陰影）時，會出現(xiàn)偽影。為了處理這些干擾物，本工作提出一種用于NeRF訓(xùn)練的魯棒性估計，將訓(xùn)練數(shù)據(jù)中的干擾物建模為優(yōu)化問題的離群值。我們的方法成功地從場景中去除了離群值，并在合成和真實(shí)場景上改進(jìn)了目前NeRF方法的結(jié)果。本方法只需很少的超參數(shù)就能加入到各種類型的NeRF算法中。

介紹

盡管NeRF在新視角合成方面表現(xiàn)出色并且方法直接，但它隱藏了一些假設(shè)。由于模型通常是為了最小化在RGB顏色空間中的誤差而訓(xùn)練的，因此圖像的光照一致性非常重要——從相同視角拍攝的兩張照片應(yīng)該是相同的，除了噪聲。應(yīng)該手動保持相機(jī)的焦點(diǎn)、曝光、白平衡和ISO固定。

圖1

然而，正確配置相機(jī)并不是捕捉高質(zhì)量NeRF的全部要求，還有一個重要的要求是避免干擾物：即在整個捕捉過程中并不持續(xù)存在的任何干擾物體。干擾物以多種形式出現(xiàn)，從拍攝者影子，到突然出現(xiàn)的寵物等。手動去除干擾物是繁瑣的，需要逐像素的標(biāo)記。檢測干擾物也很繁瑣，因為典型的NeRF場景是從數(shù)百張輸入圖像中訓(xùn)練的，而干擾物的類型事先是未知的。如果忽略干擾物，重建場景的質(zhì)量會顯著降低，如圖1。

在通常使用的nerf數(shù)據(jù)中，一個場景往往無法從同一視角捕捉多幅圖像，這使得數(shù)學(xué)建模干擾物變得困難。更具體地說，雖然視角相關(guān)效應(yīng)（View-Dependent）是使NeRF看起來逼真的因素，但模型如何區(qū)分干擾物和視角相關(guān)效果呢？

盡管存在挑戰(zhàn)，研究界已經(jīng)設(shè)計了幾種方法來克服這個問題：

如果已知干擾物屬于特定類別（例如人），可以使用預(yù)訓(xùn)練的語義分割模型將其去除，這個過程不適用于“意外”干擾物，如陰影。

可以將干擾物建模為每張圖像的瞬時的現(xiàn)象，并控制瞬時/永久建模的平衡，就像NeRF in the wild一樣處理，但是這個優(yōu)化問題是困難的。

可以將數(shù)據(jù)建模為時間（即高幀率視頻）并將場景分解為靜態(tài)和動態(tài)（即干擾物）兩部分，但這顯然僅適用于視頻捕捉而不是照片收集捕捉。

相反，本工作通過將它們建模為NeRF優(yōu)化中的離群值來解決干擾物問題。我們從魯棒性估計的角度進(jìn)行了分析，從而能理解干擾物的特征，并設(shè)計出一種不僅可以簡單實(shí)現(xiàn)，而且更有效的方法，需要很少或不需要超參數(shù)調(diào)整，并實(shí)現(xiàn)了SOTA的性能。

方法

傳統(tǒng)的NeRF訓(xùn)練損失在捕獲光照一致的場景方面非常有效，然而，當(dāng)場景中存在不在整個拍攝場景中持續(xù)存在的元素時會發(fā)生什么？這種場景的簡單示例包括只在某些觀察圖像的一部分中存在的對象，或者可能不在所有觀察圖像中的相同位置。例如，圖2描繪了一個包含持久對象（卡車）以及幾個瞬時對象（如人和狗）的2D場景。盡管來自三臺相機(jī)的藍(lán)色光線與卡車相交，但來自相機(jī)1和3的綠色和橙色光線與瞬時對象相交。對于視頻捕捉和時空NeRF模型，持久對象組成了場景的“靜態(tài)”部分，而其余部分被稱為“動態(tài)”。

圖2

對離群值的敏感性

對于Lambertian場景，光照一致的結(jié)構(gòu)是視角無關(guān)的，因為場景輻射僅取決于入射光線。對于這種場景，視角相關(guān)NeRF模型，通過最小化RGB L2 Loss進(jìn)行訓(xùn)練，可以產(chǎn)生解釋瞬時對象的局部最優(yōu)解。圖2右解釋了這一點(diǎn)，出射顏色對應(yīng)于離群值的記憶顏色——即視角相關(guān)顏色。這種模型利用模型的視角相關(guān)容量來過擬合訓(xùn)練數(shù)據(jù)，有效地記憶瞬時對象。可以改變模型以消除對的依賴性，但L2損失仍然有問題，因為最小二乘（LS）估計對離群值或重尾噪聲分布敏感。

在更自然的條件下，放棄Lambertian假設(shè)，問題變得更加復(fù)雜，因為非Lambertian反射現(xiàn)象和離群值d都可以被解釋為視角相關(guān)輻射。雖然我們希望模型能夠捕捉光照一致的視角相關(guān)輻射，但理想情況下，離群值和其他瞬時現(xiàn)象應(yīng)該被忽略。在這種情況下，使用L2損失進(jìn)行優(yōu)化會導(dǎo)致重建中出現(xiàn)明顯的錯誤，如圖1 MipNeRF360所示。這種問題在NeRF模型擬合中普遍存在，特別是在不受控的環(huán)境中，具有復(fù)雜的反射、非剛性或獨(dú)立運(yùn)動的物體。

對離群值的魯棒性

通過語義分割實(shí)現(xiàn)的魯棒性

在NeRF模型優(yōu)化期間減少離群值污染的一種方法是依賴于一個Mask，該Mask指定給定像素是否為離群值，并且不計算該像素的Loss，在實(shí)際應(yīng)用中，可以使用一個預(yù)訓(xùn)練的語義分割網(wǎng)絡(luò)提供mask。例如，NeRF in the Wild使用語義分割模型來刪除被人占據(jù)的像素，因為在旅游照片數(shù)據(jù)集中，短暫存在的人群為離群值。Urban Radiance Fields分割了天空像素，這種方法的明顯問題在于需要一個可以檢測任意干擾物的分割網(wǎng)絡(luò)。

Robust Loss

本文提出了一種用于NeRF模型擬合的帶有修剪最小二乘（LS）損失的迭代重新加權(quán)最小二乘（IRLS）形式，如圖3所示。

圖3

IRLS是一種廣泛使用的用于魯棒性估計的方法，它涉及求解一系列加權(quán)最小二乘問題，這些問題的權(quán)重根據(jù)逐漸減小離群值的影響而調(diào)整。但是為NeRF優(yōu)化選擇合適的權(quán)重函數(shù)（即Kernel函數(shù)，權(quán)重函數(shù)）是不容易的，這主要是因為視角相關(guān)輻射現(xiàn)象與離群值之間的相似性。一個可能的方法是通過學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)權(quán)重函數(shù)來解決這個問題，但是生成足夠的標(biāo)注訓(xùn)練數(shù)據(jù)比較困難。相反，本文所提出的Kerner函數(shù)利用離群值結(jié)構(gòu)中的先驗，利用了修剪最小二乘估計的簡潔，便達(dá)到了目標(biāo)效果。

Robust Kernel

RobustNeRF提出一種用于迭代加權(quán)最小二乘優(yōu)化的權(quán)重函數(shù)（圖3），能既簡單又捕獲了用于NeRF優(yōu)化的有用歸納誤差。為了簡單起見，RobustNeRF選擇了一種具有直觀參數(shù)的二進(jìn)制權(quán)重函數(shù)，它在模型擬合過程中自然地適應(yīng)，以便快速學(xué)習(xí)非離群值的細(xì)粒度圖像細(xì)節(jié)。Robust Kernel捕獲了典型離群值的結(jié)構(gòu)化性質(zhì)，根據(jù)結(jié)構(gòu)先驗，干擾物通常具有局部連續(xù)性，因此離群值預(yù)計占據(jù)圖像的大塊連續(xù)區(qū)域（例如，從旅游照片數(shù)據(jù)集中分割出一個人的輪廓）。

實(shí)驗

與Mip-NeRF 360比較

在自然場景中，RobustNeRF通常比MipNeRF360的變體在PSNR上高出1.3到4.7 dB。由于、和Charbonnier損失同等對待所有像素，MipNeRF360被迫將干擾物表示為具有視角相關(guān)外觀的“云”而不是忽略它們。我們發(fā)現(xiàn)當(dāng)干擾物在多個幀中保持靜止時，云最為明顯。相比之下，RobustNeRF的損失將干擾物像素隔離出來，并將它們的權(quán)重設(shè)為零。為了確定重建準(zhǔn)確性的上限，我們使用Charbonnier損失在每個場景的不包含干擾物的版本上訓(xùn)練MipNeRF360，這些圖像從（大致）相同的視角拍攝。RobustNeRF在訓(xùn)練沒有干擾物的幀時，實(shí)現(xiàn)了幾乎相同的性能，見圖4。

圖4

與D2NeRF比較

定量上，RobustNeRF與D2NeRF相當(dāng)，具體取決于場景中離群的對象數(shù)量。在Statue和Android中，分別移動了一個和三個非剛性對象。D2NeRF能夠?qū)@些對象進(jìn)行建模，因此可以將它們與場景的靜態(tài)內(nèi)容分開。在其余的場景中，使用了更多干擾物體，包含100到150個唯一的非靜態(tài)對象——這對于D2NeRF來說太多了，無法有效地建模。因此，在其靜態(tài)表示中出現(xiàn)了偽影，類似于MipNeRF360產(chǎn)生的偽影。相比之下，RobustNeRF將非靜態(tài)內(nèi)容識別為離群值，并在重建過程中省略它。盡管這兩種方法使用了類似數(shù)量的參數(shù)，但D2NeRF的內(nèi)存使用峰值比RobustNeRF高2.3倍，而在批處理大小歸一化時高出37倍。這是模型結(jié)構(gòu)差異的直接結(jié)果D2NeRF專門用于同時建模靜態(tài)和動態(tài)內(nèi)容，因此具有更高的復(fù)雜性。

表1