Block nerf：可縮放的大型場景神經視圖合成

摘要

我們提出了 Block-NeRF，一種神經輻射場的變體，可以表示大規(guī)模的場景。具體來說，我們發(fā)現(xiàn)，當使用 NeRF 渲染跨越多個街區(qū)的城市規(guī)模場景時，將場景分解為單獨訓練的子 NeRF 至關重要。這種分解將渲染時間與場景大小分離，使渲染能夠擴展到任意大的場景，并允許對環(huán)境進行逐塊更新。我們采用了幾項架構更改，以使 NeRF 對在不同環(huán)境條件下數(shù)月捕獲的數(shù)據(jù)具有魯棒性。我們?yōu)槊總€單獨的 NeRF 添加了外觀嵌入、可學習的位姿細化和可控曝光，并引入了校準相鄰 NeRF 之間外觀的程序，以便它們可以無縫組合。我們從 280 萬張圖像中構建了一個 Block-NeRF 網格，以創(chuàng)建迄今為止最大的神經場景表示，能夠渲染舊金山的整個社區(qū)。

video： （click the picture to view）

主要貢獻

為了在大場景中應用神經輻射場（NeRF）模型，文章提出將大型場景分解為相互重疊的子場景 （block），每一個子場景分別訓練，在推理時動態(tài)結合相鄰 Block-NeRF 的渲染視圖。

文章在 mip-NeRF 的基礎上增加了外觀嵌入、曝光嵌入和位姿細化，以解決訓練數(shù)據(jù)橫跨數(shù)月而導致的環(huán)境變化和位姿誤差。

為了保證相鄰 Block-NeRF 的無縫合成，文章提出了在推理時迭代優(yōu)化這些 Block-NeRF 的輸入外觀嵌入以校準它們的渲染結果。

方法概述

神經輻射場 （NeRF）是使用神經網絡擬合輻射場，用于視圖渲染的方法。然而，傳統(tǒng)的 NeRF 很難被直接擴展到大場景應用。這是因為擬合大場景所需的神經網絡也會很大，這會導致訓練和推理渲染變得很困難。本文提出將大的場景劃分為數(shù)個相互重合的小場景 （block）。如下圖所示的丁字路口被劃分為三個小場景（黃圈），針對每一個小場景單獨訓練一個 Block-NeRF。推理時合并覆蓋目標視圖范圍的 Block-NeRF 渲染生成最終的視圖。

mip-NeRF 拓展

文章基于 mip-NeRF，但是由于訓練視圖在長達數(shù)月的時間內采集，不可避免地出現(xiàn)場景光照不同、相機曝光不同、視圖位姿存在誤差等問題。為了解決這些問題，文章在 mip-NeRF 的基礎上增加了外觀嵌入和曝光作為神經網絡的輸入（如下圖所示，其中 fσ 和 fc 分別為預測密度 σ 和顏色 RGB 的神經網絡，x 為場景中的三維坐標點，d 表示視角）。

訓練時使用生成式潛碼優(yōu)化的方法學習外觀嵌入，消除天氣光照等原因的影響。曝光則直接可以讀取采集記錄，只需對其進行正弦位置編碼即可。

與此同時，訓練視圖的采集跨越了多個駕駛段，這些駕駛軌跡之間不可避免地存在位姿誤差。Block-NeRF 訓練時還同時優(yōu)化每一個駕駛段的位姿偏移以降低位姿誤差帶來的影響。

街道視圖中存在汽車、行人等瞬時物體，然而場景渲染通常只關注建筑、街道等靜態(tài)結構。文章于是使用語義分割網絡對訓練視圖中的動態(tài)物體進行掩蔽，這樣神經輻射場就不會學習這些動態(tài)物體，而是只關注靜態(tài)場景結構。

有時目標視圖的相鄰 Block-NeRF 可能距離上很近，但并不在目標視圖的視野之內，文章在傳統(tǒng) NeRF 的兩個神經網絡 fσ 和 fc 之外，還增加了一個預測能見度的網絡 fv。給定三維坐標 x 和視角 d ， fv 預測該點在給定視角下的能見度。合成多個 Block-NeRF 的渲染時，能見度低于閾值的渲染不會被用于最終的合成。訓練時能見度可以由相應點的透光率作為監(jiān)督目標。

Block-NeRF 融合

為提高渲染效率，渲染目標視圖時文章僅融合：

中心點在閾值半徑內

且平均能見值高于閾值的 Block-NeRFs

滿足這兩個條件的 Block-NeRFs 以反距離加權的方式融合渲染視圖。這里的距離選擇相機到 Block-NeRFs 的二維空間距離。這樣的融合方法既保證了渲染真實度又能夠滿足時空一致性。

為了保證不同視角下渲染的天氣、光線等外觀的一致性，文章還在推理時引入了外觀嵌入迭代優(yōu)化。給定一個 Block-NeRF 的外觀嵌入，文章在鎖定神經網絡權重不變的基礎上，優(yōu)化相鄰 Block-NeRFs 的外觀嵌入，最大化其渲染視圖的一致性。

實驗結果

文章采集并開源了兩個數(shù)據(jù)集：San Francisco Alamo Square Dataset 和 San Francisco Mission Bay Dataset，分布包含280萬和1.2萬圖片。Alamo Square Dataset覆蓋大約 0.5km2 ，采集自3個月周期內，包括不同光線條件和天氣的數(shù)據(jù)。Mission Bay Dataset 涵蓋的地理范圍遠遠小于 Alamo Square Dataset，主要被用來與 NeRF做比較。

Table 2 顯示 Block-NeRF 相較于NeRF 渲染效果更好。并且 block 數(shù)量越多越好。即便是保持神經網絡總參數(shù)量不變，Block-NeRF 仍然優(yōu)于 NeRF 并且推理速度在不考慮并行計算的前提下也大大提高。

Table 1 和 Figure 7 分別定量和定性地顯示外觀嵌入、曝光輸入以及位姿優(yōu)化都對提高渲染效果有幫助。

Figure 6 顯示推理時外觀嵌入優(yōu)化可以將渲染從白天場景轉換成黑夜場景，從而更好地與基準 Block-NeRF 匹配，增強渲染地時空一致性。

總結

本文提出了Block-NeRF，采用 divide-and-conquer 的方法使用多個 Block-NeRFs 學習大型場景的不同分塊，最終將這些Block-NeRFs 的渲染合成目標視圖。這樣的方法使得利用 NeRF 模型渲染城市規(guī)模的場景成為了可能。

此外 Block-NeRF 還在 mip-NeRF 的基礎上，引入了外觀嵌入優(yōu)化、曝光輸入和位姿細化等擴展，以解決訓練數(shù)據(jù)橫跨數(shù)月而導致的環(huán)境變化和位姿誤差。

審核編輯 ：李倩