LERF：當CLIP遇見NeRF！讓自然語言與3D場景交互更直觀

NeRF 大家都很熟悉了，但是你聽說過 LERF 嗎？本文中，來自 UC 伯克利的研究者將語言嵌入到 NeRF 中，并在 3D 場景中實現(xiàn)靈活的自然語言查詢。

NeRF（Neural Radiance Fields）又稱神經(jīng)輻射場，自從被提出以來，火速成為最為熱門的研究領(lǐng)域之一，效果非常驚艷。然而，NeRF 的直接輸出只是一個彩色的密度場，對研究者來說可用信息很少，缺乏上下文就是需要面對的問題之一，其效果是直接影響了與 3D 場景交互界面的構(gòu)建。

但自然語言不同，自然語言與 3D 場景交互非常直觀。我們可以用圖 1 中的廚房場景來解釋，通過詢問餐具在哪，或者詢問用來攪拌的工具在哪，以這種方式就可以在廚房里找到物體。不過完成這項任務不僅需要模型的查詢能力，還需要能夠在多個尺度上合并語義等。

本文中，來自 UC 伯克利的研究者提出了一種新穎的方法，并命名為 LERF（Language Embedded Radiance Fields），該方法將 CLIP（Contrastive Language-Image Pre-training）等模型中的語言嵌入到 NeRF 中，從而使得這些類型的 3D 開放式語言查詢成為可能。LERF 直接使用 CLIP，無需通過 COCO 等數(shù)據(jù)集進行微調(diào)，也不需要依賴掩碼區(qū)域建議。LERF 在多個尺度上保留了 CLIP 嵌入的完整性，還能夠處理各種語言查詢，包括視覺屬性（如黃色）、抽象概念（如電流）、文本等，如圖 1 所示。

論文地址：https://arxiv.org/abs/2303.09553

項目主頁：https://www.lerf.io/

LERF 可以實時交互地為語言提示提取 3D 相關(guān)示圖。例如在一張有小羊和水杯的桌子上，輸入提示小羊、或者水杯，LERF 就可以給出相關(guān) 3D 圖：

?

對于復雜的花束，LERF 也可以精準定位：

?

廚房中的不同物體：

方法

該研究通過與 NeRF 聯(lián)合優(yōu)化語言場構(gòu)建了新方法 LERF。LERF 將位置和物理尺度作為輸入并輸出單個 CLIP 向量。在訓練期間，場（field）使用多尺度特征金字塔（pyramid）進行監(jiān)督，該金字塔包含從訓練視圖的圖像裁剪（crop）生成的 CLIP 嵌入。這允許 CLIP 編碼器捕獲不同尺度的圖像語境，從而將相同的 3D 位置與不同尺度的語言嵌入相關(guān)聯(lián)。LERF 可以在測試期間以任意尺度查詢語言場以獲得 3D 相關(guān)性映射。

由于從多尺度的多個視圖中提取 CLIP 嵌入，因此通過 LERF 的 3D CLIP 嵌入獲得的文本查詢的相關(guān)性映射與通過 2D CLIP 嵌入獲得的相比更加本地化（localized），并且是 3D 一致的，可以直接在 3D 場中進行查詢，而無需渲染多個視圖。

LERF 需要在以樣本點為中心的體積上學習語言嵌入場。具體來說，該場的輸出是包含指定體積的圖像裁剪的所有訓練視圖的平均 CLIP 嵌入。通過將查詢從點重構(gòu)為體積，LERF 可以有效地從輸入圖像的粗略裁剪中監(jiān)督密集場，這些圖像可以通過在給定的體積尺度上進行調(diào)節(jié)以像素對齊的方式呈現(xiàn)。

LERF 本身會產(chǎn)生連貫的結(jié)果，但生成的相關(guān)性映射有時可能是不完整的，并且包含一些異常值，如下圖 5 所示。

為了規(guī)范優(yōu)化的語言場，該研究通過共享瓶頸引入了自監(jiān)督的 DINO。

在架構(gòu)方面，優(yōu)化 3D 中的語言嵌入不應該影響底層場景表征中的密度分布，因此該研究通過訓練兩個獨立的網(wǎng)絡來捕獲 LERF 中的歸納偏置（inductive bias）：一個用于特征向量（DINO、CLIP），另一個用于標準 NeRF 輸出（顏色、密度）。

實驗

為了展示 LERF 處理真實世界數(shù)據(jù)的能力，該研究收集了 13 個場景，其中包括雜貨店、廚房、書店、小雕像等場景。圖 3 選擇了 5 個具有代表性的場景，展示了 LERF 處理自然語言的能力。

圖 3。

圖 7 為 LERF 與 LSeg 的 3D 視覺對比，在標定碗里的雞蛋中，LSeg 不如 LERF：

圖 8 表明，在有限的分割數(shù)據(jù)集上訓練的 LSeg 缺乏有效表示自然語言的能力。相反，它僅在訓練集分布范圍內(nèi)的常見對象上表現(xiàn)良好，如圖 7 所示。

不過 LERF 方法還不算完美，下面為失敗案例，例如在標定西葫蘆蔬菜時，會出現(xiàn)其他蔬菜：

審核編輯 ：李倩