用于神經(jīng)場SLAM的矢量化對象建圖

訓(xùn)練目標(biāo) 對于每個(gè)對象k，我們僅在該對象的2D邊界框內(nèi)采樣訓(xùn)練像素，用Rk表示，并且僅針對其2D對象掩碼內(nèi)的像素優(yōu)化深度和顏色，用Mk表示。注意，Mk ? Rk始終成立。對象k的深度、顏色和占用損失定義如下：

然后，整體的訓(xùn)練目標(biāo)對所有K個(gè)對象進(jìn)行損失累積：

我們選擇損失權(quán)重λ1 = 5和λ2 = 10，我們在實(shí)驗(yàn)中發(fā)現(xiàn)這些權(quán)重效果很好。

3.4. 組合式場景渲染

由于vMAP在純粹的解耦表示空間中表示對象，我們可以通過在其估計(jì)的3D對象邊界內(nèi)查詢來獲得每個(gè)3D對象，并輕松地進(jìn)行操作。對于2D新視圖合成，我們使用Ray-Box Intersection算法[14]來計(jì)算每個(gè)對象的近距離和遠(yuǎn)距離邊界，然后在每條射線上對渲染深度進(jìn)行排序，實(shí)現(xiàn)對遮擋的場景級渲染。這種解耦表示還打開了其他類型的細(xì)粒度對象級操作，例如通過在解耦的預(yù)訓(xùn)練特征場上進(jìn)行條件變形物體的形狀或紋理[20, 42]，這被視為一個(gè)有趣的未來方向。

4.實(shí)驗(yàn)

我們對各種不同的數(shù)據(jù)集對vMAP進(jìn)行了全面評估，其中包括模擬和真實(shí)世界的序列，有的有地面真實(shí)物體的掩碼和姿態(tài)，有的沒有。對于所有數(shù)據(jù)集，我們在2D和3D場景級別和對象級別的渲染上定性地將我們的系統(tǒng)與之前最先進(jìn)的SLAM框架進(jìn)行了比較。我們還在具有地面真實(shí)網(wǎng)格的數(shù)據(jù)集中進(jìn)行了定量比較。更多結(jié)果請參閱我們附帶的補(bǔ)充材料。

4.1. 實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集 我們在Replica [29]、ScanNet [3]和TUM RGB-D [6]上進(jìn)行了評估。每個(gè)數(shù)據(jù)集包含具有不同質(zhì)量的對象掩碼、深度和姿態(tài)測量的序列。此外，我們還展示了vMAP在由Azure Kinect RGB-D相機(jī)記錄的復(fù)雜真實(shí)世界中的性能。這些數(shù)據(jù)集的概述如表1所示。

表1. 我們評估的數(shù)據(jù)集概述

具有完美地面真實(shí)信息的數(shù)據(jù)集代表了我們系統(tǒng)的上限性能。我們預(yù)期vMAP在真實(shí)世界環(huán)境中的性能可以通過與更好的實(shí)例分割和姿態(tài)估計(jì)框架相結(jié)合而進(jìn)一步提高。

實(shí)施細(xì)節(jié) 我們在一臺桌面PC上進(jìn)行所有實(shí)驗(yàn)，配備3.60 GHz的i7-11700K CPU和一張Nvidia RTX 3090 GPU。我們選擇實(shí)例分割檢測器為Detic [47]，在開放詞匯LVIS數(shù)據(jù)集 [7]上進(jìn)行預(yù)訓(xùn)練，該數(shù)據(jù)集包含1000多個(gè)對象類別。我們選擇姿態(tài)估計(jì)框架為ORB-SLAM3 [2]，因?yàn)樗哂锌焖俸蜏?zhǔn)確的跟蹤性能。我們使用來自O(shè)RB-SLAM3的最新估計(jì)不斷更新關(guān)鍵幀的姿態(tài)。

我們對所有數(shù)據(jù)集應(yīng)用了相同的超參數(shù)集。我們的對象和背景模型都使用了4層MLP，每層的隱藏大小分別為32（對象）和128（背景）。對于對象/背景，我們選擇每25/50幀一個(gè)關(guān)鍵幀，每個(gè)訓(xùn)練步驟使用120/1200條射線，每條射線有10個(gè)點(diǎn)。場景中的對象數(shù)量通常在20到70個(gè)之間，其中對象數(shù)量最多的Replica和ScanNet場景中，平均每個(gè)場景有50個(gè)對象。

指標(biāo)

按照之前的研究[31, 48]的慣例，我們采用準(zhǔn)確度（Accuracy）、完整度（Completion）和完整度比率（Completion Ratio）作為3D場景級別重建的度量指標(biāo)。此外，我們注意到這樣的場景級別指標(biāo)在重建墻壁和地板等大型物體方面存在嚴(yán)重偏差。因此，我們還提供了對象級別的這些指標(biāo)，通過對每個(gè)場景中所有對象的指標(biāo)進(jìn)行平均計(jì)算。

圖4. 使用vMAP與TSDF-Fusion和ObjSDF進(jìn)行對象重建的可視化比較。請注意，來自O(shè)bjSDF的所有對象重建都需要更長的離線訓(xùn)練時(shí)間。ObjSDF提供的所有對象網(wǎng)格由原始作者提供。

圖5. 在選擇的ScanNet序列中，展示了NICE-SLAM?（左）和vMAP（右）的場景重建可視化結(jié)果。對于感興趣的區(qū)域進(jìn)行了放大顯示。NICE-SLAM?使用了地面真實(shí)姿態(tài)進(jìn)行重新訓(xùn)練。

4.2. 場景和物體重建評估

在Replica數(shù)據(jù)集上的結(jié)果

我們在8個(gè)Replica場景上進(jìn)行了實(shí)驗(yàn)，使用[31]提供的渲染軌跡，每個(gè)場景包含2000個(gè)RGB-D幀。表2顯示了這些Replica室內(nèi)序列中的平均定量重建結(jié)果。對于場景級別的重建，我們與TSDF-Fusion [46]、iMAP [31]和NICE-SLAM [48]進(jìn)行了比較。為了隔離重建效果，我們還提供了這些基線方法在使用地面真實(shí)姿態(tài)重新訓(xùn)練后的結(jié)果（標(biāo)記為?），以便進(jìn)行公平比較。具體而言，iMAP?被實(shí)現(xiàn)為vMAP的一種特殊情況，將整個(gè)場景視為一個(gè)物體實(shí)例。對于物體級別的重建，我們比較了在使用地面真實(shí)姿態(tài)進(jìn)行訓(xùn)練的基線方法。

vMAP通過物體級別的表示具有顯著的優(yōu)勢，能夠重建微小物體和具有細(xì)節(jié)的物體。值得注意的是，對于物體級別的完整性，vMAP相比于iMAP和NICE-SLAM實(shí)現(xiàn)了50-70%的改進(jìn)。圖3展示了4個(gè)選定的Replica序列的場景重建結(jié)果，其中用彩色框標(biāo)出了感興趣的區(qū)域。關(guān)于2D新視角渲染的定量結(jié)果將在補(bǔ)充材料中提供。

在ScanNet上的結(jié)果

為了在更具挑戰(zhàn)性的環(huán)境中進(jìn)行評估，我們在ScanNet [3]上進(jìn)行了實(shí)驗(yàn)，該數(shù)據(jù)集由真實(shí)場景組成，具有更多噪聲的地面真實(shí)深度圖和物體掩碼。我們選擇了ObjSDF [37]選擇的一段ScanNet序列，并與TSDF-Fusion和ObjSDF進(jìn)行了物體級別的重建比較，與使用地面真實(shí)姿態(tài)重新訓(xùn)練的NICE-SLAM進(jìn)行了場景級別的重建比較。與ObjSDF不同，vMAP和TSDF-Fusion都是在具有深度信息的在線環(huán)境中運(yùn)行，而不是像ObjSDF那樣從預(yù)先選擇的沒有深度信息的圖像進(jìn)行更長時(shí)間的離線訓(xùn)練。如圖4所示，我們可以看到vMAP生成的物體幾何結(jié)構(gòu)比TSDF-Fusion更連貫；而比ObjSDF具有更細(xì)致的細(xì)節(jié)，盡管訓(xùn)練時(shí)間要短得多。并且一致地，如圖5所示，與NICE-SLAM相比，我們可以看到vMAP生成的物體邊界和紋理更加清晰。

在TUM RGB-D上的結(jié)果

我們在真實(shí)世界中捕獲的TUM RGB-D序列上進(jìn)行了評估，使用了一個(gè)現(xiàn)成的預(yù)訓(xùn)練實(shí)例分割網(wǎng)絡(luò)[47]預(yù)測的物體掩碼和由ORB-SLAM3[2]估計(jì)的位姿。由于我們的物體檢測器沒有時(shí)空一致性，我們發(fā)現(xiàn)同一個(gè)物體偶爾會被檢測為兩個(gè)不同的實(shí)例，這導(dǎo)致了一些重構(gòu)偽影。例如，圖6中顯示的物體“globe”在某些幀中也被檢測為“balloon”，導(dǎo)致最終物體重構(gòu)中的“分割”偽影?？傮w而言，與TSDF-Fusion相比，vMAP仍然可以對場景中大多數(shù)物體進(jìn)行更連貫的重構(gòu)，并具有逼真的孔洞填充能力。然而，我們承認(rèn)，由于缺乏普遍的3D先驗(yàn)知識，我們的系統(tǒng)無法完成完整的視野之外區(qū)域（例如椅子的背部）的重構(gòu)。

雖然我們的工作更注重地圖繪制性能而不是位姿估計(jì)，但我們也按照[31,48]報(bào)告了Tab. 3中的ATE RMSE，通過聯(lián)合優(yōu)化相機(jī)位姿和地圖。我們可以觀察到，由于重構(gòu)和跟蹤質(zhì)量通常高度相互依賴，vMAP實(shí)現(xiàn)了卓越的性能。然而，與ORB-SLAM相比存在明顯的性能差距。因此，我們直接選擇ORB-SLAM作為我們的外部跟蹤系統(tǒng)，這導(dǎo)致了更快的訓(xùn)練速度、更清晰的實(shí)現(xiàn)和更高的跟蹤質(zhì)量。

對于實(shí)時(shí)運(yùn)行的Azure Kinect RGB-D相機(jī)，在桌面場景上展示了vMAP的重構(gòu)結(jié)果。如圖7所示，vMAP能夠生成來自不同類別的一系列逼真的、無缺陷的物體網(wǎng)格。

4.3. 性能分析

在本節(jié)中，我們比較了針對vMAP系統(tǒng)的不同訓(xùn)練策略和架構(gòu)設(shè)計(jì)選擇。為了簡單起見，所有實(shí)驗(yàn)都在Replica Room-0序列上進(jìn)行，使用我們的默認(rèn)訓(xùn)練超參數(shù)。

內(nèi)存和運(yùn)行時(shí)間

我們在表4和圖9中將vMAP與iMAP和NICE-SLAM進(jìn)行了內(nèi)存使用和運(yùn)行時(shí)間的比較，所有方法都是使用了地面真實(shí)姿態(tài)進(jìn)行訓(xùn)練，并使用各自方法中列出的默認(rèn)訓(xùn)練超參數(shù)，以進(jìn)行公平比較。具體而言，我們報(bào)告了整個(gè)序列的運(yùn)行時(shí)間和每幀訓(xùn)練的建圖時(shí)間，使用完全相同的硬件條件。我們可以看到，vMAP具有高度的內(nèi)存效率，參數(shù)數(shù)量少于1M。我們想強(qiáng)調(diào)的是，vMAP在重構(gòu)質(zhì)量上取得了更好的表現(xiàn)，并且運(yùn)行速度明顯快于iMAP和NICE-SLAM，分別提高了1.5倍和4倍的訓(xùn)練速度（約5Hz）。

圖 8. 與使用 for 循環(huán)的標(biāo)準(zhǔn)順序操作相比，矢量化操作能夠?qū)崿F(xiàn)極快的訓(xùn)練速度。

向量化與順序訓(xùn)練

我們通過使用向量化和順序操作（for循環(huán)）來對訓(xùn)練速度進(jìn)行了分析，針對不同數(shù)量的對象和不同物體模型的大小。在圖8中，我們可以看到，向量化訓(xùn)練大大提高了優(yōu)化速度，尤其是當(dāng)我們有大量物體時(shí)。而且，使用向量化訓(xùn)練時(shí)，即使在訓(xùn)練多達(dá)200個(gè)物體時(shí)，每個(gè)優(yōu)化步驟也不超過15毫秒。此外，向量化訓(xùn)練在各種模型大小范圍內(nèi)也是穩(wěn)定的，這表明如果需要，我們可以訓(xùn)練更大尺寸的物體模型，而額外的訓(xùn)練時(shí)間非常小。如預(yù)期的那樣，當(dāng)我們達(dá)到硬件的內(nèi)存限制時(shí)，向量化訓(xùn)練和for循環(huán)將最終具有相似的訓(xùn)練速度。

為了并行訓(xùn)練多個(gè)模型，我們最初嘗試的方法是為每個(gè)對象生成一個(gè)進(jìn)程。然而，由于每個(gè)進(jìn)程的CUDA內(nèi)存開銷，我們只能生成非常有限數(shù)量的進(jìn)程，這嚴(yán)重限制了對象的數(shù)量。

對象模型容量

由于向量化訓(xùn)練在對象模型設(shè)計(jì)方面對訓(xùn)練速度幾乎沒有影響，我們還研究了不同對象模型大小對對象級重建質(zhì)量的影響。我們通過改變每個(gè)MLP層的隱藏層大小來嘗試不同的對象模型大小。在圖9中，我們可以看到從隱藏層大小為16開始，對象級性能開始飽和，進(jìn)一步增加模型大小幾乎沒有改善或沒有改善。這表明對象級表示具有高度可壓縮性，并且可以通過很少的參數(shù)高效準(zhǔn)確地參數(shù)化。

圖9. 對象級重建與模型參數(shù)（由網(wǎng)絡(luò)隱藏大小表示）的比較。vMAP比iMAP更緊湊，性能從隱藏大小為16開始飽和。

堆疊的MLP vs. 共享的MLP

除了通過單個(gè)獨(dú)立的MLP表示每個(gè)對象之外，我們還探索了共享MLP的設(shè)計(jì)，將多對象建圖視為多任務(wù)學(xué)習(xí)問題[26, 33]。在這種設(shè)計(jì)中，每個(gè)對象還與一個(gè)可學(xué)習(xí)的潛在編碼相關(guān)聯(lián)，這個(gè)潛在編碼被視為網(wǎng)絡(luò)的條件輸入，并與網(wǎng)絡(luò)權(quán)重一起進(jìn)行聯(lián)合優(yōu)化。盡管我們嘗試了多個(gè)多任務(wù)學(xué)習(xí)體系結(jié)構(gòu)[12, 18]，但早期實(shí)驗(yàn)（在圖9中標(biāo)記為vMAP-S）顯示，這種共享的MLP設(shè)計(jì)在重建質(zhì)量上略有下降，并且與堆疊的MLP相比，沒有明顯的訓(xùn)練速度改進(jìn)，尤其是在采用向量化訓(xùn)練的情況下，我們發(fā)現(xiàn)共享的MLP設(shè)計(jì)可能導(dǎo)致不良的訓(xùn)練性質(zhì)：i）由于網(wǎng)絡(luò)權(quán)重和所有對象的潛在編碼在共享的表示空間中交織在一起，共享的MLP需要與所有對象的潛在編碼一起進(jìn)行優(yōu)化。ii）共享的MLP容量在訓(xùn)練過程中是固定的，因此表示空間可能不足以處理日益增加的對象數(shù)量。這凸顯了解耦的對象表示空間的優(yōu)勢，這是vMAP系統(tǒng)的一個(gè)關(guān)鍵設(shè)計(jì)元素。

5.結(jié)論

我們提出了vMAP，一個(gè)實(shí)時(shí)的基于對象級別的地圖生成系統(tǒng)，采用簡單而緊湊的神經(jīng)隱式表示。通過將3D場景分解為一批小型獨(dú)立MLP表示的有意義實(shí)例，該系統(tǒng)以高效而靈活的方式建模3D場景，實(shí)現(xiàn)場景重組、獨(dú)立跟蹤和感興趣對象的持續(xù)更新。除了更準(zhǔn)確、更緊湊的以對象為中心的3D重建，我們的系統(tǒng)還能夠預(yù)測每個(gè)對象的合理閉合表面，即使在部分遮擋的情況下也能如此。

局限性和未來工作

我們當(dāng)前的系統(tǒng)依賴于現(xiàn)成的實(shí)例掩碼檢測器，這些實(shí)例掩碼不一定具有時(shí)空一致性。雖然通過數(shù)據(jù)關(guān)聯(lián)和多視圖監(jiān)督部分減輕了歧義，但合理的全局約束將更好地解決這個(gè)問題。由于對象是獨(dú)立建模的，動(dòng)態(tài)對象可以持續(xù)跟蹤和重建，以支持下游任務(wù)，例如機(jī)器人操控。為了將我們的系統(tǒng)擴(kuò)展為單目稠密地圖生成系統(tǒng)，可以進(jìn)一步整合深度估計(jì)網(wǎng)絡(luò)或更高效的神經(jīng)渲染方法。

審核編輯：劉清