英偉達新方法入選CVPR 2023：對未知物體的6D姿態(tài)追蹤和三維重建

普通手機“隨手”拍的雕像，一下就變成了精細(xì)的三維重建圖。

水杯來回動的動態(tài)場景下，細(xì)節(jié)清晰可見：

靜態(tài)場景效果也同樣nice，狗狗突出的肋骨都被還原了出來：

對比來看其他方法，效果是醬嬸的……

這就是英偉達最新提出的方法BundleSDF。

這是一種可對未知物體的6D姿態(tài)追蹤和三維重建的方法。

用于從單目RGBD視頻序列中跟蹤未知物體的6自由度運動，同時進行物體的隱式神經(jīng)三維重建，方法接近于實時（10Hz）。

這種方法適用于任意剛性物體，即使視覺紋理大部分確實，僅需在第一幀中分割出物體，不需要任何額外的信息，并且不對智能體與物體的交互模式做任何假設(shè)。

目前，該方法已被CVPR 2023接收。

可處理大幅度姿態(tài)變化、有遮擋視頻

該方法的關(guān)鍵是一個神經(jīng)物體場，它與姿態(tài)圖優(yōu)化過程同時進行，以便將信息穩(wěn)健地累積到一致的3D表示中，捕捉幾何和外觀。

方法自動維護了一組動態(tài)的姿態(tài)內(nèi)存幀，以便這些線程之間進行通信。

它能處理具有大幅度姿態(tài)變化、部分和完全遮擋、無紋理表面和高光反射等具有挑戰(zhàn)性的視頻。

作者展示了HO3D、YCBInEOAT和BEHAVE數(shù)據(jù)集上的結(jié)果，證明了我們的方法顯著優(yōu)于現(xiàn)有方法。

野外測試

用于iPhone 12 Pro Max的效果：

用于Intel RealSense的效果：

該方法不僅適用于更具挑戰(zhàn)性的動態(tài)場景，還適用于此前經(jīng)常被考慮的靜態(tài)場景（移動相機）。

因此實現(xiàn)了比專門設(shè)計用于靜態(tài)場景的那些方法更好或相當(dāng)?shù)慕Y(jié)果（即文章開頭展示動圖）。

與SOTA對比

HO3D數(shù)據(jù)集上三種最具競爭力方法的定性比較。

左圖：6自由度姿態(tài)跟蹤可視化，其中輪廓（青色）以估計的姿態(tài)渲染。

值得注意的是，如第二列所示，我們的預(yù)測姿態(tài)有時甚至?xí)m正GT的錯誤。

右圖：每種方法輸出的最終3D重建的正面和背面視圖。

由于手部遮擋，視頻中的某些部分永遠不可見。雖然從相同的視角渲染網(wǎng)格，但是DROID-SLAM和BundleTrack的顯著漂移導(dǎo)致網(wǎng)格錯誤旋轉(zhuǎn)。

定量結(jié)果對比如下：

問題設(shè)置

給定一段單目RGBD輸入視頻以及僅在第一幀中目標(biāo)物體的分割掩碼，該方法能持續(xù)追蹤物體的6-DoF姿態(tài)并重建物體的3D模型。

所有處理都是在線自回歸的（沒有假設(shè)未來幀可用）。

處理的物體是剛性的，但不依賴其特定豐富的紋理 - 方法適用于無紋理的物體。

此外，不需要物體的實例級CAD模型，也不需要物體類別的先驗知識（例如事先對同一物體類別進行預(yù)訓(xùn)練）。

具體框架

首先，在連續(xù)的分割圖像之間匹配特征，以獲得粗略的姿態(tài)估計（第3.1節(jié)）。

其中一些帶姿態(tài)的幀被存儲在內(nèi)存池中，以便稍后使用和精化（第3.2節(jié)）。

從內(nèi)存池的子集動態(tài)創(chuàng)建位姿圖（第3.3節(jié)）；在線優(yōu)化與當(dāng)前姿態(tài)一起聯(lián)合細(xì)化圖中的所有姿態(tài)。

然后，這些更新的姿態(tài)被存儲回內(nèi)存池中。

最后，內(nèi)存池中的所有帶姿態(tài)的幀用于學(xué)習(xí)神經(jīng)物體場（在單獨的線程中），該場建模了物體的幾何和視覺紋理（第3.4節(jié)），同時調(diào)整其先前估計的姿態(tài)，使姿態(tài)跟蹤更加魯棒。

項目地址：
https://bundlesdf.github.io/

審核編輯 ：李倩