CVPR'24 Highlight！跟蹤3D空間中的一切！

0. 這篇文章干了啥？

運(yùn)動估計一直通過兩種范式來處理：特征跟蹤和光流。雖然每種方法都可以實現(xiàn)許多應(yīng)用，但它們都不能完全捕捉視頻中的運(yùn)動：光流只能為相鄰幀產(chǎn)生運(yùn)動，而特征跟蹤只能跟蹤稀疏像素。

一個理想的解決方案將涉及在視頻序列中估計密集和長程像素軌跡的能力。但當(dāng)前的解決方案在挑戰(zhàn)性場景中仍然存在困難，特別是在復(fù)雜變形伴隨頻繁自遮擋的情況下。這種困難的一個潛在原因在于僅在二維圖像空間中進(jìn)行跟蹤，從而忽略了運(yùn)動的固有三維性質(zhì)。由于運(yùn)動發(fā)生在三維空間中，某些屬性只能通過三維表示來充分表達(dá)。例如，旋轉(zhuǎn)可以用三維中的三個參數(shù)簡潔地解釋，遮擋可以簡單地用z緩沖表示，但在二維表示中要復(fù)雜得多。圖像投影可以將空間上遠(yuǎn)離的區(qū)域帶到二維空間中，這可能導(dǎo)致用于相關(guān)性的局部二維鄰域可能包含不相關(guān)的上下文（特別是在遮擋邊界附近），從而導(dǎo)致推理困難。

為了解決這些挑戰(zhàn)，作者建議利用最先進(jìn)的單目深度估計器的幾何先驗，將二維像素提升到三維，并在三維空間中進(jìn)行跟蹤。這涉及在三維空間中進(jìn)行特征相關(guān)性計算，為跟蹤提供更有意義的三維上下文，特別是在復(fù)雜運(yùn)動的情況下。在三維中跟蹤還允許強(qiáng)制執(zhí)行三維運(yùn)動先驗，例如ARAP約束。鼓勵模型學(xué)習(xí)哪些點(diǎn)一起剛性移動可以幫助跟蹤模糊或被遮擋的像素，因為它們的運(yùn)動可以通過同一剛性組中相鄰的清晰可見區(qū)域推斷出來。

下面一起來閱讀一下這項工作~

1. 論文信息

標(biāo)題：SpatialTracker: Tracking Any 2D Pixels in 3D Space

作者：Yuxi Xiao, Qianqian Wang, Shangzhan Zhang, Nan Xue, Sida Peng, Yujun Shen, Xiaowei Zhou

機(jī)構(gòu)：浙江大學(xué)、UC伯克利、螞蟻集團(tuán)

原文鏈接：https://arxiv.org/abs/2404.04319

代碼鏈接：https://github.com/henry123-boy/SpaTracker

官方主頁：https://henry123-boy.github.io/SpaTracker/

2. 摘要

視頻中恢復(fù)密集且長距離的像素運(yùn)動是一個具有挑戰(zhàn)性的問題。部分困難來自于3D到2D的投影過程，導(dǎo)致2D運(yùn)動領(lǐng)域出現(xiàn)遮擋和不連續(xù)性。雖然2D運(yùn)動可能很復(fù)雜，但我們認(rèn)為潛在的3D運(yùn)動通常是簡單且低維的。在這項工作中，我們提出通過估計3D空間中的點(diǎn)軌跡來減輕圖像投影引起的問題。我們的方法，命名為SpatialTracker，使用單眼深度估計器將2D像素轉(zhuǎn)換為3D，使用三平面表示高效地表示每一幀的3D內(nèi)容，并使用變換器執(zhí)行迭代更新來估計3D軌跡。在3D中進(jìn)行跟蹤使我們能夠利用盡可能剛性（ARAP）約束，同時學(xué)習(xí)將像素聚類到不同剛性部分的剛性嵌入。廣泛的評估表明，我們的方法在定性和定量上都實現(xiàn)了最先進(jìn)的跟蹤性能，特別是在諸如平面外旋轉(zhuǎn)之類具有挑戰(zhàn)性的場景中。

3. 效果展示

在三維空間中跟蹤2D像素。為了估計遮擋和復(fù)雜3D運(yùn)動下的2D運(yùn)動，作者將2D像素提升到3D，并在3D空間中執(zhí)行跟蹤。

與TAPIR和Cotracker的2D跟蹤進(jìn)行比較。SpatialTracker可以處理具有挑戰(zhàn)性的場景，如平面外旋轉(zhuǎn)和遮擋。

視頻中剛性部件的分割。SpatialTracker通過聚類它們的3D軌跡來識別場景中不同的剛性部分。

4. 主要貢獻(xiàn)

（1）作者建議使用三平面特征圖來表示每個幀的三維場景，首先將圖像特征提升到三維特征點(diǎn)云，然后將其噴灑到三個正交平面上。三平面表示緊湊而規(guī)則，適合學(xué)習(xí)框架。

（2）三平面在三維空間中密集覆蓋，能夠提取任何三維點(diǎn)的特征向量進(jìn)行跟蹤。然后，通過迭代更新使用來自三平面表示的特征的變壓器預(yù)測的查詢像素的三維軌跡。

（3）為了使用三維運(yùn)動先驗正則化估計的三維軌跡，模型另外預(yù)測了每條軌跡的剛性嵌入，這使能夠軟地分組表現(xiàn)出相同剛性體運(yùn)動的像素，并為每個剛性集群強(qiáng)制執(zhí)行ARAP正則化。作者證明了剛性嵌入可以通過自監(jiān)督學(xué)習(xí)，并產(chǎn)生不同剛性部分的合理分割。

（4）模型在各種公共跟蹤基準(zhǔn)上實現(xiàn)了最先進(jìn)的性能，包括TAP-Vid、BADJA和PointOdyssey。對具有挑戰(zhàn)性的互聯(lián)網(wǎng)視頻的定性結(jié)果還表明了模型處理快速復(fù)雜運(yùn)動和延長遮擋的出色能力。

5. 基本原理是啥？

Pipeline概述。首先使用三面編碼器將每個幀編碼為三面表示（a）。然后，使用從這些三面提取的特征作為輸入，使用變換器在三維空間中初始化并迭代更新點(diǎn)軌跡（c）。三維軌跡使用地面真實注釋進(jìn)行訓(xùn)練，并通過具有學(xué)習(xí)到的剛性嵌入的盡可能剛性（ARAP）約束進(jìn)行規(guī)范化（d）。ARAP約束強(qiáng)制要求具有相似剛性嵌入的點(diǎn)之間的三維距離隨時間保持恒定。這里dij表示點(diǎn)i和j之間的距離，而sij表示剛性相似性。SpatialTracker即使在快速移動和嚴(yán)重遮擋下也能產(chǎn)生準(zhǔn)確的遠(yuǎn)距離運(yùn)動軌跡（e）。

6. 實驗結(jié)果

TAP-Vid基準(zhǔn)包含幾個數(shù)據(jù)集：TAPVid-DAVIS（約34-104幀的30個真實視頻）、TAP-Vid-Kinetics（250幀的1144個真實視頻）和RGB-Stacking（250幀的50個合成視頻）。基準(zhǔn)中的每個視頻都使用真實2D軌跡和遮擋進(jìn)行注釋。使用與TAP-Vid基準(zhǔn)相同的度量標(biāo)準(zhǔn)來評估性能：平均位置精度（<δavg）、平均Jaccard（AJ）和遮擋精度（OA）。SpatialTracker在所有三個數(shù)據(jù)集上一致優(yōu)于所有基線方法，除了Omnimotion之外，展示了在3D空間中進(jìn)行跟蹤的好處。Omnimotion還在3D中執(zhí)行跟蹤，并通過一次性優(yōu)化所有幀在RGB-Stacking上獲得最佳結(jié)果，但這需要非常昂貴的測試時間優(yōu)化。

BADJA是一個包含七個帶有關(guān)鍵點(diǎn)注釋的動物移動視頻的基準(zhǔn)。此基準(zhǔn)中使用的指標(biāo)包括基于段的準(zhǔn)確性（segA）和3px準(zhǔn)確性（δ3px）。SpatialTracker在δ3px方面表現(xiàn)出有競爭力的性能，并在基于段的準(zhǔn)確性上大幅超過所有基線方法。

PointOdyssey是一個大規(guī)模的合成數(shù)據(jù)集，其中包含各種各樣的動畫人物，從人類到動物，置于不同的3D環(huán)境中。在PointOdyssey的測試集上評估，該測試集包含12個具有復(fù)雜運(yùn)動的視頻，每個視頻大約有2000幀。采用PointOdyssey提出的評估度量標(biāo)準(zhǔn)，這些度量標(biāo)準(zhǔn)旨在評估非常長的軌跡。SpatialTracker在所有度量標(biāo)準(zhǔn)上一貫優(yōu)于基線方法，并且優(yōu)勢明顯。特別是，作者展示了通過使用更準(zhǔn)確的地面真實深度，模型的性能可以進(jìn)一步提升。這表明了SpatialTracker在單目深度估計的進(jìn)步中持續(xù)改進(jìn)的潛力。

3D跟蹤結(jié)果。

7. 總結(jié) & 討論

在這項工作中，作者展示了一個適當(dāng)設(shè)計的三維表示對解決視頻中稠密且遠(yuǎn)距離運(yùn)動估計的長期挑戰(zhàn)至關(guān)重要。運(yùn)動自然發(fā)生在三維空間中，而在三維空間中跟蹤運(yùn)動使模型能夠更好地利用其在三維空間中的規(guī)律，例如 ARAP 約束。作者提出了一個新穎的框架，使用可學(xué)習(xí)的 ARAP 約束，利用三面體表示來估計三維軌跡，該約束能夠識別場景中的剛性群，并在每個群體內(nèi)強(qiáng)制實施剛性。實驗表明，與現(xiàn)有基線方法相比，SpatialTracker具有優(yōu)越的性能，并適用于具有挑戰(zhàn)性的真實世界場景。

SpatialTracker依賴于現(xiàn)成的單目深度估計器，其準(zhǔn)確性可能會影響最終的跟蹤性能。然而，作者預(yù)計單目重建技術(shù)的進(jìn)步將提高運(yùn)動估計的性能。這兩個問題能夠更密切地相互作用，相互受益。