深度預(yù)測(cè)模型推斷移動(dòng)中的人的場(chǎng)景深度

谷歌近日推出了在計(jì)算機(jī)視覺(jué)領(lǐng)域模擬重建人類視覺(jué)的新模型，與以往方法不同的是，新模型利用AI，通過(guò)普通Youtube視頻預(yù)測(cè)深度圖，可以在場(chǎng)景內(nèi)的攝像頭和人同時(shí)運(yùn)動(dòng)的復(fù)雜情況下生成自然視頻。

人類的視覺(jué)系統(tǒng)具有非凡的能力，可以從2D投影中理解3D世界。即使在包含多個(gè)移動(dòng)物體的復(fù)雜環(huán)境中，人也能夠?qū)ξ矬w的幾何形狀和深度的排序進(jìn)行可行的解釋。長(zhǎng)期以來(lái)，計(jì)算機(jī)視覺(jué)領(lǐng)域都在研究如何通過(guò)2D圖像數(shù)據(jù)計(jì)算重建場(chǎng)景的幾何特征，來(lái)實(shí)現(xiàn)和人類類似的能力，但在許多情況下，仍然難以實(shí)現(xiàn)具備充分魯棒性的重建。

當(dāng)攝像頭和場(chǎng)景中的物體都在自由移動(dòng)時(shí)，是實(shí)現(xiàn)重建的最困難的情況。這種情況混淆了基于三角測(cè)量的傳統(tǒng)3D重建算法，該算法假設(shè)可以同時(shí)從至少兩個(gè)不同的觀察點(diǎn)觀察到相同的對(duì)象。滿足這個(gè)假設(shè)需要一個(gè)多攝像頭陣列，或者單攝像頭移動(dòng)，但場(chǎng)景目標(biāo)本身是靜止?fàn)顟B(tài)。因此，現(xiàn)有的大多數(shù)方法要么需要過(guò)濾掉移動(dòng)的目標(biāo)（將移動(dòng)目標(biāo)的深度固定為“零”），要么直接忽略移動(dòng)目標(biāo)（會(huì)導(dǎo)致深度值發(fā)生錯(cuò)誤）。

左圖：傳統(tǒng)的立體設(shè)置假設(shè)至少有兩個(gè)觀察點(diǎn)在同時(shí)捕捉場(chǎng)景。右圖：我們考慮攝像頭和拍攝對(duì)象都在移動(dòng)的情況。

我們通過(guò)基于深度學(xué)習(xí)的方法來(lái)解決這個(gè)基本問(wèn)題，該方法可以從普通視頻中生成深度圖，場(chǎng)景中的攝像頭和主體目標(biāo)都可以自由移動(dòng)。模型從數(shù)據(jù)中學(xué)習(xí)人體姿勢(shì)和形狀的先驗(yàn)知識(shí)，無(wú)需直接3D三角測(cè)量。盡管最近使用機(jī)器學(xué)習(xí)進(jìn)行深度預(yù)測(cè)逐漸興起，但這項(xiàng)工作是第一個(gè)針對(duì)同時(shí)在攝像頭和目標(biāo)都在運(yùn)動(dòng)的狀態(tài)下的基于學(xué)習(xí)的方法。

本研究中的觀察目標(biāo)是人類，人類是增強(qiáng)現(xiàn)實(shí)和3D視頻效果的有趣目標(biāo)。

我們的模型可以預(yù)測(cè)深度圖（右圖，離攝像頭越近，圖中越亮），場(chǎng)景中的人和攝像頭都在自由移動(dòng)。

訓(xùn)練數(shù)據(jù)

我們以監(jiān)督學(xué)習(xí)的方式訓(xùn)練深度預(yù)測(cè)模型，該模型需要通過(guò)移動(dòng)的攝像頭捕獲的自然場(chǎng)景視頻以及精確的深度圖。關(guān)鍵問(wèn)題是從何處獲取此類數(shù)據(jù)。綜合生成數(shù)據(jù)需要對(duì)各種場(chǎng)景和自然人類行為進(jìn)行逼真的建模和渲染，這是很困難的任務(wù)。

此外，針對(duì)這樣的數(shù)據(jù)訓(xùn)練的模型可能難以推廣到真實(shí)場(chǎng)景中。另一種方法可能是用RGBD傳感器（如微軟的Kinect）記錄真實(shí)場(chǎng)景，但深度傳感器通常僅限于室內(nèi)環(huán)境，而且要面臨3D重建上的一系列問(wèn)題。

我們利用現(xiàn)有的數(shù)據(jù)來(lái)進(jìn)行監(jiān)督學(xué)習(xí)：即YouTube視頻，視頻中的人們通過(guò)自己定格在各種自然姿勢(shì)，模仿人體模特效果，而手持?jǐn)z像機(jī)則在現(xiàn)場(chǎng)記錄。

因?yàn)檎麄€(gè)場(chǎng)景是靜止的（只有攝像機(jī)在移動(dòng)），所以基于三角測(cè)量的方法是行得通的，可以獲得包括其中人物在內(nèi)的整個(gè)場(chǎng)景的精確深度圖。我們收集了大約2000個(gè)這樣的視頻，涵蓋了各種逼真的場(chǎng)景，場(chǎng)景中的人按照不同的分組配置自然分布。

人們?cè)跀z像頭在場(chǎng)景中移動(dòng)時(shí)模仿人體模特，我們將其作為訓(xùn)練數(shù)據(jù)。我們使用傳統(tǒng)的MVS算法來(lái)估計(jì)深度，并在深度預(yù)測(cè)模型的訓(xùn)練中將其用于監(jiān)督。

推斷移動(dòng)中的人的場(chǎng)景深度

Mannequin挑戰(zhàn)視頻對(duì)移動(dòng)中的攝像機(jī)和“定格”的人進(jìn)行深度監(jiān)控，但我們的目標(biāo)是利用移動(dòng)的攝像頭和移動(dòng)的人來(lái)處理視頻。我們需要構(gòu)建網(wǎng)絡(luò)輸入來(lái)彌補(bǔ)這一差距。

一種可能的方法是為視頻的每一幀都進(jìn)行深度圖推斷（也就是對(duì)模型的輸入相當(dāng)于單幀圖像）。雖然這種模型改進(jìn)了用于深度預(yù)測(cè)的最先進(jìn)的單幀方法，但是我們可以通過(guò)來(lái)自多幀的信息組合來(lái)進(jìn)一步改善結(jié)果。比如運(yùn)動(dòng)視差，即兩個(gè)不同視點(diǎn)之間的靜態(tài)物體的明顯的相對(duì)運(yùn)動(dòng)，就對(duì)深度推斷提供了有力線索。為了充分利用這些信息，我們計(jì)算了視頻中每個(gè)輸入幀和另一幀之間的2D光流，用它表示兩幀之間的像素位移。

這些光流場(chǎng)取決于場(chǎng)景的深度和攝像頭的相對(duì)位置。但是，由于攝像頭位置是已知的，可以從流場(chǎng)中去除二者之間的依賴關(guān)系，由此生成初始深度圖。此初始深度僅對(duì)靜態(tài)場(chǎng)景區(qū)域有效。為了在測(cè)試時(shí)處理運(yùn)動(dòng)中的人，可以利用人工分割網(wǎng)絡(luò)來(lái)蓋住初始深度圖中的人類區(qū)域。這樣，我們網(wǎng)絡(luò)的完整輸入包括：RGB圖像、蓋住人類的區(qū)域，以及基于視差的遮蓋后的深度圖。

深度預(yù)測(cè)網(wǎng)絡(luò)：模型的輸入包括RGB圖像（第t幀），人類區(qū)域的遮蓋和非人類區(qū)域的初始深度，根據(jù)輸入幀與另一個(gè)之間的運(yùn)動(dòng)視差（光流）計(jì)算視頻中的幀。模型輸出第t幀的完整深度圖。由MVS算法計(jì)算出的深度圖負(fù)責(zé)對(duì)訓(xùn)練過(guò)程的監(jiān)督。

該網(wǎng)絡(luò)的作用是“修復(fù)”人與場(chǎng)景的深度值，并在其他地方細(xì)化深度值。因?yàn)槿祟惖耐庑魏痛笮√卣鲙缀跻恢拢W(wǎng)絡(luò)可以通過(guò)觀察多個(gè)訓(xùn)練樣例，在模型內(nèi)部學(xué)習(xí)這些先驗(yàn)知識(shí)。經(jīng)過(guò)訓(xùn)練后，模型就可以處理任意攝像頭和人體同時(shí)運(yùn)動(dòng)的視頻。

來(lái)看一段介紹視頻：

以下是基于視頻的深度預(yù)測(cè)模型結(jié)果的一些示例，并與最近基于最新學(xué)習(xí)的方法做了比較。

上圖：基于學(xué)習(xí)的單眼深度預(yù)測(cè)方法。 下圖：基于學(xué)習(xí)的立體方法（DeMoN）和我們的估計(jì)深度圖的結(jié)果。

使用深度圖處理3D視頻效果

我們預(yù)測(cè)的深度圖可用于產(chǎn)生一系列3D感知視頻效

使用估計(jì)深度圖產(chǎn)生的散景效果

我們的深度圖也可用于其他方面的應(yīng)用，包括利用單眼視頻生成立體視頻，將合成CG對(duì)象插入場(chǎng)景，還可以在視頻的其他幀中顯示內(nèi)容的情況下進(jìn)行場(chǎng)景區(qū)域的填充。