Facebook的研究人員提出了一個能從真實視頻中抽取可控制主角的模型Vid2Game

相信大家還記得曾經(jīng)游戲中的主人公，可以隨著按鍵旋轉(zhuǎn)跳躍，通過三維/二維模型或者實現(xiàn)錄制好的視頻來響應(yīng)不同指令的動作。而最近來自Facebook的研究人員提出了一個能從真實視頻中抽取可控制主角的模型Vid2Game，這意味你可以將視頻中喜歡的主人公變成可以在游戲中控制的主角。

讓我們先來看看效果，從真實視頻中抽取的主角被放置到了新背景中，隨著按鍵的控制左右移動揮拍擊球。

黑衣服的運動員被妥妥地安排到了不同的背景中，隨著鍵盤的指令移動。這是怎么做到的呢？為了實現(xiàn)對主體的控制和生成需要解決一下幾個問題：首先需要將主體從環(huán)境中分離出來以便在新的任意的背景中生成；由于渲染陰影、反射、運動效果等、這種分離不是二值化的；用戶給出的控制信號任意的x,y位移、如何編碼并將控制量饋入主體生成中；最后需要處理生成序列過程中積累誤差的影響。

那么文章中具體是如何做到的呢？

下面讓我們一起來看看背后的原理。Vid2Game包含了兩個神經(jīng)網(wǎng)絡(luò)和三個主要步驟的工作流程，首先利用第一個神經(jīng)網(wǎng)絡(luò)將當(dāng)前位姿和控制信號映射到下一時刻的新位姿；隨后利用新位姿和給定的背景輸出希望的幀，包括背景和主體以及主體的mask；最后將生成的主體以背景融合生成最終輸出。這種通用的方法可以被廣泛用于多種不同運動場景中。給定視頻中的主角可以根據(jù)用戶的控制，生成在目標(biāo)背景中運動的視頻。兩個序列形式工作的模型分別是Pose2Pose和Pose2Frame。

Pose2Pose網(wǎng)絡(luò)基于用戶的控制序列信號以自回歸的方式操作給定的位姿，實現(xiàn)在特定的域內(nèi)基于2D控制信號引導(dǎo)人體位姿生成。

通過輸入t-1時刻的位姿和對應(yīng)物體、在用戶控制序列的操作下生成t時刻的主角位姿和對應(yīng)物體。上圖中我們可以看到輸入的運動員位姿圖和對應(yīng)的球拍、同時輸入的還有控制量。我們還可以看到中間的n-2個條件殘差模塊是基于質(zhì)心位移量進行處理的。在訓(xùn)練時，質(zhì)心唯一來自于訓(xùn)練序列的編碼、而推理時則來自于用戶輸入。

隨后將生成的位姿及給定的背景輸入Pose2Frame將生成高分辨率的真實視頻序列。同樣以運動員作為例子，將運動員位姿和網(wǎng)球拍的序列輸入，模型將生成一個RGB圖像和mask圖像.RGB圖像考慮了運動員在環(huán)境中需要包括了陰影、反射等渲染，而mask輔助融合運動員與給定背景。通過mask與生成的rgb相乘得到運動員部分的RGB圖像、再通過背景摳出mask區(qū)域隨后融合運動與與給定背景，即得到運動員在新環(huán)境中生成的受用戶控制的幀。

對于判別器部分、模型主要關(guān)注多尺度情況下二進制閾值主體。其中o為基準(zhǔn)圖像f為生成圖像，在放入多尺度判別器前需要進行均值pooling減采樣，。放入VGG分類器中的圖像則保持了原始分辨率用于給出感知損失。Pose2Pose和Pose2Frame的生成器和判別器都使用了pix2pixHD架構(gòu)來作為基礎(chǔ)網(wǎng)絡(luò)，并進行了一系列改進。同時利用了基于DensePose的方法來對位姿進行表示，同時使用了語義分割的方法來對運動員手持物體進行抽取。

通過這樣的方法，就可以在希望的場景中合成你可控制的主角了。這對于未來個性化游戲、虛擬顯示等具有十分重要的意義。從各種視頻中抽取主角、并可以通過鍵盤在游戲中控制真的很棒！

讓我們來跳一支舞吧:

控制你的主角四處漫游：

到任何想去的地方打球：

與龍來一場戰(zhàn)斗吧：