平面人物秒變3D模式，圖片中的人物可以從平面中“跑出來(lái)”，動(dòng)起來(lái)

12月，華盛頓大學(xué)和Facebook的研究人員提交了一份最新成果：平面人物秒變3D模式，圖片中的人物可以從平面中“跑出來(lái)”，動(dòng)起來(lái)。如果再結(jié)合VR技術(shù)，那么你手機(jī)照片中的任務(wù)不再只是靜態(tài)的人物，他們會(huì)穿越層層障礙，奔向你。

哈利·波特里有項(xiàng)魔法“黑科技”很讓我等麻瓜羨慕——照片會(huì)動(dòng)甚至?xí)钠矫嬲掌猩斐鲱^或者手和你互動(dòng)。

本月，華盛頓大學(xué)和Facebook的三位研究人員（Chung-Yi Weng、Brain Curless、Ira Kemelmache-Shlizerman）在arXiv上發(fā)表文章，徹底將J.K.羅琳的黑魔法變成了真實(shí)的黑科技。

論文地址：https://arxiv.org/pdf/1812.02246.pdf

這三位最新開(kāi)發(fā)了一項(xiàng)動(dòng)畫制作方法和應(yīng)用程序：照片動(dòng)起來(lái)已是小case，這項(xiàng)技術(shù)可以保持照片背景不變，激活平面人物變成3D模式，直接跑出畫面奔向你。如果再結(jié)合虛擬現(xiàn)實(shí)技術(shù)，那么畫面中的人會(huì)真的出現(xiàn)在你面前。

技術(shù)效果展示

有了這項(xiàng)技術(shù)，那些小哥哥、小姐姐甚至動(dòng)漫人物都不再只是固定在某一姿勢(shì)的靜態(tài)人物，他們會(huì)被喚醒，走出照片穿越人群，奔向你。

構(gòu)建完美的可動(dòng)畫化3D模型方法，讓畫中人動(dòng)起來(lái)

研究人員稱這項(xiàng)技術(shù)為“喚醒”照片，他們甚至基于此開(kāi)發(fā)了名為Photo Wake-Up的軟件。

但與電影圖譜不同的是，電影圖片是從視頻中創(chuàng)建的2D體驗(yàn)，而最新的方法是將一張照片作為輸入，并產(chǎn)生完全的3D體驗(yàn)。

而在此過(guò)程中最主要的挑戰(zhàn)是重構(gòu)后的3D人物與照片中原形人物的輪廓緊密匹配，這事實(shí)上非常困難，因?yàn)樯眢w可能被部分遮擋，通常被其他身體部分遮擋，比如有人站立時(shí)雙臂交叉在胸前，這使得機(jī)器難以直接從平面圖像中確定3D身體結(jié)構(gòu)。

在此項(xiàng)研究中，該團(tuán)隊(duì)最關(guān)鍵的貢獻(xiàn)就是構(gòu)建了可動(dòng)畫化3D模型的方法，該模型可匹配單張平面照片中的身體輪廓并處理被遮擋住的身體部位。

也有很多計(jì)算機(jī)科學(xué)團(tuán)隊(duì)曾試圖解決這一問(wèn)題，之前Microsoft團(tuán)隊(duì)和德國(guó)Max Planck智能系統(tǒng)研究所開(kāi)發(fā)了一種名為SMPL（Skinned Multi-Person Linear Model）的程序，Weng團(tuán)隊(duì)的研究突破正是基于SMPL程序。

SMPL模型是首先需要將2D對(duì)象的人體輪廓減下來(lái)，分割人物的四肢和軀干，識(shí)別人物的骨骼點(diǎn)，然后將3D骨架疊加到2D形狀上，最后可以形成一種半裸的3D模型。

根據(jù)模型，可以對(duì)3D骨架進(jìn)行動(dòng)畫處理來(lái)創(chuàng)建運(yùn)動(dòng)感。從一定程度上，這解決了人體姿勢(shì)估計(jì)的問(wèn)題。這種方法需要從正面看到從頭到腳的剪影。它可以處理某些類型的遮擋，例如身體前方的手臂，但SMPL不能處理更復(fù)雜的遮擋，比如蹺二郎腿的人。而且在SMPL中，即使將剪切的照片映射到3D骨架上，也不會(huì)產(chǎn)生逼真的動(dòng)畫，更重要的是這種3D模型與人的衣服輪廓并不匹配。

基于SMPL模型，Weng團(tuán)隊(duì)嘗試了不同的方法——他們從2D層面上開(kāi)始下手，下圖就是這個(gè)方法的完整圖解：

首先讓SMPL模型匹配原始圖像中的人物輪廓，然后將SMPL模型轉(zhuǎn)成兩種映射模式：普通貼圖（normal maps，可看清輪廓）和皮膚貼圖（skinning maps，通過(guò)不同顏色區(qū)分了身體部位），將兩種貼圖合二為一后，升級(jí)到3D模式，為動(dòng)畫做好準(zhǔn)備。

該團(tuán)隊(duì)的實(shí)驗(yàn)成果：每個(gè)人物的左側(cè)為原圖，右為實(shí)驗(yàn)結(jié)果

最后，研究人員們使用運(yùn)動(dòng)捕捉序列來(lái)進(jìn)行動(dòng)畫處理，紙片人就真的活啦！

簡(jiǎn)單來(lái)講，就是將圖片中的人物在2D層面中實(shí)現(xiàn)對(duì)齊，再將其轉(zhuǎn)換成3D，然后再調(diào)整成動(dòng)態(tài)，來(lái)看下效果：

團(tuán)隊(duì)特別關(guān)注觀眾更容易注意到的人物頭部。他們說(shuō)：“頭部姿勢(shì)的準(zhǔn)確性對(duì)于效果漂亮的動(dòng)畫很重要。” 因此，他們的算法還可以識(shí)別，諸如注視方向和頭部角度之類的特征，然后使用它來(lái)獲得身體網(wǎng)格頭部姿勢(shì)的精確角度。

如果結(jié)合虛擬現(xiàn)實(shí)技術(shù)，那么玩法會(huì)更多

這一技術(shù)目前還有一些局限性，例如，人物身上的陰影和反光尚未在此方法中建模，因此不會(huì)隨動(dòng)畫移動(dòng)，這可能會(huì)略顯生硬；另外，SMPL模型可能會(huì)產(chǎn)生不正確的3D姿勢(shì)。

基于這些缺點(diǎn)，該團(tuán)隊(duì)還在軟件中開(kāi)發(fā)了一個(gè)用戶界面，允許任何人更改3D骨骼相對(duì)于身體的方向，并允許用戶糾正錯(cuò)誤并微調(diào)動(dòng)畫。

該團(tuán)隊(duì)表示：“我們的方法適用于各種各樣的全身，相當(dāng)正面的照片，從體育照片到藝術(shù)品和海報(bào)?！?/p>

事實(shí)上，這是一項(xiàng)很有趣的研究，具有很大娛樂(lè)潛力。研究人員說(shuō)：“我們相信這種方法不僅為人們提供了新的方式來(lái)欣賞和與照片互動(dòng)，而且還提出了一種從單一圖像重建虛擬化身的途徑，同時(shí)提供了對(duì)現(xiàn)有技術(shù)的深入了解，從一張照片中就能進(jìn)行人體建模?！?/p>

想象了一下，如果結(jié)合虛擬技術(shù)的話，應(yīng)該是這樣的：

點(diǎn)一點(diǎn)手，Beatles就從專輯封面中向你走來(lái)。

不止是現(xiàn)實(shí)人物，連畢加索畫作中的人都能從走出畫框，少女小跑地奔向你：

額，如果這不是你理想對(duì)象的話，那將來(lái)就拿右鍵保存的男神女神照片來(lái)試試吧。