迪尼斯：可以對用戶全身進(jìn)行3D的AR替換方案

今年年初，我們曾提到過Facebook的一個(gè)可以進(jìn)行全身識別的技術(shù)（Facebook為未來全身AR打下基礎(chǔ)），這項(xiàng)技術(shù)可以用于對全身的AR替換，但當(dāng)時(shí)只能做2D的識別，因此Facebook還在做進(jìn)一步的研究優(yōu)化。有趣的是，最近迪斯尼研究人員發(fā)表了一篇論文，可以對用戶全身進(jìn)行3D的AR替換。

迪斯尼提出的這項(xiàng)技術(shù)被稱為AR Poser，從這個(gè)名字也看得出它的用途，即用于讓米老鼠、達(dá)斯維達(dá)、鋼鐵俠等IP人物模仿用戶的動作擺出姿勢，然后讓用戶拍照。

簡單來說，AR Poser的原理可以分為三個(gè)部分。第一步和我們之前提過的諸多動捕系統(tǒng)類似，是將移動設(shè)備的攝像頭拍攝到的圖像傳輸至處理器，然后通過卷積神經(jīng)網(wǎng)絡(luò)等手段識別出目標(biāo)的輪廓，這一技術(shù)我們在之前的動捕技術(shù)中已經(jīng)講過多次，就不贅述了。

第二步也很簡單，就是從用戶的輪廓中估計(jì)出骨骼姿勢，這同樣是最近幾個(gè)動捕方案中采用了的技術(shù)，只是AR Poser的骨骼估計(jì)更加粗略，手部等位置都被忽略掉了。

第三步是比較新穎的部分，和一般的動捕方案一樣，AR Poser也需要根據(jù)骨骼姿勢重新渲染3D圖像，區(qū)別在于，為了減少數(shù)據(jù)處理的強(qiáng)度，AR Poser在數(shù)據(jù)集中預(yù)設(shè)了一些姿勢，在得出骨骼姿勢后，AR Poser會將骨骼姿勢與數(shù)據(jù)集中預(yù)設(shè)的姿勢對比，選出最接近的一個(gè)，然后直接由此渲染最終圖像。這種做法的好處是計(jì)算量少，另外動捕方案捕捉精度不足的腳踝等部位也更加精確，缺點(diǎn)就是姿勢的數(shù)量多寡直接影響用戶體驗(yàn)。

現(xiàn)在，AR Poser的數(shù)據(jù)集中一共包含了12個(gè)相關(guān)的姿勢，這12個(gè)姿勢是從AR Poser的體驗(yàn)者的姿勢中總結(jié)的，當(dāng)然數(shù)量的確還是太少。另外，據(jù)論文中的數(shù)據(jù)，從移動設(shè)備拍攝到圖像，到2D骨架估計(jì)，再到在移動設(shè)備上執(zhí)行3D的姿勢匹配，整個(gè)過程大約需要2秒鐘。

將AR Poser與Facebook的方案對比，AR Poser得到的是3D圖像，但二者需要的計(jì)算量基本相當(dāng)（AR Poser只多出一個(gè)對比的過程），但AR Poser顯然無意于實(shí)時(shí)的動捕，因此捕捉的速度相對更慢一些。

最后說一句，AR Poser有幾個(gè)比較明顯的缺陷，第一，就是數(shù)據(jù)集中可匹配的姿勢數(shù)量太少。第二呢，目前AR Poser只解決了身體關(guān)節(jié)的姿勢估計(jì)，但不包括臉的表情和手指姿勢的估計(jì)，因此，AR Poser的識別無法區(qū)分手部動作不同的身體姿勢，在將來的優(yōu)化中，迪斯尼會考慮用全身匹配+手部姿勢匹配兩步來完成；最后，當(dāng)用戶變化姿勢時(shí)，AR影像會直接重新渲染，因此，由于兩次對用戶身材識別的誤差，渲染結(jié)果也可能會出現(xiàn)大小不同的情況，造成視覺上的不適，在將來的優(yōu)化中，將會通過調(diào)整肩膀和腳的比例大小來解決這個(gè)問題。

考慮到迪斯尼對AR的應(yīng)用一貫偏向于宣傳和IP方面，ARPoser可能將會應(yīng)用于電影宣傳，例如將它應(yīng)用到電影海報(bào)中，讓觀眾和更真實(shí)的AR形象合影等等，可能在不久的將來，就可以看到電影海報(bào)和主題公園景點(diǎn)中AR Poser的應(yīng)用。