Oculus的負責(zé)人介紹了一款新型手動追蹤系統(tǒng)

動作捕捉現(xiàn)在已經(jīng)不是一個時髦的名詞了，它在電影、游戲中都得到廣泛的應(yīng)用，賦予了原本動作僵硬面目死板的角色以鮮活的生命，給人們帶來驚艷的視覺體驗。

要說最早的動作捕捉，還要追溯到馬克福萊舍發(fā)明的“轉(zhuǎn)描技術(shù)”

利用特制的投影設(shè)備，將真人投影到畫布前，再由畫師，人肉作畫，一幀一幀的描下來。

（栩栩如生的豬八戒）

后來隨著動作捕捉技術(shù)的發(fā)展，又發(fā)展出幾種真正意義上的動作捕捉技術(shù)。

當然，得到最廣泛應(yīng)用的自然是我們常見的往身上貼馬克點的光學(xué)式動捕。

不管是電影

還是游戲

配上動捕都如虎添翼，透著屏幕仿佛能感受到畫面中角色的呼吸。然而值得注意的是，當實時全身動捕用在靈巧的五指上時，就很難產(chǎn)生類似的實時追蹤效果。

手部實時動作捕捉的主要困難在于識別和標記被動馬克點。雖然可以使用主動馬克點來解決這個問題，但是一根根的連接線路和笨重的傳感器顯得有些累贅，而且主動馬克點可同時追蹤的數(shù)量也十分有限。若是對于馬克點標記的全身追蹤，常見解決方案便是從預(yù)定義的T型或A型開始，依靠高幀追蹤來向前傳播標記?？神R克點一旦被遮擋或由于虛假反射產(chǎn)生了重影，這種方案就沒啥精準度了。而且由于手部體積小、關(guān)節(jié)多，馬克點的分布不得不密集，這就難免不產(chǎn)生遮擋和重影了。

就在前些日子，Oculus的負責(zé)人介紹了一款新型手動追蹤系統(tǒng)。該系統(tǒng)采用可以自我優(yōu)化的機器學(xué)習(xí)算法進行訓(xùn)練，她說：“這種算法比之前所有的手部追蹤方案都更為準確。”

由上圖也可以看出，Oculus的新型手動追蹤系統(tǒng)不管是在單雙手還是在手與物體的交互上表現(xiàn)的都很出色。

其實早在去年，扎克伯格就造訪了 Oculus研究實驗室，在facebook的更新中，他上傳了幾張照片，其中一張就是帶著手套坐在一圈鐵架子中，這也與小編在新型手部動捕論文找到的攝像機設(shè)備一樣。矩形支架上統(tǒng)共擺放了16臺Optitrack相機，從而可以全方位捕捉手部的動作。

“我們正致力于將新的方式帶入虛擬和增強現(xiàn)實，戴上這些手套，你可以畫畫，在虛擬鍵盤上打字甚至可以體驗一番漫威超級英雄的生活”扎克伯格說到。

從演示視頻來看，扎克伯格對于VR手部追蹤的愿景也正一步一步實現(xiàn)。

折一架童年的紙飛機

十八般樂器樣樣可行

我丟

（每副手套上安裝了19個馬克點）

研究人員展示了一種新穎的標記和跟蹤系統(tǒng)，能夠在具有頻繁遮擋的挑戰(zhàn)性交互場景中實現(xiàn)手部姿勢的全自動實時估計。左手標記為橙色，右手標記為藍色，物體標記為綠色。

這種新型標記與追蹤技術(shù)既可以用于稀疏馬克點集，也可以用于捕捉完整手部26自由度的密集馬克點集。Facebook依靠卷積神經(jīng)網(wǎng)絡(luò)（CNN）來預(yù)測由動捕系統(tǒng)檢測到的3D馬克點位置標記。然后將記錄的數(shù)據(jù)壓縮成2D圖像，這使卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)擞淈c設(shè)置為唯一識別標記位置，從而避免重影和遮擋的出現(xiàn)。為了滿足手部高精度的追蹤需求，F(xiàn)acebook在精心設(shè)計的數(shù)據(jù)增強程序中使用合成數(shù)據(jù)對CNN進行訓(xùn)練。在運行時，每當需要重新初始化標記追蹤的時候，CNN的輸出就用于初始化標記。這種在線標記使得Facebook能夠?qū)崟r重建手部姿勢。簡單來說，就是將3D空間的問題轉(zhuǎn)化到2D平面上來解決。

將3D標記位置輸入標記系統(tǒng)（a），并且呈現(xiàn)為深度圖像（b），然后由CNN將深度圖像將手上的19個3D標記位置進行顏色編碼，用二分匹配將輸入標記與其對應(yīng)的標記標簽相關(guān)聯(lián)。

通過將標記聚類成組并用左/右指針隨機分配來初始化跟蹤器。 左/右手標記被傳遞到在線標記標記管道以獲得每個標記的標記。 應(yīng)用反向運動學(xué)從標記處重建手部姿勢。 如果通過研究人員的重建指標，則跟蹤的標記和手勢將被反饋到下一幀進行在線跟蹤。

肢體追蹤用活靈活現(xiàn)的肢體語言取代了僵硬無力的死板動作，眼球追蹤使空洞呆滯的瞳孔變得炯炯有神。新型的手部追蹤也將幫助人們在電影、游戲、VR中獲得更為靈巧的體驗，跟的上各位單身十八年的手速。