NVIDIA AI使用視頻輸入改進(jìn)運(yùn)動(dòng)捕捉動(dòng)畫模型

來(lái)自 NVIDIA 、多倫多大學(xué)和矢量研究所的研究人員提出了一種新的運(yùn)動(dòng)捕捉方法，即使用昂貴的運(yùn)動(dòng)捕捉硬件。它僅使用視頻輸入來(lái)改進(jìn)過(guò)去的運(yùn)動(dòng)捕捉動(dòng)畫模型。

YouTuber 和圖形研究人員 Károly Zsolnai-Fehér 博士在他的 YouTube 系列文章 兩分鐘的論文 中詳細(xì)介紹了這項(xiàng)創(chuàng)新技術(shù)的研究。這段視頻強(qiáng)調(diào)了研究人員如何僅通過(guò)視頻輸入捕獲使用人工智能的個(gè)體，并將其轉(zhuǎn)化為數(shù)字化身。然后，他們可以給阿凡達(dá)一個(gè)物理模擬，以消除腳滑動(dòng)和時(shí)間不一致或閃爍的傳統(tǒng)挑戰(zhàn)。

“在本文中，我們引入了一種新的框架，用于從原始視頻姿勢(shì)估計(jì)中訓(xùn)練運(yùn)動(dòng)合成模型，而不使用運(yùn)動(dòng)捕捉數(shù)據(jù)，” Kevin Xie 在論文中解釋道。

“我們的框架通過(guò)接觸不變優(yōu)化（包括接觸力的計(jì)算）實(shí)施物理約束，從而細(xì)化噪聲姿勢(shì)估計(jì)。然后，我們?cè)诩?xì)化的姿勢(shì)上訓(xùn)練時(shí)間序列生成模型，合成未來(lái)的運(yùn)動(dòng)和接觸力。我們的結(jié)果表明，這兩種姿勢(shì)的性能都有顯著提升通過(guò)我們基于物理的細(xì)化和視頻的運(yùn)動(dòng)合成結(jié)果進(jìn)行估計(jì)。我們希望通過(guò)利用大量在線視頻資源，我們的工作將導(dǎo)致更具可伸縮性的人體運(yùn)動(dòng)合成。”

圖 2 。 AI 使用運(yùn)動(dòng)捕捉來(lái)捕捉運(yùn)動(dòng)，將個(gè)人動(dòng)畫化為數(shù)字化身，并提供物理模擬來(lái)準(zhǔn)確模擬現(xiàn)實(shí)生活中的運(yùn)動(dòng)。

這個(gè)框架使人們離在虛擬世界中工作和玩耍更近了一步。它將幫助開發(fā)人員以更便宜的價(jià)格制作人體運(yùn)動(dòng)動(dòng)畫，并提供更豐富的運(yùn)動(dòng)多樣性。從視頻游戲到虛擬世界，這個(gè)框架無(wú)疑將影響我們可視化人類運(yùn)動(dòng)合成的方式。

關(guān)于作者

Nathan Horrocks 是 NVIDIA Research 的內(nèi)容營(yíng)銷經(jīng)理。他重點(diǎn)強(qiáng)調(diào)了 NVIDIA 實(shí)驗(yàn)室在世界各地進(jìn)行的驚人研究。

審核編輯：郭婷