一個被稱為“模式自適應(yīng)神經(jīng)網(wǎng)絡(luò)”的新神經(jīng)網(wǎng)絡(luò)架構(gòu)

針對四足動物的動畫生成問題，愛丁堡大學(xué)的研究人員開發(fā)了一個被稱為“模式自適應(yīng)神經(jīng)網(wǎng)絡(luò)”的新神經(jīng)網(wǎng)絡(luò)架構(gòu)，它可以從實際的運(yùn)動數(shù)據(jù)學(xué)習(xí)，生成非常自然的動畫。團(tuán)隊在今天開源了所有代碼、數(shù)據(jù)和編譯的demo。

創(chuàng)作四足動物動畫是計算機(jī)動畫行業(yè)一個特別困難的問題。四足動物動畫在電腦游戲和電影中的應(yīng)用很重要，同時也是機(jī)器人領(lǐng)域的一個具有挑戰(zhàn)性的話題。傳統(tǒng)方法制作四足動物動畫時，動畫師必須經(jīng)過特殊培訓(xùn)，設(shè)計出各種復(fù)雜的動作，然后利用各種DCC軟件進(jìn)行動作捕捉。

針對四足動物的動畫生成問題，來自愛丁堡大學(xué)HE ZHANG、SEBASTIAN STARKE、TAKU KOMURA和Adobe Research的JUN SAITO等人的團(tuán)隊開發(fā)了一個被稱為“模式自適應(yīng)神經(jīng)網(wǎng)絡(luò)”的新神經(jīng)網(wǎng)絡(luò)架構(gòu)，它可以從實際的運(yùn)動數(shù)據(jù)學(xué)習(xí)，生成自然的動畫。系統(tǒng)不需要對相位或運(yùn)動步態(tài)進(jìn)行標(biāo)記，而是從非結(jié)構(gòu)化的運(yùn)動捕獲數(shù)據(jù)，以端到端的方式學(xué)習(xí)。

整個研究使用 Unity3D / Tensorflow 完成，并且團(tuán)隊在今天開源了所有代碼、數(shù)據(jù)和編譯的demo。

模式自適應(yīng)神經(jīng)網(wǎng)絡(luò)

四足動物運(yùn)動的多模態(tài)造成了動畫制作的復(fù)雜性。四足動物有多種移動模式，例如步行、踱步、快走、慢跑、疾跑等，運(yùn)動時其軀干和四肢的相位變化非常復(fù)雜。

圖：不同的四足運(yùn)動模式。橫條表示每條腿的站立相位。右側(cè)的圖像表示步態(tài)周期中腳接觸的順序。

目前還沒有以數(shù)據(jù)驅(qū)動的方式系統(tǒng)地構(gòu)建四足動物運(yùn)動控制器的工作。除了上面提到的運(yùn)動復(fù)雜性外，困難還來源于四足動物與人類不同，無法進(jìn)行受控的數(shù)據(jù)采集。因此，捕獲的數(shù)據(jù)往往不是結(jié)構(gòu)化的。使用這些數(shù)據(jù)設(shè)計角色控制器時，工程師需要手動/半自動地提取步態(tài)周期和轉(zhuǎn)換，再將它們拼接在一起，調(diào)整motion trees和有限狀態(tài)機(jī)的參數(shù)。因此，傳統(tǒng)的方法要么效率低，要么不精確。

上圖展示了基于動作捕捉實現(xiàn)的動畫制作，但捕捉的動畫是非結(jié)構(gòu)化的，而且隨機(jī)動作太過廣泛。捕捉的數(shù)據(jù)不是很精準(zhǔn)，動作存在很多噪波，細(xì)節(jié)的地方還需要后期修正。

上圖是通過標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)生成的動畫，但會產(chǎn)生失真和明顯的滑步。

上圖的動畫由相位函數(shù)神經(jīng)網(wǎng)絡(luò)（Phase-Functioned Neural Networks）的方式生成，優(yōu)點是動作精準(zhǔn)，但是當(dāng)兩個動作進(jìn)行融合時動作顯得僵硬，而且操控不是那么靈敏。

這個新研究提出了一種新的網(wǎng)絡(luò)架構(gòu)——模式自適應(yīng)神經(jīng)網(wǎng)絡(luò)（Mode-Adaptive Neural Networks ，MANN），它可以從大量的非結(jié)構(gòu)化四足動物運(yùn)動捕獲數(shù)據(jù)中學(xué)習(xí)運(yùn)動控制器。

MANN架構(gòu)圖示，由門控網(wǎng)絡(luò)和運(yùn)動預(yù)測網(wǎng)絡(luò)組成。

這個系統(tǒng)由運(yùn)動預(yù)測網(wǎng)絡(luò)和門控網(wǎng)絡(luò)組成。在每一幀處，運(yùn)動預(yù)測網(wǎng)絡(luò)在給定的前一幀的狀態(tài)和用戶提供控制信號的情況下計算當(dāng)前幀的角色狀態(tài)。門控網(wǎng)絡(luò)通過選擇和混合所謂的專家權(quán)重（expert weights），動態(tài)地更新運(yùn)動預(yù)測網(wǎng)絡(luò)的權(quán)重，每個expert weight都專門針對特定的運(yùn)動。

MANN與以前方法的對比

這種架構(gòu)提供了靈活性，使得系統(tǒng)能夠在廣泛的非周期動作和周期性的無標(biāo)記步態(tài)類型中學(xué)習(xí)一致的特征。這個框架可以將開發(fā)人員從冗長而困難的相位標(biāo)記工作中解放出來。特別是，我們的模型不需要單獨的標(biāo)簽來區(qū)分不同的步態(tài)，這種區(qū)分即使對人類來說也很難，因此，可以在數(shù)據(jù)預(yù)處理過程避免步態(tài)錯誤。

該研究的貢獻(xiàn)可概括如下：

提出第一個構(gòu)建數(shù)據(jù)驅(qū)動的四足角色控制器的系統(tǒng)方法，它可以合成具有各種運(yùn)動模式和動作轉(zhuǎn)換的高質(zhì)量動畫。

提出一種新穎的端到端神經(jīng)網(wǎng)絡(luò)架構(gòu)，可以從非結(jié)構(gòu)化的四足動物運(yùn)動捕捉數(shù)據(jù)中學(xué)習(xí)，而無需提供相位和運(yùn)動步態(tài)標(biāo)簽。

通過與現(xiàn)有方法進(jìn)行比較，對所提出的架構(gòu)進(jìn)行了全面評估。

數(shù)據(jù)準(zhǔn)備和結(jié)果

研究人員使用狗的動作捕捉（Dog Motion Capture）作為訓(xùn)練數(shù)據(jù)。這些數(shù)據(jù)包含各種運(yùn)動模式，例如步行、踱步、小跑、跑步等，以及其他類型的動作，例如坐、站、閑散，躺著和跳躍。通過鏡像將數(shù)據(jù)規(guī)模加倍。

實驗中使用的狗模型的骨架結(jié)構(gòu)。由27塊骨頭組成，總共有81個自由度。

表1：狗運(yùn)動數(shù)據(jù)集和運(yùn)動類型

四足動物在不平坦地形上行走

沿預(yù)定的地面軌跡的行走?？梢杂^察到，即使在突然轉(zhuǎn)彎的情況下，它也能很好地沿著曲線運(yùn)動。

值得一提的是，這個研究延續(xù)自去年該團(tuán)隊所做的“用于角色控制的 Phase-Functioned 神經(jīng)網(wǎng)絡(luò)”（PFNN）工作，當(dāng)時在SIGGRAPH 2017大會演示，同樣令人印象深刻。