圖像遷移最新成果：人體姿勢和舞蹈動作遷移

加州大學(xué)伯克利分校的研究人員，近日在著名預(yù)印本網(wǎng)站 arXive 上，發(fā)布了最新的圖像遷移成果：人體姿勢和舞蹈動作遷移。旨在把專業(yè)舞蹈演員的動作遷移到不會跳舞的人身上，算法輸出流暢，還原度極高。小編在感嘆黑科技真厲害的同時，不禁為該算法的用途捏一把汗。因為就在不久前的 DeepFakes 深度換臉算法，還被人拿來將明星的臉換到***上。

這篇文章的名字叫做：Everybody Dance Now， 是加州大學(xué)伯克利分校的研究人員：Caroline Chan, Shiry Ginosar, TingHui Zhou, Alexei A. Efros 在8月22日提交到 arXiv上的。文章中提出了一個簡單動作遷移的方法：首先選擇一支單人跳舞視頻作為源視頻，將其中的動作轉(zhuǎn)換到目標視頻中。 只需要幾分鐘，在另一個目標視頻上的目標人員（完全不會跳舞的人）就會呈現(xiàn)同樣的動作。

文章將動作姿態(tài)遷移看作是每一幀上圖像到圖像的轉(zhuǎn)換，同時保證時間和空間的流暢。用動作探測器作為源視頻和目標視頻中間的表示，學(xué)習(xí)了一組從舞者動作畫面到目標物體的映射，并且對這些數(shù)據(jù)進行調(diào)整，讓它與視頻完美融合，同時還加上了真實的人臉合成。通過這一框架，他們讓很多未經(jīng)訓(xùn)練的人跳出了芭蕾和街舞。

文章設(shè)計了能體現(xiàn)動作的中間表現(xiàn)形式：左圖的火柴人。

從目標視頻中，作者用動作識別器為每一幀制作了(火柴人, 目標人物圖像)的組合。有了這樣相關(guān)的數(shù)據(jù)，作者就能用監(jiān)督方法學(xué)習(xí)火柴人和目標人物之間圖像到圖像的轉(zhuǎn)換模型了。之后，為了將源視頻的動作遷移到目標視頻中，作者把火柴人輸入到經(jīng)過訓(xùn)練的模型后，得到和源視頻中人物相同的目標動作。

另外，為了提高生成的質(zhì)量，作者添加了兩個元素：

1. 為了使生成的模型更連貫，作者會根據(jù)上一幀對目前的幀進行預(yù)測；

2. 為了提高生成人臉的真實性，作者加入了經(jīng)過訓(xùn)練的GAN來生成目標人物的臉部。