未來，HeadOn這樣的AI欺騙人類的概率很可能會達(dá)到99%

“變臉”技術(shù)已經(jīng)不新奇，來自德國慕尼黑工業(yè)大學(xué)、斯坦福大學(xué)等的一組研究人員最近開發(fā)了一個叫“HeadOn”的AI，它可以“變?nèi)恕薄鶕?jù)輸入人物的動作，實時地改變視頻中人物的面部表情、眼球運動和身體動作，使得圖像中的人看起來像是真的在說話和移動一樣。

來自德國慕尼黑工業(yè)大學(xué)、斯坦福大學(xué)等的一組研究人員最近開發(fā)了一個AI，它可以將你的實時的面部表情、眼球運動和姿勢轉(zhuǎn)換成肖像，使得圖像中的人看起來像是真的在說話和移動。這種技術(shù)創(chuàng)造的肖像非常逼真，甚至逼真得令人不安。

這個AI被稱為HeadOn，創(chuàng)造它的人正是去年研發(fā)了令人瞠目結(jié)舌、引發(fā)很大爭議的“變臉AI”Face2Face的團(tuán)隊。事實上，HeadOn可以說是Face2Face系統(tǒng)的升級版。

研究人員在論文里將這個系統(tǒng)稱為“首個人體肖像視頻的實時的源到目標(biāo)（source-to-target）重演方法，實現(xiàn)了軀干運動、頭部運動、面部表情和視線注視的遷移”。

根據(jù)研究人員的說法，沒有其他系統(tǒng)能做到這樣。它結(jié)合了多種技術(shù)——其中大部分是由這個研究團(tuán)隊首創(chuàng)或完善的。

為了解決視線注視的問題，該團(tuán)隊之前開發(fā)了FaceVR：

研究團(tuán)隊去年在Face2Face上所做的工作為HeadOn的大部分能力提供了框架，但Face2Face只能實現(xiàn)面部表情的轉(zhuǎn)換，HeadOn增加了身體運動和頭部運動的遷移。

在論文中，作者進(jìn)一步介紹了HeadOn，這是一個用普通RGB-D相機(jī)錄制的人像視頻的重演（reenactment）系統(tǒng)。該系統(tǒng)通過不僅控制面部表情的變化，而且重演了頭部、上身的擺動和眼睛注視的方向，克服了當(dāng)前的面部重演方法的局限性。也就是說，重演了視頻中的整個人體。

HeadOn技術(shù)的圖示

這個方法的核心是將對變形代理的精確跟蹤與基于視圖的紋理相結(jié)合，進(jìn)行基于視頻的重新渲染。

為了實現(xiàn)這一目標(biāo)，研究人員提出了一種新方法，可以快速、自動地從一個簡短的RGB-D初始化序列中構(gòu)建人的頭部和軀干的幾何代理（proxy）。這個虛擬形象具有完整頭部的參數(shù)化3D模型，使用混合形狀進(jìn)行表情控制，并與個性化的上身模型集成。

自動合成一個上半身模型

一種新的實時重現(xiàn)算法利用這個代理來真實地映射面部表情和眼睛注視，以及捕獲的源參與者對目標(biāo)參與者的頭部動作和身體動作。

為此，研究人員提出一種新的基于視頻的渲染方法，合成重新映射的目標(biāo)人像視頻。

部分結(jié)果

總結(jié)而言，這個研究的貢獻(xiàn)如下：

快速自動構(gòu)建個性化的幾何代理，嵌入?yún)?shù)化的人臉、眼睛、整個頭部和上半身模型；

提出一種逼真的、基于視圖的、與姿勢相關(guān)的紋理和合成方法；

對source actor的穩(wěn)健的跟蹤方法；

以及實時source-to-target 重演的完整人像視頻。

爭議、改進(jìn)和局限性

視頻演示甚至有些令人毛骨悚然，你幾乎立即可以想到壞人會利用這種技術(shù)做出什么可怕的事情。試想一下，視頻通話中的人有可能是假冒的，這太可怕了！

但是，任何技術(shù)都有可能用于邪惡目的，只要開發(fā)者能以某種方式使輸出可以檢測，那么至少可以防止AI被濫用。值得一提的是，這個AI的積極應(yīng)用有很多。正如研究人員所說：

盡管當(dāng)前的面部重現(xiàn)技術(shù)效果令人印象深刻，但它們在操控類型上仍然存在著根本性的限制。例如，這些方法只能修改面部表情，但頭部的姿態(tài)很僵硬，例如頭的方向一直是保持不變的，不會隨著輸入視頻而變。因此，這樣的技術(shù)能實現(xiàn)的只是細(xì)微的變化，例如張開嘴，或皺皺眉。

如果你曾使用Animoji或Bitmoji來聊天，你可能已經(jīng)注意到這些表情看起來是多么不自然——至少對我們這些看動畫片長大的人來說很不自然——說話時不會動腦袋和脖子，面部表情也只有那幾種。例如，當(dāng)一個人皺眉時，通常會伴隨著低頭和耷拉肩。這些微妙的動作是我們身體語言的一部分，沒有身體動作，只有一個會說話的腦袋就顯得很奇怪。HeadOn修復(fù)了這個不和諧的問題，并通過將幾個先進(jìn)的神經(jīng)網(wǎng)絡(luò)結(jié)合在一起，產(chǎn)生了更為自然的結(jié)果。

局限：對長頭發(fā)的人處理不怎么好

這個系統(tǒng)當(dāng)然還不是完美的；在高清分辨率下進(jìn)行測試，除了最遲鈍的觀眾之外，所有人都覺察到圖像被操縱了。而且，根據(jù)研究人員的說法，這個AI不怎么會處理長頭發(fā)的人，產(chǎn)生的輸出較為粗糙。但這些小問題未來可以解決。

這個“變臉”項目已經(jīng)持續(xù)多年，未來，HeadOn這樣的AI欺騙人類的概率很可能會達(dá)到99%。