大型人臉偽造視頻數據集：用深度學習算法XceptionNet實現了“假臉”檢測

幾個月前，深度學習算法deepfakes風靡社交網絡，引發(fā)無數網友將無辜女明星的臉用于合成AV。事件曝光后后，Reddit立即封禁了所有帖子，但它產生的惡劣影響卻令人擔憂——如今隨便一個普通人憑著一張GPU、一堆足夠多的訓練數據就能實現人臉替換，而且它的效果好到能超出人眼識別的范圍，那么我們該如何防止它被濫用于損害他人名譽？又或者說，我們對以后在視頻中看到的內容又該保有幾分信任？

為了解決這個問題，近日慕尼黑工業(yè)大學（TUM）等高校的研究人員制作了一個名為FaceForensics的大型人臉偽造視頻數據集，并成功用深度學習算法XceptionNet實現了“假臉”檢測。以下是對論文部分內容的編譯：

哪張臉是真實的臉？

摘要

隨著計算機視覺和圖像處理技術取得最新進展，現在我們已經能做到在視頻中實時合成極其逼真的人臉。這項技術的背后是無限的應用空間，但其中的某些濫用行為卻為我們拉響了安全警報，因此開發(fā)一個可靠的虛假視頻檢測器迫在眉睫。

事實上，區(qū)分原始視頻和造假視頻對人和計算機來說都是一個挑戰(zhàn)，特別是在視頻被壓縮或分辨率較低的情況下，而這種視頻一般多見于社交媒體網站。由于缺乏足夠大的數據集，以往對人臉偽造視頻檢測的研究一直因受阻而停滯不前。為此，我們引入了一個全新的人臉偽造數據集，它包含約50萬張人臉圖像（來自1004個視頻），圖像所涉及的作偽技術都是當前最先進的，且在質量上超過現有同類視頻處理數據集至少一個數量級。

通過使用這個新數據集，我們提出了一種能在各種分類、剪輯、壓縮情況下對圖像進行經典圖像取證的基準，此外，我們還提引入了基準評估，它能在現實基礎上創(chuàng)建已知的、難以區(qū)分的偽造模型，例如生成細化模型。

數據集FaceForensics

FaceForensics中包含的數據來自1004個視頻，它由兩個子集組成。其中第一個數據集（source-to-target）包含的是存在差異的源視頻和目標視頻，而第二個數據集（self-reenactment）則是輸入視頻后由face2face還原的視頻，即源視頻與目標視頻相同。這兩個數據集允許我們訪問合成圖像和真實圖像的真值對（ground truth pairs）。

源-目標數據集：源演員的原始輸入圖像—目標演員的原始輸入圖像—重演結果—合成期間使用的3D模型

數據搜集：所有數據都來自YouTube。我們選擇的是分辨率大于480p的視頻，它們在YouTube8m上已用“face”“newscaster”或“newsprogram”進行了標記。通過使用Viola-Jones人臉檢測器，我們從圖片中提取了包含超過300個連續(xù)幀的人臉視頻序列，之后再剪輯成果并手動放映，從中篩選出優(yōu)質的、無遮擋的視頻。

數據處理：為了處理視頻，我們使用的方法是最先進的face2face，它能完全自動重演操作，并能在不同表情條件下重新渲染視頻中的人臉。在預處理階段，我們用第一幀獲取人臉的3D模型，并在剩下的幀中跟蹤表情。為了改善個體擬合和靜態(tài)紋理估計，面部左右角度的檢測框是自動選擇的，而這在face2face里原本是手動完成的。簡而言之，通過追蹤表情，我們能實現個體擬合和靜態(tài)紋理估計；而通過個體重建，我們就能追蹤整個視頻來計算每一幀的表達式、rigid pose和照明參數。

這兩個數據集的目標主要有以下兩點：

驗證用當前最先進技術生成的偽造視頻在分類和分割時會有什么樣的表現。

能否使用生成網絡提高偽造質量。

偽造分類任務

偽造分類任務的目的是識別偽造圖像，它可以被看作是一個二元分類問題，逐幀處理視頻。在數據集的支持下，我們理想中的檢測算法不僅能分類高清視頻，它應該也能分類視頻被壓縮或分辨率較低的視頻。為了測試算法的性能，我們用H.264壓縮算法設置了3個視頻壓縮基線：無壓縮視頻、參數為23的低壓縮視頻和參數為40的高壓縮視頻。

各基線的清晰度對比

我們在數據集上測試了一系列CNN模型，其中包括一個基于XceptionNet CNN架構的遷移模型。首先，我們在ImageNet上事先把XceptionNet CNN訓練好，并對數據集進行微調。在微調期間，我們固定與整個神經網絡前4個模塊相對應的36個卷積層，然后把最后一層替換成兩個帶輸出的全連接層，隨機初始化后進行10個epoch的訓練。

當網絡連續(xù)5個epoch基本保持不變后，為了優(yōu)化輸出，我們又引入了一些超參數來進行評估：Adam、學習率=0.001、β1=0.9、β2=0.999、batch-size=64。下表是我們得出的各模型分類準確率：

分類準確率：無壓縮 (no-c)；低壓縮 (easy-c)；高壓縮(hard-c)

可以發(fā)現，在無壓縮情況下，所有模型都表現良好，而隨著視頻清晰度的下降，它們的準確率也都出現了不同程度的下降，其中較淺的CNN表現尤為明顯，而XceptionNet CNN總體表現優(yōu)秀。事實上，這種下降是可以接受的，因為一旦視頻變得很模糊，人眼也無法作出準確的區(qū)分。

偽造分割任務

處理圖像的像素級分割是一項非常具有挑戰(zhàn)性的任務，而對于圖像取證，最有效的一種方法是根據基于相機的偽像（如傳感器噪聲，去馬賽克）。但這種方法在我們的數據集上并沒有很好的表現，即便是未壓縮的視頻，它的表現也很一般。所以我們還是得用深度學習方法，用數據集進行充分訓練。

因為XceptionNet之前在分類任務中表現良好，所以這里我們還是把它作為對比模型之一。在測試時，神經網絡的滑動窗口以128×128像素大小移動，步長16。每個圖像塊Wi計算出操作概率的估計值p?i= CNN(Wi)，然后把它分配給中央的16×16區(qū)域。（詳細過程略）

同樣的，當網絡連續(xù)5個epoch基本保持不變后，我們再次引入學習率=0.001、β1=0.9、β2=0.999進行優(yōu)化。因為要將和16個原圖像、偽造圖像相關的3個原圖像塊、偽圖像塊組合訓練，這次的batch-size=96。

精度和召回率

偽造人臉分割結果

如上圖所示，這次我們沿用了之前的定量評估，發(fā)現隨著壓縮率的上升，各模型分割性能都出現了明顯下降。最終，在高壓縮視頻中，只有基于XceptionNet的模型給出了較好的輸出。

反向用于生成偽像

在我們的“偽造分類任務”中，實驗證明Face2Face可以從未壓縮的視頻中檢測到相當多的數據信息，這就產生了一個問題，即這個數據集是否也能用于相反的目標——進一步提升合成人訓練的逼真程度。為了證實這一點，我們用包含521,406個目標真值的第二個數據集做了一次監(jiān)督學習。

帶有skip connection的自動編碼器（AE）

作為基準，我們設計了一個帶有skip connection的自動編碼器CNN架構，它將128×128像素的圖像作為輸入，并預測具有相同分辨率的圖像（見上圖）。為了從人臉圖像中獲得有意義的特征，我們先使用VGGFace2數據集以無監(jiān)督學習的方式對自動編碼器網絡進行預訓練。該數據集包含9131個類別的313萬幅圖像，比我們的數據集多，但沒有經過標記。我們禁用了skip connection，強迫神經網絡完全依靠瓶頸層進行訓練。

之后，我們又對FaceForensics中的368,135個訓練圖像進行微調，并把經過預訓練的自動編碼器網絡放在上面訓練。我們輸入一張假臉，把監(jiān)督學習的loss設置成1，啟用skip connection，以便網絡能輸出更清晰的結果。

上圖展示了我們的成果。通過拉近特寫鏡頭，可以發(fā)現比起Face2Face，我們改進自動編碼器后生成的圖片能顯示更多細節(jié)。Face2Face在鼻孔、鼻子、下巴和臉頰周圍會生成大量偽影，我們的方法不僅讓這些區(qū)域的線條更清晰，還修改了人臉3D模型與背景之間的過渡錯誤。同時，它還改進了Face2Face由于照明參數估計錯誤導致的偽影問題。