CVPR2019新作：一種基于視頻流的自監(jiān)督特征表達(dá)方法

本文為新欄目——將門好聲音第5期。

作者是來自將門計(jì)算機(jī)視覺社群的群友、中科院計(jì)算技術(shù)研究所VIPL課題組博士生——李勇。本文中，他將為大家介紹中科院計(jì)算所VIPL組的CVPR2019新作：一種基于視頻流的自監(jiān)督特征表達(dá)方法，通過利用巧妙的自監(jiān)督約束信號(hào)，得到提純的面部動(dòng)作特征用于微表情識(shí)別。

如果你也想與廣大群友分享自己的研究工作、文章觀點(diǎn)、出坑經(jīng)驗(yàn)，隨時(shí)與群主小姐姐聯(lián)系！只要內(nèi)容合適，我“門”送你頭條出道！

著名心理學(xué)家Paul Ekman和研究伙伴W.V.Friesen，通過對(duì)臉部肌肉動(dòng)作與對(duì)應(yīng)表情關(guān)系的研究，于1976年創(chuàng)制了“面部運(yùn)動(dòng)編碼系統(tǒng)”，而利用微表情的“讀心術(shù)”正是基于這一研究體系。由于該領(lǐng)域有限的數(shù)據(jù)集和高昂的標(biāo)注成本，有監(jiān)督學(xué)習(xí)的方法往往會(huì)導(dǎo)致模型過擬合。本文中，將為大家介紹中科院計(jì)算所VIPL組的CVPR2019新作：作者提出了一種基于視頻流的自監(jiān)督特征表達(dá)方法，通過利用巧妙的自監(jiān)督約束信號(hào)，得到提純的面部動(dòng)作特征用于微表情識(shí)別。

李勇，中國科學(xué)院計(jì)算技術(shù)研究所視覺信息處理與課題組博士研究生，導(dǎo)師為常虹副研究員以及山世光研究員，研究方向?yàn)殚_放場景下的人臉表情分析。在攻讀博士學(xué)位期間，李勇在 CVPR， TIP 等會(huì)議及期刊上發(fā)表過多篇學(xué)術(shù)論文，其已發(fā)表的會(huì)議文章均被錄取為口頭報(bào)告。此外，李勇獲得ACM Multimedia 2017 親屬關(guān)系識(shí)別國際競賽冠軍。

論文信息：

Yong Li， Jiabei Zeng， Shiguang Shan， Xilin Chen. “Self-Supervised Representation Learning From Videos for Facial Action Unit Detection”， CVPR 2019， pp. 10924-10933， Long Beach， California， USA， June 16-20， 2019.

論文鏈接：

http://openaccess.thecvf.com/content_CVPR_2019/papers/Li_Self-Supervised_Representation_Learning_From_Videos_for_Facial_Action_Unit_Detection_CVPR_2019_paper.pdf

一、研究背景

面部運(yùn)動(dòng)編碼系統(tǒng)（FACS，F(xiàn)acial Action Coding System）從人臉解剖學(xué)的角度，定義了44個(gè)面部動(dòng)作單元（Action Unit，簡稱AU）用于描述人臉局部區(qū)域的肌肉運(yùn)動(dòng)。

圖1. 面部動(dòng)作單元示例

如圖1所示，AU9表示“皺鼻”，AU12表示“嘴角拉伸”。各種動(dòng)作單元之間可以自由組合，對(duì)應(yīng)不同的表情。如“AU4（降低眉毛）+AU5（上眼瞼上升）+AU24（嘴唇相互按壓）”這一組合對(duì)應(yīng)“憤怒”這一情緒狀態(tài)。

面部動(dòng)作單元能夠客觀、精確、細(xì)粒度地描述人臉表情。然而昂貴的標(biāo)注代價(jià)在很大程度上限制了AU識(shí)別問題的研究進(jìn)展，其原因在于不同的AU分布在人臉的不同區(qū)域，表現(xiàn)為不同強(qiáng)度、不同尺度的細(xì)微變化。具體來說，為一分鐘的人臉視頻標(biāo)注一個(gè)AU，需要耗費(fèi)一名AU標(biāo)注專家30分鐘。目前學(xué)術(shù)界已發(fā)布的AU數(shù)據(jù)集只包含了有限的采集對(duì)象，以及有限的人臉圖像（如2017年CMU發(fā)布的GFT數(shù)據(jù)集有96個(gè)人，約35，000張人臉圖像）。

當(dāng)前已有的工作多采用人臉區(qū)域分塊、注意力機(jī)制等方法學(xué)習(xí)人臉局部區(qū)域的AU特征，這類方法在訓(xùn)練階段需要利用精確標(biāo)注的AU標(biāo)簽，由于目前業(yè)界發(fā)布的AU數(shù)據(jù)集人數(shù)及圖像總量不足，采用監(jiān)督學(xué)習(xí)方法訓(xùn)練得到的模型往往呈現(xiàn)出在特定數(shù)據(jù)集上的過擬合現(xiàn)象，這無疑限制了其實(shí)際使用效果。

我們提出了一種能夠在不依賴AU標(biāo)簽的前提下，從人臉視頻數(shù)據(jù)中自動(dòng)學(xué)習(xí)AU表征的方法（Twin-Cycle Autoencoder，簡稱TCAE）。TCAE用于后續(xù)的AU識(shí)別任務(wù)時(shí)，只需要利用訓(xùn)練數(shù)據(jù)訓(xùn)練一個(gè)分類器即可，顯著減少了所需的訓(xùn)練數(shù)據(jù)，并提升了模型的泛化能力。

二、方法概述

如圖2所示，該方法以兩幀人臉圖像（源圖，目標(biāo)圖）之間的運(yùn)動(dòng)信息為監(jiān)督信號(hào)，驅(qū)使模型提取出用于解碼運(yùn)動(dòng)信息的圖像特征。這個(gè)方法的理念在于，模型只有感知并理解了人臉圖像中各個(gè)面部動(dòng)作單元的狀態(tài)（AU是否激活），才能夠?qū)⒃磮D的面部動(dòng)作轉(zhuǎn)換為目標(biāo)圖像的面部動(dòng)作。

圖2. TCAE 設(shè)計(jì)圖

考慮到兩幀人臉圖像之間的運(yùn)動(dòng)信息包含了AU以及頭部姿態(tài)的運(yùn)動(dòng)分量，TCAE通過利用巧妙的自監(jiān)督約束信號(hào)，使得模型能夠分離出AU變化引起的運(yùn)動(dòng)分量，以及頭部姿態(tài)變化引起的運(yùn)動(dòng)分量，從而得到提純的AU特征。與其他監(jiān)督方法，TCAE可以利用大量的無標(biāo)注人臉視頻，這類視頻是海量的。與半監(jiān)督或者弱監(jiān)督方法相比， TCAE采用了自監(jiān)督信號(hào)進(jìn)行模型訓(xùn)練，避免了對(duì)數(shù)據(jù)或者標(biāo)簽的分布做出任何假設(shè)。

三、算法詳解

如圖3所示，TCAE包含四個(gè)階段，分別是特征解耦，圖像重建，AU循環(huán)變換，以及姿態(tài)（pose）循環(huán)變換。

圖3. TCAE的四個(gè)階段示意圖，四個(gè)階段分別是特征解耦，圖像重建，AU循環(huán)變換，以及姿態(tài)循環(huán)變換。

給定兩張人臉圖像，TCAE在特征解耦階段使用編碼器得到每張圖像的AU特征以及姿態(tài)特征，隨后，兩幀圖像的AU特征被送入AU解碼器，用于解碼出AU位移場；兩幀圖像的姿態(tài)特征被送入姿態(tài)解碼器，用于解碼出姿態(tài)位移場?？紤]到AU的變化是稀疏的，且AU位移場的數(shù)值與姿態(tài)位移場相比更小，我們?yōu)锳U位移場添加了L1約束：

在目標(biāo)圖重建階段，TCAE通過線性組合AU位移場和pose位移場，得到源圖和目標(biāo)圖之間的整體位移場，進(jìn)行圖像重建：

在AU循環(huán)變換階段，僅變換了AU的人臉圖像被重新變換到源圖，由此我們獲得一個(gè)像素層面的一致性約束：

另外，對(duì)于變換了AU的人臉圖像，其AU特征應(yīng)該接近目標(biāo)圖像的AU特征，其姿態(tài)特征應(yīng)該和源圖的姿態(tài)特征一致，由此我們獲得一個(gè)特征層面的一致性約束：

同理，在pose循環(huán)變化階段，我們同樣可以獲得類似的像素及特征層面的一致性約束：

四、實(shí)驗(yàn)結(jié)果

多個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)證明，TCAE能夠成功提取出人臉圖像的AU及姿態(tài)特征。如圖4所示，給定兩張人臉圖像（源圖，目標(biāo)圖），TCAE能夠僅僅改變?cè)磮D的AU或者頭部姿態(tài)?？梢暬腁U位移場呈現(xiàn)出運(yùn)動(dòng)方向的多樣性。

圖4. 可視化結(jié)果在AU識(shí)別任務(wù)上，TCAE取得了與監(jiān)督方法可比的性能。

表1及表2的結(jié)果表明，TCAE明顯優(yōu)于其他自監(jiān)督方法。在GFT數(shù)據(jù)集（該數(shù)據(jù)集存在大范圍的頭部姿態(tài)變化）上，TCAE的性能優(yōu)于其他監(jiān)督方法。

表1. BP4D及DISFA數(shù)據(jù)集評(píng)測(cè)結(jié)果

（評(píng)測(cè)標(biāo)準(zhǔn)：F1 值 （%））

表2. GFT及EmotioNet數(shù)據(jù)集評(píng)測(cè)結(jié)果（評(píng)測(cè)標(biāo)準(zhǔn)：F1 值 （%） ）

五、總結(jié)與展望

TCAE通過自監(jiān)督的方法學(xué)習(xí)到了魯棒的AU表征，實(shí)驗(yàn)證明該AU表征是魯棒的，適用于AU分類任務(wù)的?？梢暬Y(jié)果表明，TCAE具有潛在的人臉表情編輯價(jià)值。另外，TCAE在訓(xùn)練階段使用了大量的無標(biāo)簽數(shù)據(jù)（近6000人，約10，000，000張圖像），由此可見使用自監(jiān)督方法訓(xùn)練模型時(shí)數(shù)據(jù)利用的效率需要進(jìn)一步提高，這一點(diǎn)在BERT的實(shí)驗(yàn)分析中也得到了印證：

Good results on pre-training is 》1，000x to 100，000 more expensive than supervised training.