一種自監(jiān)督同變注意力機(jī)制，利用自監(jiān)督方法來彌補(bǔ)監(jiān)督信號差異

編者按：近日，計算機(jī)視覺頂會 CVPR 2020 接收論文結(jié)果揭曉，從 6656 篇有效投稿中錄取了 1470 篇論文，錄取率約為 22%。中科院VIPL實(shí)驗(yàn)室共七篇論文錄取，內(nèi)容涉及弱監(jiān)督語義分割、活體檢測、手勢識別、視覺問答、行人搜索、無監(jiān)督領(lǐng)域自適應(yīng)方法等方面，本文將予以詳細(xì)介紹。

01

1. Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation (Yude Wang, Jie Zhang, Meina Kan, Shiguang Shan, Xilin Chen)

基于類別標(biāo)簽的弱監(jiān)督語義分割作為一個具有挑戰(zhàn)性的問題在近年來得到了深入的研究，而類別響應(yīng)圖（class activation map，簡稱CAM）始終是這一領(lǐng)域的基礎(chǔ)方法。但是由于強(qiáng)監(jiān)督與弱監(jiān)督信號之間存在差異，由類別標(biāo)簽生成的CAM無法很好地貼合物體邊界。

本文提出了一種自監(jiān)督同變注意力機(jī)制（self-supervised equivariant attention mechanism，簡稱SEAM），利用自監(jiān)督方法來彌補(bǔ)監(jiān)督信號差異。在強(qiáng)監(jiān)督語義分割的數(shù)據(jù)增廣階段，像素層級標(biāo)注和輸入圖像需經(jīng)過相同的仿射變換，自此這種同變性約束被隱式地包含，而這種約束在只有類別標(biāo)簽的CAM的訓(xùn)練過程中是缺失的。因此，我們利用經(jīng)過不同仿射變換的圖片得到的類別響應(yīng)圖本應(yīng)滿足的同變性來為網(wǎng)絡(luò)訓(xùn)練提供自監(jiān)督信號。除此之外，我們提出像素相關(guān)模塊（pixel correlation module，簡稱PCM），通過發(fā)掘圖像表觀信息，利用相似像素的特征來修正當(dāng)前像素的預(yù)測結(jié)果，從而增強(qiáng)CAM預(yù)測結(jié)果的一致性。我們的方法在PASCAL VOC 2012數(shù)據(jù)集上進(jìn)行了充分的實(shí)驗(yàn)，驗(yàn)證了算法的有效性，并取得當(dāng)前最好性能。

02

2. Single-Side Domain Generalization for Face Anti-Spoofing (Yunpei Jia, Jie Zhang, Shiguang Shan, Xilin Chen)

由于不同數(shù)據(jù)集之間存在差異，很多活體檢測方法進(jìn)行跨數(shù)據(jù)集測試時性能下降明顯。現(xiàn)有的一些方法借用領(lǐng)域泛化的思想，利用多個已有的源域數(shù)據(jù)去訓(xùn)練模型，以得到一個領(lǐng)域不變的特征空間，從而在未知的目標(biāo)域中進(jìn)行測試時能利用學(xué)習(xí)到的通用判別特征，去提升模型的泛化性能。但是，由于不同數(shù)據(jù)集之間，攻擊樣本相對于正常樣本存在更大的差異（比如說攻擊方式的不同，攻擊樣本之間采集的環(huán)境差異），努力讓這些攻擊樣本去學(xué)習(xí)一個領(lǐng)域不變的特征空間是比較困難的，通常會得到一個次優(yōu)解，如下圖左邊所示。因此，針對這一個問題，我們提出來一個端到端的單邊領(lǐng)域泛化框架，以進(jìn)一步提升模型的性能。

其中主要思想在于，對于不同數(shù)據(jù)集中的正常樣本，我們?nèi)W(xué)習(xí)一個領(lǐng)域不變的特征空間；但是對于不同數(shù)據(jù)集中的攻擊樣本，我們?nèi)W(xué)習(xí)一個具有分辨性的特征空間，使相同數(shù)據(jù)集中的攻擊樣本盡可能接近，而不同數(shù)據(jù)集中的攻擊樣本盡可能遠(yuǎn)離。最終效果會使攻擊樣本在特征空間中張成更大的區(qū)域，而正常樣本僅僅處在一個緊湊的區(qū)域中，從而能夠?qū)W習(xí)到一個對于正常樣本包圍更緊致的分類器，以達(dá)到在未知的目標(biāo)域上更好的性能，如下圖右邊所示。

具體來說，我們引用一個域判別器，利用一種單邊的對抗學(xué)習(xí)，讓特征提取器僅僅對于正常樣本提取更具有泛化性能的特征。并且，我們提出一個不均衡的三元組損失函數(shù)，讓不同數(shù)據(jù)集之間的正常樣本盡可能接近而攻擊樣本盡可能遠(yuǎn)離，以使得攻擊樣本在特征空間中張成一個更大的范圍。同時，我們還引入了特征和參數(shù)歸一化的思想，進(jìn)一步地提升模型的性能。大量實(shí)驗(yàn)表明，我們提出的方法是有效的，并且在四個公開數(shù)據(jù)庫上均達(dá)到了最優(yōu)的性能。

03

3. Cross-domain Face Presentation Attack Detection via Multi-domain Disentangled Representation Learning (Guoqing Wang, Hu Han, Shiguang Shan, Xilin Chen)

目前，人臉呈現(xiàn)攻擊檢測(Presentation Attack Detection, 簡稱PAD)成為人臉識別系統(tǒng)中一個亟待解決的問題。傳統(tǒng)的方法通常認(rèn)為測試集和訓(xùn)練集來自于同一個域，結(jié)果表明這些方法并不能很好的推廣到未知場景中，因?yàn)閷W(xué)到的特征表示可能會對訓(xùn)練集中的身份、光照等信息產(chǎn)生過擬合。

為此，本文針對跨域人臉呈現(xiàn)攻擊檢測提出一種高效的特征解耦方法。我們的方法包含特征解耦模塊(DR-Net)和多域?qū)W習(xí)模塊(MD-Net)。DR-Net通過生成模型學(xué)習(xí)了一對特征編碼器，可以解耦得到PAD相關(guān)的特征和身份信息相關(guān)的特征。MD-Net利用來自于不同域中解耦得到的特征進(jìn)一步學(xué)習(xí)和解耦，得到與域無關(guān)的解耦特征。在當(dāng)前公開的幾個數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證了所提方法的有效性。

04

4. An Efficient PointLSTM Network for Point Clouds based Gesture Recognition (Yuecong Min, Yanxiao Zhang, Xiujuan Chai, Xilin Chen)

現(xiàn)有的手勢識別方法往往采用視頻或骨架點(diǎn)序列作為輸入，但手部在整張圖片中所占比例較小，基于視頻的方法往往受限于計算量并且更容易過擬合，而基于骨架點(diǎn)的方法依賴于獲取的手部骨架點(diǎn)的精度。

本文提出了一個基于點(diǎn)云序列的長短期記憶模塊 (PointLSTM)，可以直接從手部點(diǎn)云序列中捕獲手型特征和手部運(yùn)動軌跡。該模塊為點(diǎn)云序列中的每一個點(diǎn)保留了獨(dú)立的狀態(tài)，在更新當(dāng)前點(diǎn)的狀態(tài)時，通過一個權(quán)值共享的LSTM融合時空相鄰點(diǎn)的狀態(tài)和當(dāng)前點(diǎn)的特征，可以在保留點(diǎn)云空間結(jié)構(gòu)的同時提取長時序的空間和時序信息。此外，本文還提出了一個幀內(nèi)狀態(tài)共享的模塊（PointLSTM-PSS）用于簡化計算量和分析性能提升來源。我們在兩個手勢識別數(shù)據(jù)集 (NVGesture和SHREC’17) 和一個動作識別數(shù)據(jù)集 (MSR Action3D) 上驗(yàn)證了方法的有效性和泛化能力，提出的模型在4096個點(diǎn)（32幀，每幀采樣128點(diǎn)）的規(guī)模下，優(yōu)于目前最好的基于手部骨架點(diǎn)序列的手勢識別方法和基于點(diǎn)云序列的動作識別方法。

05

5. Multi-Modal Graph Neural Network for Joint Reasoning on Vision and Scene Text (Difei Gao, Ke li, Ruiping Wang, Shiguang Shan, Xilin Chen)

場景圖像中的文字通常會包含豐富的信息，比如，飯店的名字，產(chǎn)品的信息，等等。能夠理解這些場景文字，并回答與此相關(guān)的自然語言問題（即，場景文字問答任務(wù)，Text VQA）的智能體也將會有非常廣泛的應(yīng)用前景。然而，對于當(dāng)前的模型，場景文字問答任務(wù)仍十分具有挑戰(zhàn)。其關(guān)鍵的難點(diǎn)之一就是真實(shí)場景當(dāng)中會出現(xiàn)大量的不常見的，多義的或有歧義的單詞，比如，產(chǎn)品的標(biāo)簽，球隊(duì)的名稱等等。要想讓模型理解這些單詞的含義，僅僅訴諸于詞表有限的預(yù)訓(xùn)練單詞嵌入表示（word embedding）是遠(yuǎn)遠(yuǎn)不夠的。一個理想的模型應(yīng)該能夠根據(jù)場景中周圍豐富的多模態(tài)的信息推測出這些單詞的信息，比如，瓶子上顯著的單詞很有可能就是它的牌子。

根據(jù)這樣的思路，我們提出了一種新的視覺問答模型，多模態(tài)圖神經(jīng)網(wǎng)絡(luò)（Multi-Modal Graph Neural Network，MM-GNN），它可以捕獲圖片當(dāng)中各種模態(tài)的信息來推理出未知單詞的含義。具體來說，如下圖所示，我們的模型首先用三個不同模態(tài)的子圖來分別表示圖像中物體的視覺信息，文本的語言信息，以及數(shù)字型文本的數(shù)值信息。然后，我們引入三種圖網(wǎng)絡(luò)聚合器（aggregator），它們引導(dǎo)不同模態(tài)的消息從一個圖傳遞到另一個圖中，從而利用各個模態(tài)的上下文信息完善多模態(tài)圖中各個節(jié)點(diǎn)的特征表示。這些更新后的節(jié)點(diǎn)特征進(jìn)而幫助后續(xù)的問答模塊。我們在近期提出的Text VQA和Scene Text VQA問答數(shù)據(jù)庫上進(jìn)行了實(shí)驗(yàn)，取得了state-of-the-art的性能，并驗(yàn)證了方法的有效性。

06

6. TCTS: A Task-Consistent Two-stage Framework for Person Search (Cheng Wang,Bingpeng Ma,Hong Chang, Shiguang Shan, Xilin Chen)

當(dāng)前最先進(jìn)的行人搜索方法將行人搜索分為檢測和再識別兩個階段，但他們大多忽略了這兩個階段之間的一致性問題。一般的行人檢測器對 query 目標(biāo)沒有特別的關(guān)注；再識別模型是在手工標(biāo)注的裁剪框上訓(xùn)練的，在實(shí)際情況中是沒有這樣完美的檢測結(jié)果的。

為了解決一致性問題，我們引入了一個目標(biāo)一致的兩階段的行人搜索框架 TCTS，包括一個 identity-guided query（IDGQ）檢測器和一個檢測結(jié)果自適應(yīng)（Detection Results Adapted ，DRA）的再識別模型。在檢測階段，IDGQ 檢測器學(xué)習(xí)一個輔助的身份分支來計算建議框和查詢圖片的相似度得分。同時考慮查詢相似度得分和前景得分，IDGQ為行人再識別階段生成 query-like 的邊界框。在再識別階段，我們預(yù)測檢測輸出的 bounding boxes 對應(yīng)的身份標(biāo)簽，并用使用這些樣本為 DRA 模型構(gòu)造一個更實(shí)用的混合訓(xùn)練集。混合訓(xùn)練提高了 DRA 模型對檢測不精確的魯棒性。我們在CUHK-SYSU和PRW這兩個基準(zhǔn)數(shù)據(jù)集上評估了我們的方法。我們的框架在CUHK-SYSU上達(dá)到了93.9%的mAP和95.1%的rank1精度，超越以往最先進(jìn)的方法。

07

7. Unsupervised Domain Adaptation with Hierarchical Gradient Synchronization (Lanqing Hu,Meina Kan, Shiguang Shan, Xilin Chen)

無監(jiān)督領(lǐng)域自適應(yīng)方法的任務(wù)是，將已標(biāo)注的源域數(shù)據(jù)集上的知識遷移到無標(biāo)注的目標(biāo)域，從而減小對新目標(biāo)域的標(biāo)注代價。而源域和目標(biāo)域之間的差異是這個問題的難點(diǎn)，大多方法通過對齊兩個域的特征的分布來減小域之間的差異，但是仍然很難做到兩個不同分布的每一個局部塊都完美對齊，從而保證判別信息的很好保留。

本文提出一種層級梯度同步的方法，首先在域、類別、類組三個級別通過對抗學(xué)習(xí)進(jìn)行條件分布的對齊，然后通過約束不同級別的域判別器的梯度保證相同的方向和幅度，由此提高分布對齊的內(nèi)在一致性，加強(qiáng)類別結(jié)構(gòu)的保留，從而得到更準(zhǔn)確的分類結(jié)果。該方法在當(dāng)前主流測試集Office-31，Office-Home，VisDA-2017上的結(jié)果都驗(yàn)證了其有效性。