人臉識別路漫漫：清華、北大等提出AT3D人臉識別系統(tǒng)攻擊方法

向大家分享一篇新出的CVPR 2023論文，研究方向是人臉識別系統(tǒng)的對抗攻擊?？戳诉@篇文章你可能會立刻關(guān)閉你手機(jī)里和人臉識別相關(guān)的敏感應(yīng)用，比如支付。

▌Towards Effective Adversarial Textured 3D Meshes on Physical Face Recognition

論文作者：Xiao Yang,Chang Liu,Longlong Xu,Yikai Wang,Yinpeng Dong,Ning Chen,Hang Su,Jun Zhu

作者單位：清華大學(xué);北京大學(xué); RealAI; Zhongguancun Laboratory

論文鏈接：http://arxiv.org/abs/2303.15818v1

人臉識別，安全嗎？

目前人臉識別技術(shù)的應(yīng)用越來越廣了，門禁、監(jiān)控、手機(jī)解鎖、移動支付讓我們享受到了人臉識別技術(shù)帶給我們的便利性。

即使是最名不見經(jīng)傳的人臉識別解決方案提供商，也聲稱人臉識別準(zhǔn)確率99%以上，但它真的足夠安全嗎？

對人臉識別系統(tǒng)的攻擊，可以分為兩大方面：

逃避識別：張三不想在視頻中被識別出來；

引導(dǎo)系統(tǒng)誤識別：張三故意讓系統(tǒng)把自己識別為李四。

一種直觀的想法是，我就打印一張人臉圖片貼在臉上，嗯，做黑產(chǎn)的人就是這么想的，這就是人臉識別系統(tǒng)的物理攻擊。

不過現(xiàn)有的人臉識別系統(tǒng)均配有人臉活體檢測等反欺詐技術(shù)，低端的物理攻擊已經(jīng)不太奏效。

2D和3D攻擊對比

如上圖中打印一張人臉紋理紙貼臉上，這種人看起來怪怪的操作，早期也是可以讓人臉識別系統(tǒng)陷入錯誤的，但在有類似深度信息和紅外信息的反欺詐系統(tǒng)面前，特征就太明顯了。

所以3D攻擊就出現(xiàn)了，通過打印制作一個遮蓋”眼鼻“的面罩，迷惑系統(tǒng)。如下圖：

這就是今天介紹的論文Towards Effective Adversarial Textured 3D Meshes on Physical Face Recognition的研究內(nèi)容：如何設(shè)計更好的3D面罩，攻破人臉識別系統(tǒng)，實驗結(jié)果顯示，現(xiàn)有的人臉識別系統(tǒng)在這種物理攻擊面前”潰不成軍“。

特別需要注意的是，清華、北大的這篇論文，不是僅僅在實驗室里自己搭建了一套人臉識別系統(tǒng)，自己的矛攻自己的盾，而是對商用系統(tǒng)進(jìn)行攻擊。

攻擊原理

通過上面的介紹，我們已經(jīng)知道，攻擊的技術(shù)核心變?yōu)?，打印什么樣?D面罩了。

無論是上面的哪一種攻擊，其實最終都是要迷惑系統(tǒng)，讓系統(tǒng)把攻擊者誤識別為他人。直接打印一張包含其他人（我們稱他/她為”受害者“吧）的人臉紋理的面罩？這看起來好像可以試一試，但復(fù)雜的光照、變化的姿態(tài)表情是影響身份識別的。

這篇論文提供了更”好“的方法，總結(jié)起來就是：針對人臉識別系統(tǒng)，端到端”設(shè)計“3D面罩，然后3D打印出來。

請看下圖：

”攻擊者“和”受害者“的人臉圖片首先使用3DMM算法進(jìn)行人臉重建，其得到的系數(shù)，定義了人臉的形狀、姿態(tài)、紋理等，即一套系數(shù)就是一張?zhí)囟ǖ娜四槨Ｓ?xùn)練的時候是調(diào)整這套系數(shù)對人臉特定區(qū)域（眼鼻部位）進(jìn)行建模，得到一個3D網(wǎng)格，這個3D網(wǎng)格渲染后”戴到“攻擊者的人臉圖像上，然后把這張圖片和受害者的圖片輸入給人臉識別系統(tǒng)，人臉識別部分的loss反向指導(dǎo)系統(tǒng)參數(shù)的更新。

很明顯這個3D網(wǎng)格就是端到端設(shè)計出來的3D面罩。

論文中稱，訓(xùn)練時所有步驟都是端到端可微的，包括渲染。

當(dāng)然，我們是否可以不用對人臉進(jìn)行3D重建，不在這套系數(shù)上更新參數(shù)呢？當(dāng)然是可以的，但論文中稱，在3DMM空間中進(jìn)行參數(shù)更新，相當(dāng)于正則化，而且實驗證明，效果是又快又好！（有沒有更好的，針對人臉系統(tǒng)攻擊的人臉3D重建方法，也許是值得探索的方向）

另外，為什么選擇的是人臉的”眼鼻“部位呢？其實作者分析并試驗了眼睛、眼鼻、整個臉下半部，發(fā)現(xiàn)眼鼻是攻擊效果最好的。這好像也不難理解，眼鼻部位受人臉表情影響比較小，而且?guī)缀鯖]有什么局部變化。

實驗結(jié)果

實驗結(jié)果是驚人的。

作者們公布了其在主流的公開的人臉識別算法（ArcFaceMobileFace等）上的攻擊結(jié)果，幾乎全部都能實現(xiàn)80%攻擊成功率，部分情況100%攻擊成功。

在商用系統(tǒng)上的攻擊結(jié)果依然”觸目驚心“。包括三個識別API、四個反欺詐API、兩個流行的手機(jī)和兩個自動門禁系統(tǒng)。

因為比較敏感，本文不會提及作者選擇的商用系統(tǒng)的名字，感興趣的朋友可以去讀讀論文。

希望這樣的研究，能被更多技術(shù)開發(fā)人員了解，促進(jìn)人臉識別技術(shù)的應(yīng)用成熟，看來要走的路還很長！

審核編輯 ：李倩