科技是把雙刃劍：令人擔(dān)心的事情還是發(fā)生了

AI造假技術(shù)終究還是被濫用了。美聯(lián)社報道稱，一名間諜使用 AI 生成的個人資料和圖片在知名全球職場社交平臺LinkedIn上欺騙聯(lián)系人，包括政治專家和政府內(nèi)部人士。目前在網(wǎng)絡(luò)引發(fā)了激烈的討論。

科技是把雙刃劍：令人擔(dān)心的事情還是發(fā)生了。

自DeepFakes技術(shù)誕生以來，造假臉、假視頻的惡搞消息不斷，而基于GAN的相關(guān)技術(shù)讓這種惡搞“更上一層樓”——真人？假人？傻傻分不清。

先來看下兩個例子。

2015年，教皇方濟(jì)各 (Pope Francis) 訪美期間，“一個出人意料之舉”震驚了世界：只見他在向圣壇禮拜后，轉(zhuǎn)身順手將桌布一抽，上演了一出絕妙的“抽桌布”戲法，動作之行云流水，令人膜拜。

相關(guān)視頻很快火遍了全美乃至全世界。但是，這是一個假視頻。

2015年現(xiàn)任教皇訪美，上演絕妙“抽桌布”戲法，美國主教看后表示不爽。當(dāng)然，這段視頻是假造的，但這并不影響其流行。來源：CNN

今年2月，英偉達(dá)StyleGAN開源，而后一波“造假熱潮”來了——假貓、假人、假房源網(wǎng)站如“雨后春筍般”崛起。人們不禁感嘆：實在太逼真了！

StyleGAN生成的假房源

但在驚嘆之余，人們不禁對諸如此類的AI技術(shù)表示擔(dān)憂：若是被濫用，會嚴(yán)重影響人們的安全和隱私。

事情還是發(fā)生了。

根據(jù)美聯(lián)社報道，一名間諜使用 AI 生成的個人資料和圖片在知名全球職場社交平臺LinkedIn上欺騙聯(lián)系人！

文章地址：

https://apnews.com/bc2f19097a4c4fffaa00de6770b8a60d

Katie Jones在LinkedIn中的虛假信息

據(jù)稱，凱蒂·瓊斯(Katie Jones)在一個高級智庫工作, 與政治專家和政府內(nèi)部人士聯(lián)系在一起。其中包括一些零散的政府人物，如參議員的助手、副助理國務(wù)卿，以及目前正在考慮加入美聯(lián)儲的經(jīng)濟(jì)學(xué)家保羅?溫弗里(Paul Winfree)。

但其實，她并不存在。

圖靈獎得主、Facebook首席科學(xué)家Yann Lecun對此發(fā)推表示：

顯然，GAN在LinkedIn上被用來創(chuàng)建虛假的個人資料照片，并用于國際工業(yè)間諜活動。

人類被戲謔：這個AI間諜堪比007，釣到不少“大V”

Katie Jones似乎很關(guān)注華盛頓的政治局勢。

這位30歲的紅發(fā)女郎聲稱在一個頂級智庫工作，是美國國際戰(zhàn)略研究中心（CSIS）的研究員。她與美國的一位副助理國務(wù)卿、一位參議員的高級助理以及正在考慮就職美聯(lián)儲席位的經(jīng)濟(jì)學(xué)家Paul Winfree均有聯(lián)系。

但是美聯(lián)社已經(jīng)確定，Katie Jones并不存在。

相反，這個人是隱藏在專業(yè)社交網(wǎng)站LinkedIn上的大量幻影資料之一。美聯(lián)社聯(lián)系的幾位專家表示，Jones的個人資料照片似乎是由一個計算機程序創(chuàng)建的。

CSIS航空安全項目和國防預(yù)算分析主任Todd Harrison發(fā)推表示：

現(xiàn)在我開始懷疑我的 CSIS 同事中有多少是真正的人類, 而不是 AI 產(chǎn)生的。

他還調(diào)侃道：“Sam，你是真人嗎？”

“我相信這是一張假臉，”Mario Klingemann表示。Mario是一位德國藝術(shù)家，多年來一直在試驗人工生成的肖像，他說自己已經(jīng)審查了數(shù)萬張這樣的肖像圖。“這張頭像有所有的特征?！?/p>

看了Jones個人資料和活動的LinkedIn專家表示，這是職業(yè)社交網(wǎng)站間諜活動的典型表現(xiàn)。作為全球名片簿，LinkedIn成為吸引間諜的強大磁鐵。

丹麥民主聯(lián)盟基金會智囊團(tuán)的項目主任Jonas Parello Plesner說，“它看起來像某種國營業(yè)務(wù)?！睅啄昵?，Jonas是LinkedIn上間諜活動的目標(biāo)。

與Facebook的朋友和家庭聚焦點不同，LinkedIn面向求職者和獵頭，這些人通常會放出簡歷，建立龐大的聯(lián)系網(wǎng)，向陌生人推銷項目。這種“把他們都聯(lián)系起來”的方式有助于填補網(wǎng)站上數(shù)百萬個招聘職位的空缺，但它也為間諜提供了一個豐富的獵場。

過去幾年，英國、法國和德國官員都發(fā)出警告，詳細(xì)說明外國間諜如何利用LinkedIn與數(shù)千人取得聯(lián)系。

在一份聲明中，LinkedIn表示它經(jīng)常對假帳戶采取行動，在2019年的前三個月中對其中數(shù)千個帳戶進(jìn)行了處理。它還說“我們建議您與您認(rèn)識和信任的人聯(lián)系，而非任何人?！?/p>

Katie Jones的個人資料規(guī)模不大，有52個聯(lián)系人。

但是這些聯(lián)系人具有足夠大的影響力，接受Jones邀請的一些人也會因此對她信任。美聯(lián)社在今年3月初至4月初期間與其他大約40名與Jones有聯(lián)系的人進(jìn)行了交談，其中許多人說他們經(jīng)常接受他們不認(rèn)識的人的邀請。

“我可能是LinkedIn歷史上最糟糕的用戶，”特朗普總統(tǒng)的國內(nèi)政策委員會前副主任Winfree說，他在3月28日確認(rèn)了與Jones的聯(lián)系。

上個月，聯(lián)邦儲備委員會理事會的一個職位空缺，Winfree的名字出現(xiàn)了，他表示，自己很少登錄LinkedIn并傾向于批準(zhǔn)他所有堆積的邀請?！拔艺娴慕邮芰宋业拿恳粋€朋友邀請，”Winfree說。

在日內(nèi)瓦韋伯斯特大學(xué)教東亞事務(wù)的Lionel Fatton說，他不認(rèn)識Jones的事實讓他在3月份與她聯(lián)系時有短暫停頓?！拔矣浀锚q豫不決，”他說：“然后我想，'有什么害處？'”

Parello-Plesner指出，潛在的傷害可能是微妙的：連接到像Jones這樣的個人資料邀請意味著與背后的人進(jìn)行一對一的對話，網(wǎng)站上的其他用戶可以將連接視為一種認(rèn)可。他說：“你降低了自己的警惕，也讓別人放松警惕?！?/p>

Jones的個人資料首先由倫敦Chatham House智囊團(tuán)的俄羅斯專家Keir Giles舉報。Giles最近陷入了針對俄羅斯反病毒公司卡巴斯基實驗室的批評者的完全獨立的間諜活動。所以當(dāng)他收到Katie Jones在LinkedIn上的邀請時，他很懷疑。

Jones聲稱自己多年來一直在華盛頓戰(zhàn)略與國際研究中心擔(dān)任“俄羅斯和歐亞大陸研究員”，但Giles表示，如果這是真的，“我應(yīng)該聽說過她。”

CSIS發(fā)言人Andrew Schwartz告訴美聯(lián)社，“沒有一位名叫Katie Jones的人為我們工作?！?/p>

Jones還聲稱已獲得密歇根大學(xué)俄羅斯研究學(xué)位，但學(xué)校表示“無法找到任何一個以此名字從大學(xué)獲得這一學(xué)位的學(xué)生?！?/p>

在美聯(lián)社聯(lián)系網(wǎng)絡(luò)尋求評論后不久，Jones賬戶就從LinkedIn上消失了。通過LinkedIn和相關(guān)的AOL電子郵箱帳戶發(fā)送給Jones本人的郵件也沒有回復(fù)。

美聯(lián)社采訪的眾多專家表示，Katie Jones最吸引人的地方可能是她的臉，他們說這似乎是人為創(chuàng)造的。

Klingemann和其他專家說，這張照片——一張藍(lán)綠色眼睛、褐色頭發(fā)和神秘微笑的女人的肖像——似乎是使用稱為生成對抗網(wǎng)絡(luò)（GAN）的一系列計算機程序創(chuàng)建的，這可以創(chuàng)造出想象出來的人的逼真面孔。

GAN，有時被描述為一種人工智能形式，已經(jīng)受到越來越政策制定者的關(guān)注，盡管他們已經(jīng)在努力處理數(shù)字虛假信息了。周四，美國立法者舉行了他們的第一次聽證會，主要討論人為生成圖像的威脅。

南加利福尼亞大學(xué)創(chuàng)意技術(shù)研究所負(fù)責(zé)圖形實驗室愿景的Hao Li發(fā)布了一份數(shù)字報告清單，他認(rèn)為Jones的照片是由計算機程序創(chuàng)建的，包括Jones眼周圍的不一致、她頭發(fā)周圍的光和左臉頰上留下污跡。

基于GAN生成的圖像：逼真到可怕，能生成世間萬物

這個造假技術(shù)到底有多厲害？

基于GAN的架構(gòu)一個又一個推出，英偉達(dá)StyleGAN就是其中一個，多上幾張圖有助于你回憶：

這個模型并不完美，但確實有效，而且不僅僅可用于人類，還能用于汽車、貓、風(fēng)景圖像的生成。

英偉達(dá)研究人員在論文中寫道，他們提出的新架構(gòu)可以完成自動學(xué)習(xí)，無監(jiān)督地分離高級屬性（例如在人臉上訓(xùn)練時的姿勢和身份），以及生成圖像中的隨機變化，并且可以對合成進(jìn)行更直觀且特定于比例的控制。

換句話說，這種新一代GAN在生成和混合圖像，特別是人臉圖像時，可以更好地感知圖像之間有意義的變化，并且在各種尺度上針對這些變化做出引導(dǎo)。

例如，在上面的動圖中，其實面部已經(jīng)完全變了，但“源”和“樣式”的明顯標(biāo)記顯然都得到了保留。為什么會這樣？請注意，所有這些都是完全可變的，這里說的變量不僅僅是A + B = C，而且A和B的所有方面都可以存在/不存在，具體取決于設(shè)置的調(diào)整方式。

而StyleGAN之所以強大，就在于它使用了基于風(fēng)格遷移的全新生成器架構(gòu)：

傳統(tǒng)生成器架構(gòu)和基于風(fēng)格的生成器架構(gòu)對比

在傳統(tǒng)方式中，隱碼(latent code)是通過輸入層提供給生成器的，即前饋網(wǎng)絡(luò)的第一層(上圖中的a部分)。而英偉達(dá)團(tuán)隊完全省略了輸入層，從一個學(xué)習(xí)的常量(learned constant)開始，從而脫離了傳統(tǒng)的設(shè)計(圖1b，右)。在輸入隱空間Z中，給定一個隱碼z，一個非線性網(wǎng)絡(luò) f：Z→W首先生成w∈W(圖1b，左)。

英偉達(dá)團(tuán)隊的生成器架構(gòu)可以通過對樣式進(jìn)行特定尺度的修改來控制圖像合成?？梢詫⒂成渚W(wǎng)絡(luò)和仿射變換看作是一種從學(xué)習(xí)分布(learned distribution)中為每種樣式繪制樣本的方法，而將合成網(wǎng)絡(luò)看作是一種基于樣式集合生成新圖像的方法。修改樣式的特定子集可能只會影響圖像的某些方面。

面對假臉生成算法，現(xiàn)有人臉識別系統(tǒng)幾乎束手無策

之前，大多數(shù)研究都集中在如何提高“換臉”技術(shù)上，也就是如何讓計算機生成超逼真的人臉。

誰料，這種技術(shù)發(fā)展的濫用造成了反效果，也即所謂的“DeepFake”。現(xiàn)在，DeepFake已被用于指代所有看起來或聽起來像真的一樣的假視頻或假音頻。

針對 Deepfake 視頻中人臉識別的漏洞，兩人在論文中對基于VGG和Facenet的人臉識別系統(tǒng)做了漏洞分析，還使用SVM方法評估了 DeepFake 的幾種檢測方法，包括嘴唇動作同步法和圖像質(zhì)量指標(biāo)檢測等。

結(jié)果令人遺憾——

無論是基于VGG還是基于Facenet的系統(tǒng)，都不能有效區(qū)分GAN生成假臉與原始人臉。而且，越先進(jìn)的Facenet系統(tǒng)越容易受到攻擊。

VGG模型是2014年ILSVRC競賽的第二名，第一名是GoogLeNet。但是VGG模型在多個遷移學(xué)習(xí)任務(wù)中的表現(xiàn)要優(yōu)于googLeNet。而且，從圖像中提取CNN特征，VGG模型是首選算法。它的缺點在于，參數(shù)量有140M之多，需要更大的存儲空間。但是這個模型很有研究價值。

Facenet該模型沒有用傳統(tǒng)的softmax的方式去進(jìn)行分類學(xué)習(xí)，而是抽取其中某一層作為特征，學(xué)習(xí)一個從圖像到歐式空間的編碼方法，然后基于這個編碼再做人臉識別、人臉驗證和人臉聚類等。

直方圖顯示了基于VGG和Facenet的人臉識別在高質(zhì)量人臉交換中的漏洞。

檢測Deepfake視頻

他們還考慮了幾種基線Deepfake檢測系統(tǒng)，包括使用視聽數(shù)據(jù)檢測唇動和語音之間不一致的系統(tǒng)，以及幾種單獨基于圖像的系統(tǒng)變體。這種系統(tǒng)的各個階段包括從視頻和音頻模態(tài)中提取特征，處理這些特征，然后訓(xùn)練兩個分類器，將篡改的視頻與真實視頻分開。

所有檢測系統(tǒng)的檢測結(jié)果如下表所示。

說明一下表格中各種“符號”和數(shù)字的意思，你也可以直接跳過看本節(jié)最后結(jié)論：

在本系統(tǒng)中，使用MFCCs作為語音特征，以mouth landmarks之間的距離作為視覺特征。將主成分分析(PCA)應(yīng)用于聯(lián)合音視頻特征，降低特征塊的維數(shù)，訓(xùn)練長短期記憶(long short-term memory, LSTM)網(wǎng)絡(luò)，將篡改和非篡改視頻進(jìn)行分離。

作為基于圖像的系統(tǒng)，實現(xiàn)了以下功能:

Pixels+PCA+LDA：使用PCA-LDA分類器將原始人臉作為特征，保留99%的方差，得到446維變換矩陣。

IQM+PCA+LDA：IQM特征與PCA-LDA分類器結(jié)合，具有95％保留方差，導(dǎo)致2維變換矩陣。

IQM + SVM：具有SVM分類器的IQM功能，每個視頻具有20幀的平均分?jǐn)?shù)。

基于圖像質(zhì)量測度(IQM)的系統(tǒng)借鑒了表示域(domain of presentation)的攻擊檢測，表現(xiàn)出了較好的性能。作為IQM特征向量，使用129個圖像質(zhì)量度量，其中包括信噪比，鏡面反射率，模糊度等測量。

下圖為兩種不同換臉版本中性能最好的IQM+SVM系統(tǒng)的檢測誤差權(quán)衡(DET)曲線。

IQM + SVM Deepfake檢測

結(jié)果表明：

首先，基于唇部同步的算法不能檢測人臉交換，因為GAN能夠生成與語音匹配的高質(zhì)量面部表情；因此，目前只有基于圖像的方法才能有效檢測Deepfake視頻。

其次，IQM+SVM系統(tǒng)對Deepfake視頻的檢測準(zhǔn)確率較高，但使用HQ模型生成的視頻具有更大的挑戰(zhàn)性，這意味著越先進(jìn)的人臉交換技術(shù)將愈發(fā)難以檢測。

AI研究發(fā)表和模型開源，真的該制定一個規(guī)范了

Yann LeCun于2月在Twitter上提問：

講真，要是當(dāng)初知道卷積神經(jīng)網(wǎng)絡(luò)(CNN)會催生DeepFake，我們還要不要發(fā)表CNN？

LeCun說：“問個嚴(yán)肅的問題：卷積神經(jīng)網(wǎng)絡(luò)(CNN)被用于(或開發(fā))各種各樣的應(yīng)用。很多這樣的應(yīng)用對世界起到了積極影響，例如，醫(yī)療影像、汽車安全、內(nèi)容過濾、環(huán)境監(jiān)控等等。

“但有的應(yīng)用則可能起到負(fù)面的效果，或者說侵犯隱私，例如，公眾場所的人臉識別系統(tǒng)、進(jìn)攻性武器，以及有偏見的“過濾”系統(tǒng)……

“那么，假設(shè)在上世紀(jì)80年代那時我們能夠預(yù)見CNN的這些負(fù)面影響，我們該不該把CNN模型保密不公開呢？“

幾點想法：

最終，CNN(或者類似的東西)還是會被其他人發(fā)明出來(實際上，有些人可以說差不多已經(jīng)做到了)。其實，福島邦彥就跟我說，他80年代末的時候正在研究一種用BP訓(xùn)練的新認(rèn)知機(Neocogitron)，但看到我們1898年發(fā)表的神經(jīng)計算論文“大感震驚”(shocked)，然后停止了他的項目。

開源CNN或深度學(xué)習(xí)軟件平臺直到2002年才出現(xiàn)(CNN是20世紀(jì)90年代早期商業(yè)軟件包SN和2002年開源的Lush軟件包的一項功能。20世紀(jì)90年代中后期才開始有OSS分發(fā))。因此，在某種程度上，CNN直到2002年才完全發(fā)表(released)。但那時基本沒有什么人關(guān)注CNN，或者想到用Lush來訓(xùn)練CNN?！?/p>

LeCun的這番話，可以說是為他此前的“表態(tài)”做出了完美的解釋。是的，這里說的還是關(guān)于OpenAI模型開源的那件事。

但是，通過此次事件來看，OpenAI覺得由于模型過于強大而不開源的擔(dān)憂興許是正確。

當(dāng)然，現(xiàn)在業(yè)界的重點已經(jīng)從最初的口水戰(zhàn)聚焦到AI研究發(fā)表和開源政策的討論上來。

現(xiàn)在能夠肯定的是，關(guān)于AI研究發(fā)表和模型開源，相關(guān)的政策真的需要制定了。OpenAI在擔(dān)心模型被濫用時舉了DeepFake為例，DeepFake是基于CNN構(gòu)建的圖像生成模型，由于強大的圖像生成能力，能夠生成以假亂真的人臉，甚至騙過先進(jìn)的人臉識別模型。

那么，還是回到那個嚴(yán)肅的問題：

你認(rèn)為強大的技術(shù)是否該開源呢？

歡迎留言給出你的意見。

PS：

你能辨別真臉和假臉嗎？不妨到這個網(wǎng)站測試一下：

http://www.whichfaceisreal.com/