利用機(jī)器學(xué)習(xí)自動發(fā)現(xiàn)經(jīng)過編輯的照片

這是一張著名的PS照片，2008年伊朗政府在媒體上公布了他們成功發(fā)射導(dǎo)彈的照片，但是緊接著就有人出來打臉，證明了這張圖是偽造的，可以看到底部的煙霧連形狀都一毛一樣。隨著技術(shù)的發(fā)展，近幾年人工智能也參與到“PS大戰(zhàn)”中，譬如此前風(fēng)靡reddit的deepfakes，以及將奧巴馬換到某視頻上做出一條假新聞等等。

自從AI可以輕松“換臉”，全球許多專家表示很擔(dān)心，因為這種以假亂真的偽裝術(shù)在社交媒體的推動下往往會產(chǎn)生難以控制的后果。著名的圖形圖像生產(chǎn)商Adobe公司也利用AI技術(shù)創(chuàng)造了許多相關(guān)技術(shù)，比如“一鍵換景”的工具。不過該公司同樣也在開發(fā)“反偽裝”工具，即利用機(jī)器學(xué)習(xí)自動發(fā)現(xiàn)經(jīng)過編輯的照片。

上周，Adobe公司在CVPR 2018上展示了機(jī)器是如何在更短時間內(nèi)自動識別出照片的修改痕跡的。這篇論文并不能看作計算機(jī)視覺領(lǐng)域的一大突破，并且還未投入商用，但是看到Adobe這個“PS專業(yè)戶”發(fā)明“反PS工具”還是很有趣的。

在接受采訪時，Adobe公司的發(fā)言人表示這個項目還處于早期，但是在未來，公司將著力于“開發(fā)能幫助檢測和驗證數(shù)字媒體真實性的工具”。這一技術(shù)具體是什么還不知道，因為Adobe從未發(fā)布過用于發(fā)現(xiàn)假照片的工具。但是該公司曾利用數(shù)字取證幫助找到失蹤兒童的行為，也表明他們對自己技術(shù)的負(fù)責(zé)態(tài)度。

這次的新論文展示了如何用機(jī)器學(xué)習(xí)發(fā)現(xiàn)圖像的三種改變：拼接（即將不同圖像的兩部分合在一張圖上）、復(fù)制（一張圖像中出現(xiàn)了兩處相同的地方）、刪除（某一對象從圖中被移除了）。

為了發(fā)現(xiàn)這些特點，科學(xué)家們通常會在圖像的隱藏層中尋找線索。當(dāng)圖像經(jīng)過這些編輯時，它們會留下數(shù)字化痕跡，例如圖像傳感器產(chǎn)生的顏色和亮度的不一致性（也被稱為圖像噪聲）。當(dāng)你將兩張不同的照片拼在一起，或者從另一張圖中復(fù)制粘貼其中一部分，背景噪聲是不匹配的，就像用有些許色差的油漆掩蓋墻壁上的污漬。

和其他許多機(jī)器學(xué)習(xí)系統(tǒng)一樣，Adobe的新成果也是在大量數(shù)據(jù)上訓(xùn)練的結(jié)果。從這之中，它學(xué)會了辨認(rèn)圖像經(jīng)過處理后的一般特征。

下面讓我們來看看論文具體講了什么：

隨著各種圖像編輯技術(shù)和軟件的層出不窮，幾乎人人都能掌握一些P圖技巧，如下所示就是三種常見的PS手段：

從上至下依次是拼接（山上多出了一棵樹）、復(fù)制（原圖中左邊的藍(lán)色椅子被換成了和右邊一樣的椅子）、刪除（小魚被抹掉了）

所以想要區(qū)分真實照片和經(jīng)過處理的照片就非常困難。而在本次CVPR 2018上，Adobe的研究者帶來了一種多任務(wù)框架，既能對圖片的人工處理進(jìn)行辨認(rèn)和分類，同時還能進(jìn)行邊框回歸（bounding box regression）。這一項目的網(wǎng)絡(luò)架構(gòu)如圖所示：

這是有兩條通道的Faster R-CNN網(wǎng)絡(luò)，上面一層是輸入RGB圖像的通道，下面是輸入SRM圖像的噪音通道。研究人員通過雙線性池化，將兩種通道結(jié)合在一起。

其中RGB通道是單一的Faster R-CNN網(wǎng)絡(luò)，它既可以用來執(zhí)行邊框回歸，也可以進(jìn)行圖像偽造辨認(rèn)。我們用ResNet 101網(wǎng)絡(luò)去學(xué)習(xí)輸入的RGB圖像特征，最后卷積層輸出的特征就用來辨別圖像經(jīng)過何種處理。

但是只有RGB通道還不足以處理所有的P圖手段，尤其是經(jīng)過后期精心處理的，掩蓋住了拼接邊緣的圖像，這對RGB通道來說是個挑戰(zhàn)。于是我們將圖片中的局部噪聲分布當(dāng)做額外的考慮因素。與RGB通道不同，噪聲通道關(guān)注更多的是圖中的噪聲而不是語義內(nèi)容。如下圖所示：

上圖中，將紅色邊框放大后可以看到在邊界處有明顯的不自然線條。另外，第三列圖片還顯示了拼接圖片和原始圖片之間噪聲的不一致性。

兩個通道處理完畢后，網(wǎng)絡(luò)會將二者在圖像檢測上的結(jié)果結(jié)合起來。在眾多融合方案中，他們選擇了雙線性池化，這一方法最初是用于對分類進(jìn)行微調(diào)的。

最終結(jié)果

以上是網(wǎng)絡(luò)進(jìn)行P圖檢測的幾個例子，第一行的例子來自COVER數(shù)據(jù)集，在單獨的RGB和噪聲檢測結(jié)果中，系統(tǒng)的檢測結(jié)果都不準(zhǔn)確，但是在本次提出的模型上（RGB-N），系統(tǒng)成功地標(biāo)出右邊的皮包是“偽造”的。

另外，網(wǎng)絡(luò)還能識別出P圖所用的技術(shù)，上圖就是拼接、復(fù)制和刪除的三個不同示例。

結(jié)語

通過論文，研究人員將兩種通道結(jié)合，毫無疑問地提高了對圖像修改痕跡的辨認(rèn)程度。在數(shù)據(jù)集上的測試也證明了這種方法不僅能看出“人工痕跡”，還能對此進(jìn)行分類。圖像識別專家Hany Farid在接受The Verge采訪時表示：“這些機(jī)器學(xué)習(xí)新工具的好處在于，它們能發(fā)現(xiàn)不明顯甚至從未被發(fā)現(xiàn)的人工痕跡。但是缺陷在于，它們只在被輸入到網(wǎng)絡(luò)中的訓(xùn)練數(shù)據(jù)上表現(xiàn)良好，而且至少目前為止，它們不太能學(xué)習(xí)更高級的偽造痕跡，例如發(fā)現(xiàn)陰影或倒影的不規(guī)則之處。”

除了這些不足之處，我們?nèi)匀缓芨吲d看到這些能幫我們發(fā)現(xiàn)虛假信息的技術(shù)的出現(xiàn)。雖然人工智能可能會帶來危害，但它也能幫助我們。