谷歌的這只AI學(xué)會(huì)了“打小抄”,還騙過(guò)了它的創(chuàng)造者

一篇來(lái)自谷歌和斯坦福2017年的研究今天在twitter和reddit上被熱議。

在這個(gè)讓人啼笑皆非的研究里，為了完成圖像轉(zhuǎn)換的任務(wù)，CycleGAN在訓(xùn)練過(guò)程中通過(guò)人類無(wú)法察覺的某種“隱寫術(shù)”，騙過(guò)了它的創(chuàng)造者，給自己留下了隱秘的“小抄”，然后順利完成了任務(wù)。

這個(gè)小插曲催生的論文也因此被命名為“CycleGAN, a Master of Steganography”（CycleGAN，一個(gè)隱寫術(shù)大師），被當(dāng)年的NeurIPs收錄。

聽到“騙過(guò)人類”覺得有點(diǎn)可怕是不是，先別慌，一起來(lái)看看這個(gè)“小把戲”。

為了加快將衛(wèi)星圖像轉(zhuǎn)換為谷歌精確的街道地圖，谷歌團(tuán)隊(duì)使用CycleGAN神經(jīng)網(wǎng)絡(luò)系統(tǒng)，希望通過(guò)大量的訓(xùn)練，從而使得這個(gè)模型能夠盡可能精確、高效的轉(zhuǎn)換X、Y類型圖片獲得相應(yīng)結(jié)果。

簡(jiǎn)單來(lái)說(shuō)，研究者希望通過(guò)訓(xùn)練這個(gè)CycleGAN模型，可以實(shí)現(xiàn)兩類圖片的轉(zhuǎn)換：把航拍照變成街道地圖，再把街道地圖變回航拍照。

早期的實(shí)驗(yàn)結(jié)果中，這個(gè)模型做的還不錯(cuò)。

雖然很難深入了解神經(jīng)網(wǎng)絡(luò)流程的內(nèi)部工作原理，但團(tuán)隊(duì)可以輕松審核其生成的數(shù)據(jù)。通過(guò)一些實(shí)驗(yàn)，他們發(fā)現(xiàn)CycleGAN確實(shí)大幅提升了轉(zhuǎn)化速度。

直到有一天，研究者發(fā)現(xiàn)了奇怪的事情：這個(gè)模型自作主張的根據(jù)航拍衛(wèi)星圖片重建了街道地圖。

比如，在創(chuàng)建街道地圖時(shí)，屋頂上的天窗被研究者通過(guò)某種設(shè)置被抹掉了，但通過(guò)街道圖轉(zhuǎn)化為航拍照后，這些天窗又神奇地出現(xiàn)了。

左側(cè)是原始地圖，街道地圖從原始地圖產(chǎn)生。中間：生成的地圖。右側(cè)：重構(gòu)的地圖。其中，衛(wèi)星地圖的樣本只來(lái)自街道地圖。注意這兩張衛(wèi)星地圖里出現(xiàn)的點(diǎn)，它在街道地圖沒有顯示。

心存疑惑的研究者開始著手檢查這個(gè)CycleGAN學(xué)到的mapping到底是什么，接著發(fā)現(xiàn)了更多“憑空”出現(xiàn)、根本不可能產(chǎn)生的航拍照。

經(jīng)過(guò)一系列檢查，研究者發(fā)現(xiàn)原來(lái)是CycleGAN在把航拍照變成地圖的時(shí)候，加入了一些人類肉眼不可見的噪音（或者其實(shí)可以說(shuō)是信息），然后從地圖reconstruct航拍照的時(shí)候，就通過(guò)這些噪音來(lái)讀取信息。

就好比，為了應(yīng)付人類任務(wù)，AI在地圖照上面偷偷寫了一點(diǎn)小抄/水印，而為了躲過(guò)人類的檢查，只有它自己訓(xùn)練出來(lái)的模型才讀得懂這些小抄/水印。

這和人類研究者想象的任務(wù)完成途徑完全不一樣。

可能有人會(huì)覺得，只要工作能完成，那么這個(gè)辦法也非常聰明。

但值得一提的是，如果一些細(xì)節(jié)被巧妙插入視覺數(shù)據(jù)中，人眼不會(huì)注意到的數(shù)千個(gè)微小顏色變化，但計(jì)算機(jī)卻可以輕松檢測(cè)到。

也就是說(shuō)，這種方法盡管可以實(shí)現(xiàn)目的，但是非常容易被攻擊。一旦有“攻擊者”在一張地圖照里面加一些肉眼不可見的“小抄”，就會(huì)“重構(gòu)”出來(lái)一張牛頭不對(duì)馬嘴的照片。

通過(guò)這種方式，可以將航空地圖編碼成任何街道地圖！計(jì)算機(jī)在編碼的過(guò)程機(jī)中不需要關(guān)注“真實(shí)”的街道地圖，所有重構(gòu)的航空照片所需的數(shù)據(jù)都可以“人畜無(wú)害”地疊加在完全不同的街道地圖上。

研究人員也通過(guò)實(shí)驗(yàn)證實(shí)了這一點(diǎn)：

右邊的地圖通過(guò)編碼左邊到映射的地圖中，在視覺上很顯然沒有明顯的變化。

上圖（c）中的彩色地圖是計(jì)算機(jī)系統(tǒng)引入具有細(xì)微差別的可視化圖片。 圖片形成了和航空地圖差不多的形狀。如果你不把他放大，并且仔細(xì)的觀察，你可能很難發(fā)現(xiàn)這些差別。

這種將數(shù)據(jù)編碼成圖像的做法并不新鮮，這是一門被稱為“隱寫術(shù)”的技術(shù)，值得一提的是，它已經(jīng)非常成熟、現(xiàn)在被廣泛應(yīng)用。

現(xiàn)在，似乎計(jì)算機(jī)也學(xué)會(huì)了這種隱寫方法，運(yùn)用此方法機(jī)器可以“偷懶”，從而逃避學(xué)習(xí)、逃避手頭的任務(wù)。

了解一下Cycle GANs所采用的學(xué)習(xí)方法，出現(xiàn)這一“偷懶”結(jié)果似乎也不意外。

Cycle GANs從X到Y(jié)的G映射的過(guò)程中，生成器不是選取一些隱向量來(lái)映射，而是使用圖像的直接轉(zhuǎn)換量。使用普通的對(duì)抗損失函數(shù)來(lái)構(gòu)建一個(gè)映射G。利用G，可以從生成的圖像X映射到真實(shí)圖像Y。

類似地, 我們也有一個(gè)反向的映射, 但這有一定的可能會(huì)使我們丟失原始圖像的一些特性。

所以約束性在Cycle GAN的使用中非常重要。

一旦約束條件不完備，模型很容易出現(xiàn)鉆空子的“偷懶”情況。

今天的熱議中，很多人就此得出了“人工智能正越來(lái)越聰明”論斷，從而心生恐懼。

大可不必慌張，這一結(jié)果正說(shuō)明機(jī)器還不夠聰明，到目前為止，它還不能完成復(fù)雜的圖像類型相互轉(zhuǎn)換等工作。但是，它可以利用人類不善于檢測(cè)的弱點(diǎn)欺騙人類。

對(duì)計(jì)算結(jié)果的更嚴(yán)格評(píng)估可以避免這種情況。

計(jì)算機(jī)所做的事情，全部來(lái)自程序命令，所以你的要求也必須明確具體。不過(guò)這個(gè)案例給了我們關(guān)于解決神經(jīng)網(wǎng)絡(luò)的弱點(diǎn)的新的思路，對(duì)于計(jì)算機(jī)來(lái)說(shuō)如果沒有明確禁止它做什么事，它可以自行找到一個(gè)從細(xì)節(jié)出發(fā)，回饋?zhàn)晕业降囊粋€(gè)高效解決既定問(wèn)題的方式。

這也為提高CycleGAN生成圖像的質(zhì)量提供了有一種可能的途徑，盡管循環(huán)一致性損失能夠讓神經(jīng)網(wǎng)絡(luò)將原圖像的信息編碼映射到生成的圖像中，但是，模型也可以偷偷的通過(guò)對(duì)抗性學(xué)習(xí)提高欺騙能力。如果能夠找到阻止算機(jī)“打小抄”的方式，這會(huì)使圖圖轉(zhuǎn)換工作得到突破。