DeepMind破解災(zāi)難性遺忘密碼，讓AI更像人

災(zāi)難性遺忘仍然是阻礙科學(xué)家建立通用人工智能（AGI）的主要障礙之一，DeepMind的團(tuán)隊(duì)試圖破解這一難題，讓AI擁有了想象力。

暑假結(jié)束回到學(xué)校時(shí)，你可能會(huì)覺(jué)得前一年學(xué)過(guò)的東西已經(jīng)統(tǒng)統(tǒng)忘光了。但如果你像人工智能系統(tǒng)那樣學(xué)習(xí)，你會(huì)真的忘光光——當(dāng)你第一天在課堂上坐下來(lái)時(shí)，你的大腦會(huì)把這當(dāng)作一個(gè)提示，將過(guò)去一筆勾銷(xiāo)，一切從頭開(kāi)始。

AI系統(tǒng)有一種傾向，在獲取新信息時(shí)將之前學(xué)到的東西忘掉，這被稱(chēng)為災(zāi)難性遺忘（catastrophic forgetting）。

這是一個(gè)大問(wèn)題。因?yàn)?，先進(jìn)的算法可以說(shuō)是在分析了無(wú)數(shù)的例子之后才學(xué)會(huì)被要求做的事情。例如，一個(gè)面部識(shí)別AI系統(tǒng)需要分析成千上萬(wàn)張人臉的圖片，這些圖片很可能是人工標(biāo)注過(guò)的，這樣它才能在人臉出現(xiàn)在視頻流中的時(shí)候檢測(cè)到。

但是，因?yàn)檫@些AI系統(tǒng)并沒(méi)有真正理解它們所做的事情的基本邏輯，所以教它們?nèi)プ銎渌魏问虑?，即使這些事情與它們已經(jīng)會(huì)的事情非常相似——例如，識(shí)別特定的情感——也意味著要從頭開(kāi)始重新訓(xùn)練算法。一旦算法訓(xùn)練好，它就完成了，就不能再更新了。

多年來(lái)，科學(xué)家們一直試圖找出解決這個(gè)問(wèn)題的方法。如果解決了這個(gè)問(wèn)題，AI系統(tǒng)將能夠從一組新的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)，而不會(huì)覆蓋他們?cè)谶@個(gè)過(guò)程中已經(jīng)學(xué)會(huì)的大部分內(nèi)容。如果未來(lái)某天機(jī)器人崛起了，我們的新霸主將能夠征服地球上所有的生命，同時(shí)還會(huì)嚼泡泡糖。

但是，災(zāi)難性遺忘仍然是阻礙科學(xué)家建立通用人工智能（AGI）的主要障礙之一。AGI是一種無(wú)所不會(huì)、具有同理心和想象力的AI，就像我們?cè)陔娨暫碗娪爸锌吹降哪菢印?/p>

DeepMind破解災(zāi)難性遺忘密碼

上周在布拉格參加Human-Level人工智能聯(lián)合多方會(huì)議的一些AI專(zhuān)家認(rèn)為，災(zāi)難性遺忘的問(wèn)題是他們認(rèn)為不會(huì)很快實(shí)現(xiàn)AGI或human-level AI的最重要的原因。

不過(guò)，谷歌DeepMind的高級(jí)研究科學(xué)家Irina Higgins在會(huì)議上的演講中表示，她的團(tuán)隊(duì)已經(jīng)開(kāi)始破解災(zāi)難性遺忘的密碼。

她開(kāi)發(fā)了一個(gè)AI智能體（類(lèi)似一個(gè)由AI算法控制的電子游戲角色），這個(gè)智能體可以比典型的算法更有創(chuàng)造性地思考。它可以“想象”在一個(gè)虛擬環(huán)境中遇到的東西在其他地方看起來(lái)是什么樣子的。換句話(huà)說(shuō)，神經(jīng)網(wǎng)絡(luò)能夠?qū)⑺?a href="http://www.wenjunhu.com/analog/" target="_blank">模擬環(huán)境中遇到的某些物體從環(huán)境本身分離出來(lái)。

AI的想象力人類(lèi)的想象不同。在人類(lèi)的想象中，我們可以創(chuàng)造出全新的心理圖像（試著想象一只鳥(niǎo)，你腦海中可能會(huì)想象出一只虛構(gòu)的圓滾滾的紅色的鳥(niǎo))。AI系統(tǒng)并不那么復(fù)雜，但它可以想象出已經(jīng)在新的配置或位置上看到過(guò)的物體。

“我們希望機(jī)器能夠在探索過(guò)程中學(xué)習(xí)有關(guān)安全的常識(shí)，這樣它就不會(huì)對(duì)自身造成損害，” Higgins在演講中說(shuō)。本周早些時(shí)候，她的團(tuán)隊(duì)在arXiv上發(fā)表了題為“Life-Long Disentangled Representation Learning with Cross-Domain Latent Homologies”的論文。

假設(shè)你正在穿越沙漠，你遇到了一棵仙人掌。是一種你漫畫(huà)中會(huì)看到的那種巨大的、兩莖的仙人掌。你立刻就能認(rèn)出這是一棵仙人掌，因?yàn)槟阋郧翱赡芤?jiàn)過(guò)。也許你的辦公室裝飾了一些多肉植物。但即使你的辦公室沒(méi)有仙人掌，你也可以想象這個(gè)沙漠仙人掌在一個(gè)大陶罐里會(huì)是什么樣子。

Higgins的AI系統(tǒng)也能做同樣的事情。只需觀察一個(gè)物體從不同角度看是什么樣子的5個(gè)示例，AI就能了解它是什么，它與環(huán)境有怎樣的關(guān)系，以及從其他角度或在不同光線(xiàn)下看它是什么樣子。論文重點(diǎn)介紹了如何訓(xùn)練算法來(lái)識(shí)別白色行李箱或扶手椅。經(jīng)過(guò)訓(xùn)練后，算法可以想象出這個(gè)物體在一個(gè)全新的虛擬世界中的樣子，并在它遇到這個(gè)物體時(shí)識(shí)別出來(lái)。

Image Credit: Emily Cho

Higgins說(shuō)：“我們運(yùn)行了我用來(lái)激發(fā)這個(gè)模型的精確設(shè)置，然后我們展示了一個(gè)環(huán)境的圖像，要求這個(gè)模型想象一下在不同環(huán)境下它會(huì)是什么樣子?！迸c具有entangled representation的AI系統(tǒng)相比，她的新算法每次都在這項(xiàng)任務(wù)中表現(xiàn)更優(yōu)，而后者只能預(yù)測(cè)較少的物體質(zhì)量和特征。

簡(jiǎn)言之，該算法能夠注意到它所遇到的事物與過(guò)去所看到的事物之間的差異。和大多數(shù)其他算法不同的是，Higgins為谷歌構(gòu)建的新系統(tǒng)可以理解它沒(méi)有遇到一個(gè)全新的物體，而只是從一個(gè)新的角度看到的同樣物體。

然后，它可以使用空閑的計(jì)算能力來(lái)接收新的信息。AI系統(tǒng)更新了它對(duì)世界的了解，而無(wú)需重新訓(xùn)練和重新學(xué)習(xí)一切?；旧希到y(tǒng)能夠?qū)⑵洮F(xiàn)有的知識(shí)轉(zhuǎn)移并應(yīng)用到新環(huán)境中。最終的結(jié)果是一種頻譜或連續(xù)體（continuum），顯示了它如何理解物體的各種特性。

當(dāng)然，僅有這一模型是無(wú)法把我們帶到AGI的。但它標(biāo)志著向AGI邁出了重要的第一步，表明AI算法可以在不斷更新的同時(shí)，在不丟失已經(jīng)擁有的知識(shí)的情況下，學(xué)習(xí)有關(guān)世界的新事物。

“我認(rèn)為，它對(duì)于接近通用人工智能非常重要?！?Higgins說(shuō)。

讓AI更像人

這項(xiàng)工作仍處于早期階段。這些算法，就像許多其他的對(duì)象識(shí)別AI工具一樣，擅長(zhǎng)于一項(xiàng)相當(dāng)狹窄的任務(wù)，具有一系列受限制的規(guī)則，比如查看照片并在很多沒(méi)有人臉的照片中挑出有人臉的照片來(lái)。但DeepMind的新AI系統(tǒng)正在以一種更接近創(chuàng)造力和想象力的數(shù)字模擬的方式完成一項(xiàng)狹窄的任務(wù)。

盡管DeepMind團(tuán)隊(duì)的研究并沒(méi)有立即帶來(lái)通用人工智能時(shí)代，但這一新算法已經(jīng)具備了改進(jìn)現(xiàn)有AI系統(tǒng)的能力。例如， Higgins在一組用于訓(xùn)練面部識(shí)別軟件的主要數(shù)據(jù)集上試用了她的新AI系統(tǒng)。在分析了數(shù)據(jù)集中成千上萬(wàn)的大頭照后，該算法可以創(chuàng)建任何質(zhì)量的頻譜，用以標(biāo)記這些照片。例如，Higgins展示了按膚色排列的人臉頻譜。

Higgins說(shuō)，她的算法也能對(duì)這些數(shù)據(jù)集中的主觀特征進(jìn)行同樣的處理，最終將人類(lèi)的偏見(jiàn)引入面部識(shí)別AI。Higgins展示了那些被人們貼上“有吸引力”標(biāo)簽的照片，如何形成一種頻譜，直接指向年輕、膚色白的女性的照片。這意味著，任何使用這些照片訓(xùn)練的AI系統(tǒng)都擁有與當(dāng)初給照片貼上標(biāo)簽的人類(lèi)同樣的觀點(diǎn)：白人更具吸引力。

這個(gè)有創(chuàng)造力的新算法已經(jīng)比我們?nèi)祟?lèi)做得更好了，它可以找到檢測(cè)人類(lèi)在其他算法中的偏見(jiàn)的新方法，這樣工程師就可以介入并刪除這些偏見(jiàn)。

因此，雖然它還不能完全取代藝術(shù)家，DeepMind團(tuán)隊(duì)的工作是相當(dāng)大的進(jìn)步，它讓AI更像人，而不是更像算法。