好奇心對(duì)于學(xué)習(xí)人工智能有幫助嗎

學(xué)習(xí)的軟件正在改變世界，但需要監(jiān)督。人類以兩種方式監(jiān)督它們，第一種是向機(jī)器學(xué)習(xí)算法展示描述當(dāng)下任務(wù)的大數(shù)據(jù)，例如有標(biāo)記的貓和狗的圖片，讓算法區(qū)分兩者。另一種監(jiān)督是在高度結(jié)構(gòu)化的環(huán)境中設(shè)定一個(gè)特定目標(biāo)，例如在某款電子游戲中獲得高分，再讓算法嘗試眾多可能性，直到找到能實(shí)現(xiàn)目標(biāo)的那一個(gè)。

這兩種“監(jiān)督學(xué)習(xí)（Supervised Learning）”的方法已經(jīng)在人工智能領(lǐng)域帶來了突破。2012年，加拿大多倫多大學(xué)的一組研究人員有第一種方法構(gòu)建了AlexNet，這個(gè)軟件在一項(xiàng)競賽中識(shí)別出的圖片比其最接近的競爭對(duì)手多了十分之一。2015年，美國Alphabet旗下的英國人工智能公司DeepMind，研究人員使用了第二種方法教一個(gè)算法玩電子游戲雅達(dá)利（Atari），水平超過人類，后來更在圍棋上取得的了長期的勝利。

這些突破為今天AI很多令人興奮的發(fā)展奠定了基礎(chǔ)。但監(jiān)督學(xué)習(xí)也存在缺陷，人工指導(dǎo)涉及標(biāo)記數(shù)據(jù)或設(shè)計(jì)虛擬環(huán)境等人工作業(yè)，不僅成本高昂，指導(dǎo)完成后還不能用于其他學(xué)習(xí)。監(jiān)督學(xué)習(xí)不大現(xiàn)實(shí)，在現(xiàn)實(shí)的世界里，我們通常不會(huì)標(biāo)記事物或?yàn)閷W(xué)習(xí)進(jìn)展提供明確的信號(hào)。AlexNet和DeepMind的游戲智能軟件都需要幾百萬至幾十億個(gè)示例或模擬，以及消耗大量電力的強(qiáng)大計(jì)算機(jī)。位于巴黎的法國國家信息與自動(dòng)化研究所（Inria）的研究員Pierre-Yves Oudeyer說，“如果你打算在每次新的訓(xùn)練任務(wù)中都這樣做，那么就需要幾十個(gè)核電站專門為你服務(wù)“。

因此，AI若要真正騰飛，還需要些別的東西。Oudeyer表示，這推動(dòng)研究人員開始探索人類了解世界的基本機(jī)制之一“好奇心（Curiosity）”。Oudeyer和其他人不再使用由人類創(chuàng)建的函數(shù)來訓(xùn)練算法，而是在過去20年里開發(fā)人工智能體，用它們自己內(nèi)在的獎(jiǎng)勵(lì)系統(tǒng)來檢視周圍的世界并收集數(shù)據(jù)，這樣的工作正開始獲得成功。

第一代好奇心AI使用了“預(yù)測錯(cuò)誤（Prediction Error）”來激勵(lì)智能體。該軟件會(huì)探索它需要研究的實(shí)體或虛擬環(huán)境，尋找與它的預(yù)期差異很大的東西，換句話說，它是在搜索新奇數(shù)據(jù)。這種方法行的通，但有一個(gè)很大的缺陷，例如觀察過往車輛的智能體可能會(huì)沉迷于過往車輛的顏色順序，因?yàn)樗鼘?duì)下一部車的顏色做出的預(yù)測幾乎總是錯(cuò)誤的。因此一個(gè)好奇的機(jī)器人如果不去學(xué)習(xí)怎么走下樓梯，而是為了尋求信息的刺激反覆從樓梯上滾下去并沒有任何意義。

解決這個(gè)問題的方法是把注意力放在智能體的預(yù)測錯(cuò)誤變化率而不是錯(cuò)誤本身。使用這種方法讓機(jī)器人在剛開始觀察日出日落時(shí)預(yù)測錯(cuò)誤會(huì)很多，但隨著它對(duì)一個(gè)物理系統(tǒng)實(shí)際屬性的認(rèn)識(shí)加深，錯(cuò)誤將逐漸減少。將預(yù)測錯(cuò)誤系統(tǒng)的變化率用作智能體進(jìn)入下一個(gè)任務(wù)的信號(hào)等于給它設(shè)了一個(gè)無聊閾值。如果一個(gè)要搞清過往車輛顏色規(guī)律的機(jī)器人使用這樣一個(gè)系統(tǒng)，它會(huì)保持穩(wěn)定的錯(cuò)誤率，進(jìn)而感到無聊。

今年6月，Oderyer在實(shí)際研究中嘗試了他的好奇心算法。他的研究小組在法國Aquitaine小鎮(zhèn)的一些公立和私立學(xué)校對(duì)600名小學(xué)生展開了測試。他的構(gòu)想是為每個(gè)孩子的數(shù)學(xué)學(xué)習(xí)過程建模，提供因人而異的優(yōu)化練習(xí)。該系統(tǒng)名為KidLearn，它把每個(gè)孩子都視為自己的好奇智能體，調(diào)整學(xué)習(xí)內(nèi)容以適應(yīng)該孩子的理解水平和學(xué)習(xí)進(jìn)度。與其他不同的是，KidLearn不依賴從其他兒童那里收集到的數(shù)據(jù)作為引導(dǎo)，而主要是根據(jù)孩子的好奇行來調(diào)整。Oderyer的研究人員很快將會(huì)公布這次試驗(yàn)系統(tǒng)的表現(xiàn)。

硅谷的研究人員也一直在研究好奇心。在最近的一篇論文中，來自美國加州大學(xué)伯克利分校和非營利性研究公司OpenAI的Deepak Pathak表明，盡管他們的智能體在玩電子游戲時(shí)沒有得到任何輸入，也沒有在被打敗或過關(guān)時(shí)得到任何信號(hào)，好奇心驅(qū)動(dòng)的學(xué)習(xí)仍然在一系列虛擬環(huán)境中運(yùn)作非常良好。

同時(shí)還有其他方式可以賦予機(jī)器人探索的沖動(dòng)。美國舊金山優(yōu)步AI實(shí)驗(yàn)室的研究員Kenneth Stanley模仿了進(jìn)化過程。他的系統(tǒng)從一組隨機(jī)算法開始運(yùn)作，從中選出一個(gè)看起來適合手頭任務(wù)的算法，由此生出一組算法，最終演變出一個(gè)最適合這項(xiàng)工作的算法。Stanley指出，進(jìn)化可以產(chǎn)生目標(biāo)驅(qū)動(dòng)的優(yōu)化所無法產(chǎn)生的偶然結(jié)果。生物進(jìn)化對(duì)飛行沒有明顯好奇，但仍然演化出了鳥類。

所有這些實(shí)驗(yàn)都表明了，一套更完整的學(xué)習(xí)算法正在出現(xiàn)。由好奇心或進(jìn)化驅(qū)動(dòng)的人工智能體可應(yīng)用于學(xué)習(xí)的早期階段，也更適合缺乏大量數(shù)據(jù)的零散環(huán)境。一旦找到有趣的東西，就可以接著進(jìn)行監(jiān)督學(xué)習(xí)，以確保能準(zhǔn)確學(xué)習(xí)到特定的功能。