谷歌和亞馬遜怎么讓AI自己學(xué)習(xí)

人工智能的學(xué)習(xí)總是需要大量數(shù)據(jù)的“喂養(yǎng)”?？墒沁@數(shù)據(jù)要喂多少才是個(gè)頭呢？有沒有什么辦法能在少喂數(shù)據(jù)的同時(shí)，不影響AI的學(xué)習(xí)能力呢？或者直接把一些學(xué)習(xí)法則交給AI，讓它們舉一反三？谷歌和亞馬遜的研究人員近來(lái)就在琢磨這件事。

谷歌AI：背著有限的數(shù)據(jù)去探索新環(huán)境

來(lái)自卡耐基梅隆大學(xué)、谷歌和斯坦福大學(xué)的研究人員近日在一篇論文中寫道，他們開發(fā)出了一種“弱監(jiān)督”的人工智能訓(xùn)練框架。該模型會(huì)給機(jī)器人大量有限的、不精確的、或者是有噪聲的數(shù)據(jù)，讓它們通過(guò)數(shù)據(jù)學(xué)習(xí)，更好地探索一些極具挑戰(zhàn)性的環(huán)境。值得一提的是，研究人員“喂”給機(jī)器人的數(shù)據(jù)其實(shí)并不“完整”，機(jī)器人所得到的只是與它們所處的周圍環(huán)境直接相關(guān)的數(shù)據(jù)。然而出人意料的是，這套相對(duì)較少的數(shù)據(jù)反而提升了機(jī)器人操作任務(wù)的訓(xùn)練效率。

這個(gè)名叫“弱監(jiān)督控制”（Weakly－Supervised Control，后文簡(jiǎn)稱為WSC）的框架可以對(duì)語(yǔ)料庫(kù)進(jìn)行學(xué)習(xí)；在學(xué)習(xí)過(guò)程中，智能代理（intelligent agents）可以生成自己的目標(biāo)并執(zhí)行探索任務(wù)。

從形式上看，該框架整合了“強(qiáng)化學(xué)習(xí)機(jī)制”（一種通過(guò)獎(jiǎng)勵(lì)來(lái)激勵(lì)完成目標(biāo)的訓(xùn)練形式）。但不同的是，傳統(tǒng)的強(qiáng)化學(xué)習(xí)需要研究人員手動(dòng)設(shè)計(jì)獎(jiǎng)勵(lì)，智能代理獲取獎(jiǎng)勵(lì)的計(jì)算成本很高；與之相比，WSC構(gòu)建的這種弱監(jiān)督學(xué)習(xí)機(jī)制是一種能隨著智能代理數(shù)據(jù)收集的進(jìn)度而自行伸縮擴(kuò)展的監(jiān)督方式。換句話說(shuō)，該模型給代理們提出的獎(jiǎng)勵(lì)目標(biāo)是基于它們的學(xué)習(xí)能力和進(jìn)度的。這樣不僅有利于智能代理的學(xué)習(xí)，對(duì)于研究人員來(lái)說(shuō)，他們也不必在智能代理的強(qiáng)化學(xué)習(xí)循環(huán)中不斷增加新標(biāo)簽了。

譯者注：在人工智能領(lǐng)域，智能代理／智能主體指的是一個(gè)能夠觀察周遭環(huán)境并為實(shí)現(xiàn)具體目標(biāo)而付出一系列行動(dòng)的自主實(shí)體。它通常是以軟件程序的形式出現(xiàn)的。

在實(shí)驗(yàn)中，研究人員試圖確定弱監(jiān)督機(jī)制對(duì)學(xué)習(xí)一個(gè)解纏表現(xiàn)（disentangled state representation）是否足夠必要。他們給幾個(gè)模型布置了不同復(fù)雜度、基于視覺、以目標(biāo)為條件的模擬操作任務(wù)。在一個(gè)環(huán)境中，智能代理的任務(wù)是將特定的對(duì)象移動(dòng)到目標(biāo)位置；而在另一個(gè)環(huán)境中，代理必須打開一扇門，并讓門開的角度符合任務(wù)要求。

論文作者表示，WSC比此前最先進(jìn)的目標(biāo)導(dǎo)向式強(qiáng)化學(xué)習(xí)機(jī)制的學(xué)習(xí)速度還要快。特別是當(dāng)研究人員不斷提升智能代理所處環(huán)境復(fù)雜性的時(shí)候，這種學(xué)習(xí)速度上的優(yōu)勢(shì)表現(xiàn)的格外明顯。另外，研究人員還指出，對(duì)比智能代理的預(yù)設(shè)目標(biāo)和其達(dá)成目標(biāo)后的最終形態(tài)，WSC的智能代理呈現(xiàn)出了更高的一致性。這表明，代理們通過(guò)該機(jī)制學(xué)到的是可釋性更強(qiáng)的目標(biāo)達(dá)成策略。

不過(guò)研究人員也承認(rèn)，WSC并非沒有局限性。它需要使用者給智能代理們標(biāo)出各種與下游任務(wù)直接相關(guān)的各種要素，這就對(duì)使用者的專業(yè)知識(shí)提出了較高要求。此外，專家們還指出，他們目前的實(shí)驗(yàn)都是在預(yù)訓(xùn)練階段完成的，這個(gè)階段生成的內(nèi)容其實(shí)并不一定來(lái)自代理們與機(jī)制中的新要素所產(chǎn)生的互動(dòng)結(jié)果。基于此，他們下一步的工作就是要細(xì)致研究弱監(jiān)督機(jī)制的其他形式，看看它們能否給智能代理們提供新的有益信息。

“目前在實(shí)驗(yàn)中的復(fù)雜環(huán)境里，WSC已經(jīng)呈現(xiàn)出了令人欣喜的成果。我們有理由相信，未來(lái)若能給真實(shí)環(huán)境下的機(jī)器人也應(yīng)用這種機(jī)制，效果會(huì)更為喜人?！闭撐牡暮现邆儗懙?，“簡(jiǎn)言之，我們相信，這個(gè)新框架提供了一個(gè)監(jiān)督通用目標(biāo)學(xué)習(xí)機(jī)制在復(fù)雜環(huán)境下進(jìn)行應(yīng)用實(shí)踐的新視角?！?/p>

亞馬遜AI：用元學(xué)習(xí)機(jī)制來(lái)學(xué)會(huì)“舉一反三”

從上面的技術(shù)原理來(lái)看，谷歌的專家們有點(diǎn)像商人，他們的經(jīng)營(yíng)思路是要在降低成本的同時(shí)，不影響產(chǎn)品（也就是AI的學(xué)習(xí)能力）的質(zhì)量和性能。與之相比，亞馬遜的研究人員更像是個(gè)老師，他們致力于“授人以漁”，讓AI學(xué)會(huì)舉一反三的能力。

在即將到來(lái)的ICLR上，亞馬遜的研究人員將提交一份關(guān)于元學(xué)習(xí)任務(wù)（meta－learning tasks）如何大幅提升AI學(xué)習(xí)能力的論文。

所謂元學(xué)習(xí)任務(wù)，即是一種能讓AI在完成相關(guān)目標(biāo)的同時(shí)，還能引導(dǎo)其學(xué)會(huì)如何更好的進(jìn)行學(xué)習(xí)的任務(wù)模式。亞馬遜的研究者聲稱，他們研發(fā)的這種任務(wù)模式資源消耗很小：只需少數(shù)幾個(gè)標(biāo)簽訓(xùn)練模板就能讓AI“舉一反三”，完成好一個(gè)個(gè)新任務(wù)。

在傳統(tǒng)的機(jī)器學(xué)習(xí)過(guò)程中，模型先是吸納一系列標(biāo)記數(shù)據(jù)（支持集，support set），學(xué)習(xí)如何把標(biāo)記數(shù)據(jù)與特征標(biāo)簽（labels）關(guān)聯(lián)起來(lái)；而后，研究人員再喂給模型一些測(cè)試數(shù)據(jù)（測(cè)試集，query set），看看它能否根據(jù)此前學(xué)到的特征標(biāo)簽來(lái)厘清這些新數(shù)據(jù)。

與此種方式相反，在元學(xué)習(xí)機(jī)制下，AI模型要同時(shí)運(yùn)用自身訓(xùn)練數(shù)據(jù)和研究人員給出的測(cè)試數(shù)據(jù)集來(lái)完成任務(wù)。在此過(guò)程中，模型還可以對(duì)兩套數(shù)據(jù)進(jìn)行比對(duì)。這樣一來(lái)，AI在完成任務(wù)的同時(shí)，也能看得到自身對(duì)訓(xùn)練數(shù)據(jù)的反應(yīng)是如何影響其在測(cè)試數(shù)據(jù)上的表現(xiàn)的。

而在第二階段，也就是所謂的元測(cè)試階段（meta testing），模型要完成的測(cè)試任務(wù)與自己此前做的元學(xué)習(xí)任務(wù)有明顯的關(guān)聯(lián)，卻又并不完全相同。和之前的方法相似，在執(zhí)行每個(gè)新任務(wù)的過(guò)程中，模型還是能同時(shí)看到訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)，但這一次，特征標(biāo)簽都是未知的，AI必須通過(guò)此前的學(xué)習(xí)與自己得到的數(shù)據(jù)來(lái)進(jìn)行判斷，正確找出數(shù)據(jù)與標(biāo)簽的關(guān)聯(lián)性。

在元訓(xùn)練過(guò)程中，研究人員所采用的技術(shù)并不需要學(xué)習(xí)一個(gè)完整的全局模型。他們的做法是訓(xùn)練一個(gè)輔助模型，再通過(guò)它為每一個(gè)任務(wù)生成本地模型，并同時(shí)確定其所對(duì)應(yīng)的支持集。

在完成上述工作后，他們又準(zhǔn)備了一個(gè)輔助網(wǎng)絡(luò)，目的是充分利用測(cè)試集里的未標(biāo)記數(shù)據(jù)。這樣到了元測(cè)試階段，研究人員就可以用測(cè)試集來(lái)對(duì)前文提到的本地模型進(jìn)行微調(diào)了。

按照該團(tuán)隊(duì)的說(shuō)法，他們的系統(tǒng)通過(guò)一次任務(wù)學(xué)習(xí)就達(dá)到了16基線（baselines）。更具體的說(shuō)，其所應(yīng)用的新機(jī)制提高了AI從一個(gè)標(biāo)記的示例出發(fā)，去學(xué)習(xí)一個(gè)新對(duì)象分類任務(wù)的性能。根據(jù)底層AI模型體系結(jié)構(gòu)的不同，這種提升幅度在11％和16％之間。

關(guān)于這項(xiàng)技術(shù)，Alexa Shopping 應(yīng)用科學(xué)家巴勃羅·加西亞（Pablo Garcia）還在一篇博客中進(jìn)行了介紹：

“過(guò)去10年，深度學(xué)習(xí)系統(tǒng)已經(jīng)在很多人工智能任務(wù)中取得了非同凡響的巨大成功。但在具體應(yīng)用層面，其發(fā)揮空間一直比較有限。元學(xué)習(xí)機(jī)制有望讓機(jī)器學(xué)習(xí)系統(tǒng)訓(xùn)練成‘多面手’……該機(jī)制的主體思路是讓系統(tǒng)能通過(guò)少量標(biāo)簽訓(xùn)練示例就能完成一個(gè)個(gè)新任務(wù)。很明顯，如果進(jìn)展順利，元學(xué)習(xí)將大幅縮減勞動(dòng)密集型數(shù)據(jù)注釋工作的需求?！?/p>