強(qiáng)化學(xué)習(xí)“好奇心”模型：訓(xùn)練無(wú)需外部獎(jiǎng)勵(lì)，全靠自己

強(qiáng)化學(xué)習(xí)模型往往依賴對(duì)外部獎(jiǎng)勵(lì)機(jī)制的精心設(shè)計(jì)，在模型訓(xùn)練成本控制和可擴(kuò)展性上都存在局限。OpenAI的研究人員提出一種新的強(qiáng)化學(xué)習(xí)模型訓(xùn)練方式，以agent的“好奇心”作為內(nèi)在獎(jiǎng)勵(lì)函數(shù)，在訓(xùn)練中無(wú)需外部獎(jiǎng)勵(lì)，泛化性好，經(jīng)過(guò)54種環(huán)境測(cè)試，效果拔群。

強(qiáng)化學(xué)習(xí)模型在很大程度上依賴于對(duì)agent的外在環(huán)境獎(jiǎng)勵(lì)的精心設(shè)計(jì)。然而，用手工設(shè)計(jì)的密集獎(jiǎng)勵(lì)來(lái)對(duì)每個(gè)環(huán)境進(jìn)行標(biāo)記的方式是不可擴(kuò)展的，這就需要開(kāi)發(fā)agent所固有的獎(jiǎng)勵(lì)函數(shù)。好奇心就是一種內(nèi)在的獎(jiǎng)勵(lì)函數(shù)，它使用預(yù)測(cè)誤差作為獎(jiǎng)勵(lì)信號(hào)。

在本文中，我們首次在54個(gè)標(biāo)準(zhǔn)基準(zhǔn)測(cè)試環(huán)境（包括一系列Atari游戲）中進(jìn)行了純粹基于好奇心驅(qū)動(dòng)學(xué)習(xí)的大規(guī)模研究，不設(shè)置任何外在獎(jiǎng)勵(lì)。得到的結(jié)果令人驚喜，而且表明內(nèi)在的好奇心目標(biāo)獎(jiǎng)勵(lì)與許多游戲環(huán)境中手工設(shè)計(jì)的外在獎(jiǎng)勵(lì)機(jī)制之間存在高度的一致性。

強(qiáng)化學(xué)習(xí)“好奇心”模型：訓(xùn)練無(wú)需外部獎(jiǎng)勵(lì)，全靠自己

我們研究了使用不同的特征空間來(lái)計(jì)算預(yù)測(cè)誤差的效果，并表明，隨機(jī)特征對(duì)于許多流行的強(qiáng)化學(xué)習(xí)游戲的基準(zhǔn)測(cè)試來(lái)說(shuō)已經(jīng)足夠，但是已學(xué)習(xí)過(guò)的特征看起來(lái)似乎具備更高的泛化性。（比如可以遷移至《超級(jí)馬里奧兄弟》的新關(guān)卡中）。

我們對(duì)agent進(jìn)行了大規(guī)模的實(shí)證研究，這些agent純粹通過(guò)各種模擬環(huán)境中的內(nèi)在獎(jiǎng)勵(lì)來(lái)驅(qū)動(dòng)，這還是業(yè)界首次。特別是，我們選擇基于動(dòng)力學(xué)的內(nèi)在獎(jiǎng)勵(lì)的好奇心模型。因?yàn)樵撃Ｐ途哂泻軓?qiáng)的可擴(kuò)展性和可并行性，因此非常適合大規(guī)模實(shí)驗(yàn)使用。

圖1：本文研究中使用的54種環(huán)境的快照截圖集合。我們的研究表明，agent能夠只憑借好奇心，在沒(méi)有外部獎(jiǎng)勵(lì)或結(jié)束信號(hào)的情況下取得進(jìn)步。

相關(guān)視頻、結(jié)果、代碼和模型，見(jiàn)https://pathak22.github.io/large-scale-curiosity

我們的思路是，將內(nèi)在獎(jiǎng)勵(lì)表示為預(yù)測(cè)agent在當(dāng)前狀態(tài)下的行為后果時(shí)出現(xiàn)的錯(cuò)誤，即agent學(xué)習(xí)的前向動(dòng)態(tài)的預(yù)測(cè)誤差。我們徹底調(diào)查了54種環(huán)境中基于動(dòng)力學(xué)的好奇心：這些場(chǎng)景包括視頻游戲、物理引擎模擬和虛擬3D導(dǎo)航任務(wù)等，如圖1所示。

為了更好地理解好奇心驅(qū)動(dòng)的學(xué)習(xí)，我們進(jìn)一步研究了決定其表現(xiàn)的關(guān)鍵因素。對(duì)高維原始觀察空間（如圖像）中的未來(lái)狀態(tài)進(jìn)行預(yù)測(cè)是一個(gè)極具挑戰(zhàn)性的問(wèn)題，對(duì)輔助特征空間中的動(dòng)態(tài)進(jìn)行學(xué)習(xí)可以改善結(jié)果。

但是，如何選擇這樣一個(gè)嵌入空間是一個(gè)關(guān)鍵、未解決的研究問(wèn)題。通過(guò)對(duì)系統(tǒng)的簡(jiǎn)化，我們研究了用不同的方法對(duì)agent觀察到的信息進(jìn)行編碼的作用，使得agent可以完全靠自身的好奇心機(jī)制做出良好的表現(xiàn)。

上圖是8種選定的Atari游戲和《超級(jí)馬里奧兄弟》的特征學(xué)習(xí)方法的比較。圖中的評(píng)估曲線顯示agent純粹通過(guò)好奇心訓(xùn)練，在沒(méi)有外部獎(jiǎng)勵(lì)和關(guān)卡結(jié)束信號(hào)的情況下，獲得的平均獎(jiǎng)勵(lì)分?jǐn)?shù)（包括標(biāo)準(zhǔn)誤差）。

我們看到，純粹以好奇心驅(qū)動(dòng)的agent能夠在這些環(huán)境中收集獎(jiǎng)勵(lì)，而無(wú)需在訓(xùn)練中使用任何外部獎(jiǎng)勵(lì)。

圖3：左：采用不同批規(guī)模的RF訓(xùn)練方法的比較，訓(xùn)練沒(méi)有使用外在獎(jiǎng)勵(lì)。中：Juggling（Roboschool）環(huán)境中的球彈跳次數(shù)。 右：多人游戲Pong環(huán)境下的平均關(guān)卡長(zhǎng)度

為了確保動(dòng)態(tài)的穩(wěn)定在線訓(xùn)練，我們認(rèn)為所需的嵌入空間應(yīng)該：（1）在維度方面緊湊，（2）能夠保存觀測(cè)到的足夠信息，（3）是基于觀測(cè)信息的固定函數(shù)。

圖4：《超級(jí)馬里奧兄弟》游戲環(huán)境下的泛化實(shí)驗(yàn)。 左圖所示為1-1關(guān)到1-2關(guān)的遷移結(jié)果，右圖為1-1關(guān)到1-3關(guān)的遷移結(jié)果。下方為源環(huán)境到目標(biāo)環(huán)境的映射。 所有agent都的訓(xùn)練過(guò)程中都沒(méi)有外在獎(jiǎng)勵(lì)。

圖5：在使用終端外部獎(jiǎng)勵(lì)+好奇心獎(jiǎng)勵(lì)進(jìn)行組合訓(xùn)練時(shí)，Unity環(huán)境下的平均外在獎(jiǎng)勵(lì)。 注意，只通過(guò)外部獎(jiǎng)勵(lì)進(jìn)行訓(xùn)練的曲線值始終為零（表現(xiàn)為圖中最底部的直線）

我們的研究表明，通過(guò)隨機(jī)網(wǎng)絡(luò)對(duì)觀察結(jié)果進(jìn)行編碼是一種簡(jiǎn)單有效的技術(shù)，可以用于在許多流行的強(qiáng)化學(xué)習(xí)基準(zhǔn)測(cè)試中建立好奇心模型。這可能表明，許多流行的強(qiáng)化學(xué)習(xí)視頻游戲測(cè)試并不像通常認(rèn)為的那樣，在視覺(jué)上有那么高的復(fù)雜度。

有趣的是，雖然隨機(jī)特征對(duì)于許多流行的強(qiáng)化學(xué)習(xí)游戲的基準(zhǔn)測(cè)試來(lái)說(shuō)已經(jīng)足夠了，但是已學(xué)習(xí)過(guò)的特征看起來(lái)似乎具備更高的可推廣性（比如推廣至《超級(jí)馬里奧兄弟》的新關(guān)卡中）。

上圖給出了所有Atari游戲環(huán)境下的表現(xiàn)結(jié)果。我們發(fā)現(xiàn)，用像素訓(xùn)練的好奇心模型在任何環(huán)境中都表現(xiàn)不好，并且VAE特征的表現(xiàn)也不比隨機(jī)特征及逆動(dòng)力學(xué)特征更好，甚至有時(shí)還更差。

此外，在55％的Atari游戲中，逆動(dòng)態(tài)訓(xùn)練特征比隨機(jī)特征的表現(xiàn)更好。分析表明，對(duì)好奇心進(jìn)行建模的隨機(jī)特征是一個(gè)簡(jiǎn)單而強(qiáng)大的基線標(biāo)準(zhǔn)，并且可能在一半的Atari游戲場(chǎng)景中表現(xiàn)良好。

小結(jié)

（1）我們對(duì)各種環(huán)境下的好奇心驅(qū)動(dòng)模型進(jìn)行了大規(guī)模的研究，這些場(chǎng)景包括：Atari游戲集、《超級(jí)馬里奧兄弟》游戲、Unity中的虛擬3D導(dǎo)航、Roboschool 環(huán)境等。

（2）我們廣泛研究了用于學(xué)習(xí)基于動(dòng)力學(xué)的好奇心的不同特征空間，包括隨機(jī)特征，像素，反向動(dòng)力學(xué)和變分自動(dòng)編碼器，并評(píng)估這些空間在不可視環(huán)境下的可推廣性。

（3）局限性：我們觀察到，如果agent本身就是環(huán)境中隨機(jī)性的來(lái)源，它可以在未取得任何實(shí)際進(jìn)展的情況下進(jìn)行自我獎(jiǎng)勵(lì)。我們?cè)?D導(dǎo)航任務(wù)中憑經(jīng)驗(yàn)證明了這一局限性，在這類任務(wù)中，agent能夠控制環(huán)境的各個(gè)不同部分。

未來(lái)方向

我們提出了一種簡(jiǎn)單且可擴(kuò)展的方法，可以在不同的環(huán)境中學(xué)習(xí)非平凡的行為，而無(wú)需任何獎(jiǎng)勵(lì)函數(shù)或結(jié)束信號(hào)。本文的一個(gè)令人驚訝的發(fā)現(xiàn)是隨機(jī)特征表現(xiàn)不錯(cuò)，但已學(xué)習(xí)的特征似乎在可泛化性上更勝一籌。我們認(rèn)為一旦環(huán)境足夠復(fù)雜，對(duì)特征的學(xué)習(xí)將變得更加重要，不過(guò)我們決定將這個(gè)問(wèn)題留給未來(lái)。

我們更高的目標(biāo)是，能夠利用許多未標(biāo)記的（即沒(méi)有事先設(shè)計(jì)的獎(jiǎng)勵(lì)函數(shù)）環(huán)境來(lái)改善面向感興趣的任務(wù)的性能。有鑒于此，在具備通用獎(jiǎng)勵(lì)函數(shù)的環(huán)境中展示出很好的表現(xiàn)只是我們研究的第一步，未來(lái)的成果可能包括實(shí)現(xiàn)從未標(biāo)記環(huán)境到標(biāo)記環(huán)境的遷移。