強(qiáng)化學(xué)習(xí)中泛化的對(duì)比性行為相似性嵌入向量

強(qiáng)化學(xué)習(xí) (RL) 是一種順序決策范例，用于訓(xùn)練智能體來(lái)處理復(fù)雜的任務(wù)，例如機(jī)器人運(yùn)動(dòng)、玩視頻游戲、放飛平流層氣球以及設(shè)計(jì)硬件芯片等。

放飛平流層氣球

http://rdcu.be/cbBRc

玩視頻游戲

https://ai.googleblog.com/2020/04/an-optimistic-perspective-on-offline.html

雖然 RL 智能體已經(jīng)在各種活動(dòng)任務(wù)中呈現(xiàn)出很好的結(jié)果，但很難將這些智能體的能力轉(zhuǎn)移到新的任務(wù)中，即便這些任務(wù)在語(yǔ)義層面上是等同的。例如，在跳躍任務(wù)中，智能體需要從圖像觀察中學(xué)習(xí)如何跳過(guò)一個(gè)障礙物。在用于訓(xùn)練 Deep RL 智能體的一些任務(wù)中，障礙物位置是變化的，此時(shí)若障礙出現(xiàn)在先前沒(méi)有見(jiàn)過(guò)的位置上，則這類智能體很難成功地躍過(guò)。

跳躍任務(wù)：智能體（白塊），從像素中學(xué)習(xí)如何跳過(guò)一個(gè)障礙物（灰色方塊）。本任務(wù)的挑戰(zhàn)在于，如何在測(cè)試任務(wù)中使用少量的訓(xùn)練任務(wù)來(lái)泛化未見(jiàn)過(guò)的障礙物位置和離地高度。在指定的任務(wù)中，智能體需要在離障礙物一定距離時(shí)準(zhǔn)確地確定跳躍的時(shí)間，否則會(huì)撞到障礙物

在發(fā)表于 ICLR 2021 的“強(qiáng)化學(xué)習(xí)中泛化的對(duì)比性行為相似性嵌入向量 (Contrastive Behavioral Similarity Embeddings for Generalization in Reinforcement Learning)”一文中，我們將 RL 中固有的順序結(jié)構(gòu)納入表征學(xué)習(xí)過(guò)程，以增強(qiáng)對(duì)未見(jiàn)過(guò)的任務(wù)的泛化。這與之前的主流方法不同，主流方法通常是由監(jiān)督學(xué)習(xí) (Supervised learning) 改編而來(lái)，因此在很大程度上忽略了這里提及的順序方面。而我們的方法則利用了這樣一個(gè)事實(shí)：智能體在具有相似根本方法的任務(wù)中進(jìn)行操作時(shí)，至少會(huì)在這些任務(wù)中表現(xiàn)出類似的短序列性的行為。

強(qiáng)化學(xué)習(xí)中泛化的對(duì)比性行為相似性嵌入向量

https://agarwl.github.io/pse/

之前關(guān)于泛化的研究通常是由監(jiān)督學(xué)習(xí)改編而來(lái)，并主要圍繞加強(qiáng)學(xué)習(xí)過(guò)程。這些方法很少利用序列方面的屬性，例如時(shí)間觀察中操作的相似性

我們的方法是訓(xùn)練智能體學(xué)習(xí)一種表征，智能體在某些狀態(tài)下的最佳行為和未來(lái)狀態(tài)接近時(shí)，這些狀態(tài)就是相似的。這種接近的概念，我們稱之為行為相似性，可以泛化至不同任務(wù)中的觀察結(jié)果。為了衡量不同任務(wù)的狀態(tài)之間的行為相似性（例如，跳躍任務(wù)中不同的障礙物位置），我們引入了策略相似性指標(biāo)(PSM)，這是一個(gè)在理論層面驅(qū)動(dòng)的狀態(tài)相似性指標(biāo)，受互模擬的啟發(fā)而成。例如下圖所示，智能體在兩個(gè)視覺(jué)上不同的狀態(tài)下，未來(lái)操作是相同的，因此，根據(jù) PSM，這些狀態(tài)就是相似的。

互模擬

https://arxiv.org/pdf/1207.4114.pdf

了解行為相似性。智能體（藍(lán)色圖標(biāo)）需要在遠(yuǎn)離危險(xiǎn)圖標(biāo)的情況下取得獎(jiǎng)勵(lì)。即便初始狀態(tài)在視覺(jué)上是不同的，但就其在當(dāng)前狀態(tài)以及緊接著的未來(lái)狀態(tài)下的最佳行為而言，它們是相似的。策略相似性指標(biāo) (PSM) 將高相似度分配給這種行為上相似的狀態(tài)，將低相似度分配給不相似的狀態(tài)

為了提升泛化程度，我們的方法學(xué)習(xí)了狀態(tài)嵌入向量，對(duì)應(yīng)基于神經(jīng)網(wǎng)絡(luò)的任務(wù)狀態(tài)表征，將行為上相似的狀態(tài)聚集在一起（如上圖），同時(shí)將行為上不相似的狀態(tài)分開(kāi)。為此，我們提出了對(duì)比性指標(biāo)嵌入向量(CMEs)，利用對(duì)比性學(xué)習(xí)的優(yōu)勢(shì)來(lái)學(xué)習(xí)基于狀態(tài)相似性指標(biāo)的表征。我們將對(duì)比性嵌入向量與策略相似性指標(biāo) (PSM) 進(jìn)行實(shí)例化，用來(lái)學(xué)習(xí)策略相似性嵌入向量(PSEs)。PSEs 將相似的表征分配給在這些狀態(tài)和未來(lái)狀態(tài)下具有相似行為的狀態(tài)，如上圖所示的兩個(gè)初始狀態(tài)。

如下列結(jié)果所示，PSEs 顯著增強(qiáng)了前面提到的從像素學(xué)習(xí)的跳躍任務(wù)的泛化能力，其表現(xiàn)優(yōu)于先前的方法。

從像素學(xué)習(xí)的跳躍任務(wù)

https://github.com/google-research/jumping-task

跳躍任務(wù)結(jié)果：在有數(shù)據(jù)增強(qiáng)和無(wú)數(shù)據(jù)增強(qiáng)的情況下，不同方法解決的測(cè)試任務(wù)比例 (%)。下圖顯示了“寬”、“窄”和“隨機(jī)”網(wǎng)格的配置，包含 18 個(gè)訓(xùn)練任務(wù)和 268 個(gè)測(cè)試任務(wù)。我們報(bào)告了不同隨機(jī)初始化 100 次運(yùn)行的平均性能，括號(hào)內(nèi)為標(biāo)準(zhǔn)差

正則化

https://arxiv.org/abs/1810.00123

數(shù)據(jù)增強(qiáng)

https://arxiv.org/abs/1910.05396

互模擬

https://arxiv.org/abs/2006.10742

跳躍任務(wù)網(wǎng)格配置：不同配置下帶有數(shù)據(jù)增強(qiáng)的 PSEs 平均性能的可視化。對(duì)于每種網(wǎng)格配置，高度沿 Y 軸變化（11 個(gè)高度），而障礙物位置沿 X 軸變化（26 個(gè)位置）。紅色字母 T 表示訓(xùn)練任務(wù)。米色方塊是 PSEs 解決的任務(wù)，而黑色方塊是未解決的任務(wù)，均在有數(shù)據(jù)增強(qiáng)的情況下進(jìn)行

我們還對(duì) PSEs 和基線方法學(xué)到的表征進(jìn)行了可視化，通過(guò) UMAP 將它們投射到 2D 點(diǎn)上，這是一種常用的高維度數(shù)據(jù)可視化技術(shù)。如可視化圖像所示，PSEs 將行為上相似的狀態(tài)聚集在一起，而將不相似的狀態(tài)分開(kāi)，這與之前的方法不同。此外，PSEs 將狀態(tài)分為兩組：(1) 跳躍前的所有狀態(tài)；(2) 操作不影響結(jié)果的狀態(tài)（跳躍后的狀態(tài)）。

UMAP

https://pair-code.github.io/understanding-umap/

將已學(xué)習(xí)的表征可視化。(a) 障礙物位置不同的情況下，跳躍任務(wù)（彩色方塊）的最佳軌跡。具有相同數(shù)字標(biāo)簽的點(diǎn)表示智能體與障礙物距離相同，這是在各種跳躍任務(wù)中作為基礎(chǔ)的最佳不變特征。(b-d) 我們用 UMAP 可視化隱藏的表征，其中點(diǎn)的顏色表示相應(yīng)觀察的任務(wù)。(b) PSEs 捕捉到了正確的不變特征，如圖所示，具有相同數(shù)字標(biāo)簽的點(diǎn)被聚集在了一起。也就是說(shuō)，在跳躍操作（編號(hào)為 2 的方塊）之后，所有其他操作（無(wú)編號(hào)方塊）都是相似的，如重疊的曲線所示。與 PSEs 相反，包括 (c) l2-loss 嵌入向量（而不是對(duì)比性損失）和 (d) 基于獎(jiǎng)勵(lì)的互模擬指標(biāo)在內(nèi)的基線并沒(méi)有把具有相似數(shù)字標(biāo)簽、行為上相似的狀態(tài)放在一起。(c, d) 的泛化能力較弱，可能是由于具有相似最佳行為的狀態(tài)最終被放在遠(yuǎn)距離嵌入向量上

結(jié)論

總體上看，本文展現(xiàn)了利用 RL 中的固有結(jié)構(gòu)來(lái)學(xué)習(xí)有效表征的優(yōu)勢(shì)。具體來(lái)說(shuō)，本文展示了兩項(xiàng)可推進(jìn) RL 中泛化的貢獻(xiàn)：策略相似性指標(biāo)和對(duì)比性指標(biāo)嵌入向量。PSEs 結(jié)合這兩種思路來(lái)加強(qiáng)泛化。對(duì)于未來(lái)工作，值得探究的方向包括找到更好的方法來(lái)定義行為相似性，并利用這種結(jié)構(gòu)進(jìn)行表征學(xué)習(xí)。

責(zé)任編輯：haq