OpenAI 把在模擬器中強化學(xué)習(xí)學(xué)到的方案遷移到機械手上

這些具有一定難度的任務(wù) OpenAI 自己也在研究，他們認為這是深度強化學(xué)習(xí)發(fā)展到新時代之后可以作為新標(biāo)桿的算法測試任務(wù)，而且也歡迎其它機構(gòu)與學(xué)校的研究人員一同研究這些任務(wù)，把深度強化學(xué)習(xí)的表現(xiàn)推上新的臺階。

OpenAI 已經(jīng)就機械手任務(wù)之二的轉(zhuǎn)方塊出了自己答案，展示了一個異常靈活的轉(zhuǎn)方塊的機械手。而且更精彩的是，這個完全在模擬器中強化學(xué)習(xí)學(xué)到的方案還可以不需任何微調(diào)就直接遷移到真實的機械手上。

OpenAI 把這套系統(tǒng)稱作 Dactyl。OpenAI 過去一年中研究強化學(xué)習(xí)系統(tǒng)的偏好思路再次得到了體現(xiàn)：在完全模擬的環(huán)境中訓(xùn)練，然后把訓(xùn)練結(jié)果遷移到現(xiàn)實世界的機械結(jié)構(gòu)中。

得益于可以大規(guī)模高速并行訓(xùn)練的模擬環(huán)境以及 OpenAI 在過去的研究中積累的系統(tǒng)設(shè)計與變量選擇經(jīng)驗，這樣的做法已經(jīng)可以得到很好的效果。強化學(xué)習(xí)算法方面，OpenAI 再次選擇了之前在 DOTA2 5v5 AI 中使用的 PPO（近端策略優(yōu)化），這當(dāng)然也再次展示了 PPO 作為通用強化學(xué)習(xí)算法的優(yōu)越性。當(dāng)然，系統(tǒng)最大的亮點還是可以完全在虛擬環(huán)境中訓(xùn)練，不需要對真實世界有準(zhǔn)確的物理模型也可以直接遷移到真實機械手、真實物體的控制上。

任務(wù)介紹

任務(wù)中使用的機械手模型是參照 Shadow Dexterous Hand 設(shè)計的。這是一個完全仿照人手設(shè)計的具有 20 個驅(qū)動自由度、4 個半驅(qū)動自由度、共 24 個關(guān)節(jié)的機械手，它的大小也和人手大小相同。任務(wù)的要求是在機械手的掌心放置一個方塊或者六棱柱，然后要求機械手把它翻轉(zhuǎn)到一個指定的角度，比如把某個側(cè)面翻到上方。系統(tǒng)只能觀察到五指指尖的空間坐標(biāo)以及三個固定角度的彩色攝像機采集到的畫面。

雖然這種機械手面世已經(jīng)有幾十年了，但是如何讓它像人類一樣高效地控制物體一直都是機器人控制領(lǐng)域的老大難問題。與空間定位移動之類的問題不同，非常多自由度的機械手控制用傳統(tǒng)控制方法不僅運行緩慢，而且必須對自由度做出一些限制，這也就隨之限制了它們控制真實世界物體的能力。

想通過深度強化學(xué)習(xí)的方法讓機械手翻轉(zhuǎn)一個物體，需要考慮這幾個問題：

能在真實世界中工作。強化學(xué)習(xí)雖然已經(jīng)在很多模擬器環(huán)境以及游戲中展現(xiàn)出了優(yōu)秀的表現(xiàn)，但是強化學(xué)習(xí)解決真實世界任務(wù)的研究仍然非常有限。OpenAI 的最終目標(biāo)就是要讓 Dactyl 在真實的機器人上完成任務(wù)。

高自由度控制。一般的機械臂（比如末端為夾子的工業(yè)機械臂）只有 7 個自由度，而機械手有多達 24 個自由度，僅僅是不讓 5 個指頭打架都有相當(dāng)?shù)碾y度。

有噪聲的部分信息觀察。Dactyl 在真實世界中工作的時候不可避免地會遇到傳感器讀數(shù)的噪聲和延遲問題。當(dāng)某一個手指的傳感器受到其它手指或者物體的影響而無法返回讀數(shù)的時候，Dactyl 只能在部分信息的狀況下工作。而且，真實物理系統(tǒng)許多細節(jié)（比如摩擦和滑動）是無法直接觀察到的，系統(tǒng)必須自己做出推斷。

能操作多個物體。Dactyl 的設(shè)計目標(biāo)是要足夠靈活，能夠翻轉(zhuǎn)、定向多種不同種類的物體。這就意味著不能選用只對某一些特定的幾何形狀有效的策略。

OpenAI 的解決方法

總的來說，OpenAI 完全在模擬器環(huán)境中、不借助任何人類輸入進行，讓 Dactyl 通過強化學(xué)習(xí)訓(xùn)練物體定向任務(wù)。在訓(xùn)練結(jié)束后，學(xué)到的策略不需要任何微調(diào)環(huán)節(jié)就可以直接在真實機器人上工作。

不過其實，學(xué)習(xí)機器人控制方法面臨著兩難的困境。模擬環(huán)境中的機器人固然可以輕松地獲得大量數(shù)據(jù)、訓(xùn)練出足夠復(fù)雜的策略，但是大多數(shù)控制問題本身的建模都不夠精確，導(dǎo)致學(xué)習(xí)到的策略難以遷移到真實世界的機器人上。即便只是對「兩個物體接觸」這樣的簡單現(xiàn)象建模，都還是一個開放性的科研問題，沒有什么廣為接受的、足夠好的模型。直接在真實的機器人上進行訓(xùn)練自然可以根據(jù)真實世界的物理規(guī)律學(xué)習(xí)到好的策略，不過真實世界中的訓(xùn)練就只能按照真實世界的速度運行，目前的強化學(xué)習(xí)算法受限于樣本效率問題，需要相當(dāng)于好幾年的嘗試經(jīng)驗才能夠解決物體轉(zhuǎn)向這樣的已經(jīng)相對簡單的問題。（財大氣粗的谷歌還真的就這樣做了，具體請見今天推文的第二篇?？梢哉f，谷歌利用自己的財力優(yōu)勢替整個領(lǐng)域嘗試了很多僅僅理論上可行的研究方法）

OpenAI 的訓(xùn)練技巧具體來說是「任務(wù)隨機化」（domain randomization），它并不追求建模的最佳擬真化，而是在充滿了豐富的變化的環(huán)境中學(xué)習(xí)到各種知識和經(jīng)驗。這樣的做法兼?zhèn)淞四M器和真實環(huán)境學(xué)習(xí)兩種做法的優(yōu)點：在模擬器環(huán)境中學(xué)習(xí)，可以讓模擬器運行速度高于真實世界速度，快速積累經(jīng)驗；同時用「多變」替代了「逼真」之后，它也可以在模擬器只能近似建模的任務(wù)中得到更好的表現(xiàn)。

包括 OpenAI 在內(nèi)的許多研究者都已經(jīng)通過實驗展示出了任務(wù)隨機化對于越來越復(fù)雜的任務(wù)的明顯的提升作用，近期的最有力的例子就是 OpenAI 訓(xùn)練出的 DOTA2 5v5 AI。在這個機械手控制的任務(wù)中，OpenAI 也是在探索大規(guī)模運行的任務(wù)隨機化能否帶來超出現(xiàn)有機器人控制方法的表現(xiàn)。

MuJoCo 物理模擬器相比真實的物理系統(tǒng)有這些不足：

在真實機器人和方塊上測量摩擦、阻尼、翻轉(zhuǎn)阻力等物理屬性很麻煩、很困難。而且隨著機械手磨損、這些值也會逐漸發(fā)生變化；模擬器中只有帶有固定參數(shù)的近似模型；

MuJoCo 是一個剛體運動的模擬器，這意味著它無法模擬機械手指尖的橡膠發(fā)生的接觸形變，也無法模擬手指上肌腱的拉伸；

在這個任務(wù)中機械手只能夠靠多次接觸方塊來改變方塊的方向，但接觸力又眾所周知地難以準(zhǔn)確在模擬器中復(fù)現(xiàn)。

如果仔細地調(diào)節(jié)模擬器中的參數(shù)，模擬的機械手的行為確實可以和真實機械手的行為做到比較好的匹配，但是上面的這些作用以目前的模擬器就很難準(zhǔn)確建模了，調(diào)節(jié)參數(shù)也無濟于事。

所以 OpenAI 轉(zhuǎn)而使用的方法是使用大規(guī)模分布式的模擬訓(xùn)練環(huán)境，而且這些環(huán)境中的物理屬性和視覺特征都是隨機選擇的。隨機地選擇這些值是一種很自然的表征各種真實物理系統(tǒng)的不確定性的做法，當(dāng)然這樣也可以防止系統(tǒng)過擬合到一組特定的環(huán)境設(shè)置中。根據(jù) OpenAI 研究人員們的想法，如果一種策略在所有這些不同的模擬環(huán)境中都可以完成任務(wù)，那么它也就很有可能可以直接在真實環(huán)境中完成任務(wù)。

在開發(fā)和測試階段，OpenAI 通過內(nèi)置的運動控制傳感器對學(xué)習(xí)到的機械手控制策略進行驗證，這也是為了能夠隔絕 Dactyl 自身的控制網(wǎng)絡(luò)與視覺網(wǎng)絡(luò)，可以對系統(tǒng)表現(xiàn)做出「客觀」的評價。

系統(tǒng)設(shè)計示意圖 - 模擬環(huán)境中訓(xùn)練

A. 分布式工作站從大量隨機環(huán)境中收集經(jīng)驗

B. 通過強化學(xué)習(xí)訓(xùn)練控制策略。這個策略根據(jù)物體的位姿和五個手指指尖的位置選擇接下來的行動

C. 訓(xùn)練一個 CNN 根據(jù)三路模擬環(huán)境中的攝像頭畫面估計物體的位姿

系統(tǒng)設(shè)計示意圖 - 遷移到真實世界

D. 位姿估計網(wǎng)絡(luò)和控制策略網(wǎng)絡(luò)共同工作，把任務(wù)從虛擬環(huán)境遷移到真實環(huán)境

學(xué)習(xí)控制

通過構(gòu)建可以支持遷移的模擬環(huán)境，OpenAI 把真實世界的機器人控制問題簡化為了模擬環(huán)境中完成任務(wù)的問題，現(xiàn)在它就很適合用強化學(xué)習(xí)解決。當(dāng)然了，即便是在模擬器中，控制如此多自由度的機械手完成任務(wù)仍然是一個有挑戰(zhàn)性的目標(biāo)，何況不同的模擬環(huán)境中還有不同的隨機物理屬性，這意味著物體的運動方式都會與真實世界有所不同。

為了能夠在不同的環(huán)境之間泛化，策略最好能夠在不同物理參數(shù)的環(huán)境中做出不同的行為。考慮到大多數(shù)的動態(tài)物理參數(shù)都無法從單次觀察中得出推斷結(jié)果，OpenAI 選用了帶有一定記憶能力的 LSTM 網(wǎng)絡(luò)架構(gòu)，實際上在模擬環(huán)境中基于 LSTM 得到的策略做出的旋轉(zhuǎn)動作也要比其它不具有記憶能力的策略多一倍。

Dactyl 使用的大規(guī)模分布式 PPO 實現(xiàn)「Rapid」是和 DOTA2 5v5 AI 一樣的。在這個任務(wù)中，模型架構(gòu)、環(huán)境、超參數(shù)有所區(qū)別，但算法和訓(xùn)練代碼是一致的。Rapid 訓(xùn)練策略使用了 6144 個 CPU 和 8 個 GPU，訓(xùn)練 50 小時就可以采集到相當(dāng)于真實世界中 100 年長度的經(jīng)驗。

學(xué)習(xí)觀察

OpenAI 的設(shè)計目標(biāo)是讓 Dactyl 能夠控制任意的物體，不局限于那些經(jīng)過專門的改動以后更好追蹤的物體。所以 Dactyl 也就選用了一組正常的彩色攝像頭對物體的位置和姿態(tài)進行估計。

OpenAI 訓(xùn)練了一個 CNN 用來估計位姿。這個網(wǎng)絡(luò)把布置在機械手周圍的三個攝像頭采集的視頻流作為輸入，然后輸出估計的物體位置和物體姿態(tài)。多個攝像頭的使用是為了避免判斷不清以及信號延遲。訓(xùn)練這個網(wǎng)絡(luò)時 OpenAI 也使用了任務(wù)隨機化的做法，環(huán)境隨之暫時切換為了 Unity 游戲開發(fā)平臺，它對各種視覺效果的支持豐富程度要比 MuJoCo 高得多。

「控制」與「觀察」兩個獨立的網(wǎng)絡(luò)互相配合，控制網(wǎng)絡(luò)可以根據(jù)給定的物體位姿重新調(diào)整它的位姿，視覺網(wǎng)絡(luò)根據(jù)攝像頭采集的畫面確認物體當(dāng)前的實際位姿。Dactyl 就這樣通過觀察控制了手里的物體。

學(xué)習(xí)位姿估計的圖像的一些示例

實驗結(jié)果

逐漸產(chǎn)生的行為

在部署系統(tǒng)的時候，OpenAI 的研究人員們注意到 Dactyl 會使用一系列豐富的靈活手掌內(nèi)操縱技巧來解決在這個任務(wù)；人類其實也經(jīng)常會使用這些技巧。而及這些技巧并不需要人類顯式地教會算法，它們?nèi)际撬惴ㄗ约喊l(fā)掘、自己學(xué)到的。

兩指夾住旋轉(zhuǎn)、滑動、手指同步旋轉(zhuǎn)，三種 Dactyl 完全自動學(xué)到的與人類類似的運動模式

Dactyl 學(xué)到的六種不同的握持姿勢。根據(jù)握持分類學(xué)，從左上到右下依次為：指尖捏、掌心捏、三指握持、四指握持、強力握持以及 5 指精確握持。

OpenAI 通過觀察發(fā)現(xiàn)，對于幾種高精確度的握持方法，比如兩指指尖捏，Dactyl 傾向于使用大拇指和小拇指；人類比較習(xí)慣的自然是用大拇指+食指或者大拇指+中指。不過值得指出的是，機械手的小拇指比人類的多出一個自由度，更為靈活，這可以作為 Dactyl 學(xué)會了這樣行為的一個解釋。這也可以理解為，Dactyl 一面可以自己發(fā)現(xiàn)人類常用的手部姿態(tài)，同時也可以重新適應(yīng)這些姿態(tài)，讓它們更符合自己的肢體的限制和能力。

（ AI 科技評論注：多提供一個思考角度，從生物進化的角度來說，手指握持的方式是和手指的結(jié)構(gòu)相互適應(yīng)的。使用一個「類人」的機械手，學(xué)習(xí)到「類人」的握持姿勢并不奇怪。另一方面，握持姿勢的選擇除了自由度，也與生物結(jié)構(gòu)有關(guān)，食指比小拇指更有力、也更靈活，這與人類更常用食指也是相輔相成）

系統(tǒng)表現(xiàn)的遷移

OpenAI 在真實環(huán)境的機械手與攝像頭配置上測試了 Dactyl 在物體脫手、或者時間用完之前能翻轉(zhuǎn)的次數(shù)，最高計數(shù) 50 次。在模擬器環(huán)境中訓(xùn)練出的策略可以直接成功地操控真實世界中的物體。

對于控制方塊的任務(wù)，使用了「任務(wù)隨機化」訓(xùn)練得到的策略能成功完成翻轉(zhuǎn)的次數(shù)要多得多，如下表。并且，通過攝像頭信號估計位姿進行控制得到的結(jié)果和使用運動追蹤傳感器得到的結(jié)果差不多，這也體現(xiàn)出了視覺估計網(wǎng)絡(luò)的高準(zhǔn)確率。

學(xué)習(xí)過程

訓(xùn)練過程中的大多數(shù)時間都花在了提升策略在不同物理屬性環(huán)境中的魯棒性上。在不使用隨機化時，在虛擬環(huán)境中學(xué)會翻轉(zhuǎn)物體需要的經(jīng)驗大概相當(dāng)于 3 年那么長，而在全面使用了隨機化的設(shè)置下達到類似的表現(xiàn)需要大概相當(dāng)于 100 年的經(jīng)驗。（不過我們也別忘了，不使用隨機化時訓(xùn)練出的策略是無法直接遷移到真實世界的機器人的，因為學(xué)到的策略只針對模擬器中那一組特定的物理參數(shù)有效）

實驗中的有趣發(fā)現(xiàn)

對于真實世界物體的控制來說，觸覺感知并不是必須的。Dactyl 接收到的信號只包括 5 個手指指尖的位置以及方塊的位置和方向。機械手上確實帶有觸覺傳感器，但是 OpenAI 并沒有使用它們就可以達到目標(biāo)。總地來說，相比于有一大批傳感器、一大批難以建模的數(shù)值，OpenAI 認為一組數(shù)目有限但可以在模擬環(huán)境中高效建模的傳感器可以幫助帶來更好的表現(xiàn)。

為某一個物體做的隨機化設(shè)定可以泛化到其它屬性類似的物體上。在控制方塊的系統(tǒng)開發(fā)完成之后，OpenAI 制作了一個六棱柱，根據(jù)它的外型訓(xùn)練了一個新的策略，然后嘗試讓機械手控制它。有點出乎他們意料的是，只依靠一開始為控制方塊設(shè)計的隨機化設(shè)置，機械手就能很好地控制六棱柱了。相比之下，重新訓(xùn)練一個控制圓球的策略就不能連續(xù)成功很多次，可能是因為并沒有針對轉(zhuǎn)動行為設(shè)計適合的隨機化模擬參數(shù)。

對于真實機器人來說，好的系統(tǒng)工程和好的算法一樣重要。在研究過程中，OpenAI 團隊發(fā)現(xiàn)幾個工程師都嘗試一樣的策略的時候，其中一位得到的表現(xiàn)總是要比其他幾位的好得多。后來他們發(fā)現(xiàn)是因為這位工程師的筆記本電腦比較快，一個會影響表現(xiàn)的計時器 bug 從而就不會出現(xiàn)。這個 bug 解決之后，整個團隊運行策略的表現(xiàn)都得到了提高。

沒有達到預(yù)期效果的項目

除了上面的驚喜之外，OpenAI 也驚訝地發(fā)現(xiàn)一些強化學(xué)習(xí)連續(xù)控制中的常用技巧并沒能幫助他們提高系統(tǒng)的表現(xiàn)。

減短反應(yīng)時間并沒有提高系統(tǒng)表現(xiàn)。大家普遍認為減短做出動作的時間間隔能夠提高系統(tǒng)表現(xiàn)，因為這樣一來前后狀態(tài)之間的變化會比較小，也就更容易預(yù)測。目前 OpenAI 設(shè)定的動作時間間隔是 80ms，要比人類一般的反應(yīng)時間 150~250ms 短一些，但是仍然比神經(jīng)網(wǎng)絡(luò)計算所需的大概 25ms 左右的時間長得多。令人驚訝的是，把動作時間間隔縮短到 40ms 需要花費更長的訓(xùn)練時間，但同時并沒有給真實世界機械手的表現(xiàn)帶來可感的提升。有一種可能是，這種公認有效的做法用在神經(jīng)網(wǎng)絡(luò)模型上的效果確實要比用在目前廣泛使用的線性控制模型的效果差一些。

用真實數(shù)據(jù)訓(xùn)練視覺策略并沒有帶來什么提升。在早期的實驗中，OpenAI 綜合使用了模擬的以及真實的數(shù)據(jù)用來改進模型。真實數(shù)據(jù)的采集來自一個帶有追蹤標(biāo)記的物體在測試策略的機械手上的實驗過程。然而，真實數(shù)據(jù)相比模擬的數(shù)據(jù)有著顯著的劣勢。從追蹤標(biāo)記得到的位置信息帶有延遲和測量誤差，而且更糟糕的是，隨便改變一點參數(shù)就會讓已經(jīng)采集到的真實數(shù)據(jù)變得完全沒用。隨著 OpenAI 持續(xù)改進自己的方法，只使用模擬數(shù)據(jù)訓(xùn)練的模型的表現(xiàn)也在不停提高，已經(jīng)達到了模擬和真實數(shù)據(jù)混合訓(xùn)練的模型的錯誤率水平。最終使用的模型也就完全沒有使用真實數(shù)據(jù)。

總結(jié)

對 OpenAI 來說，這個項目是他們過去兩年中追求的完整 AI 研發(fā)循環(huán)的最好體現(xiàn)：先開發(fā)新的強化學(xué)習(xí)算法，再拓展它的運行規(guī)模、在模擬環(huán)境中訓(xùn)練解決困難的問題，最后再把得到的系統(tǒng)應(yīng)用在真實世界中。以越來越大的規(guī)模沿著這種途徑不停前進也是 OpenAI 為自己規(guī)劃的通往安全的通用人工智能的主要路徑。

OpenAI 已經(jīng)展示了聯(lián)通強化學(xué)習(xí)理論研究與現(xiàn)實世界問題探索的一座橋梁，我們也期待看到這個領(lǐng)域內(nèi)更多的理論和現(xiàn)實世界問題聯(lián)動的案例。