讓機(jī)器人通過(guò)觀察人類(lèi)的操作來(lái)學(xué)會(huì)操作新的物體

模仿能力是智能重要的組成部分，人和動(dòng)物常常通過(guò)觀察其他個(gè)體來(lái)學(xué)習(xí)新的技能。那么我們能不能將這種能力賦予機(jī)器人呢？是否可以像下圖一樣，讓機(jī)器人通過(guò)觀察人類(lèi)的操作來(lái)學(xué)會(huì)操作新的物體呢？

機(jī)器人在觀察人類(lèi)行為后學(xué)會(huì)了將桃子放到了紅色的碗里

如果擁有這樣的能力，將極大地簡(jiǎn)化部署機(jī)器人完成新任務(wù)的過(guò)程。我們只需要展示給機(jī)器人需要進(jìn)行的任務(wù)，而無(wú)須進(jìn)行遙操作或設(shè)計(jì)復(fù)雜的獎(jiǎng)勵(lì)函數(shù)。很多工作探索了機(jī)器人可以從本身的專(zhuān)業(yè)經(jīng)驗(yàn)中很好的學(xué)習(xí)，這樣的學(xué)習(xí)方式稱(chēng)為模仿學(xué)習(xí)。

然而基于視覺(jué)技能的模仿學(xué)習(xí)需要大量專(zhuān)業(yè)的示范數(shù)據(jù)。例如利用原始像素輸入來(lái)靠近單一固定物體的任務(wù)就需要200次表現(xiàn)良好的示范才能達(dá)到。如果只提供一個(gè)示范樣本，要完成這樣的模仿對(duì)于機(jī)器人來(lái)說(shuō)十分困難。

除此之外，如果機(jī)器人需要模仿人類(lèi)的示范的特定操作技能還需要面臨額外的挑戰(zhàn)。除了機(jī)械臂與人類(lèi)手臂的構(gòu)造差異外，在人類(lèi)示范和機(jī)器人示范之間建立起正確的對(duì)應(yīng)關(guān)系是一件十分困難的事情。這并不僅僅是對(duì)運(yùn)動(dòng)簡(jiǎn)單的跟蹤和重映射，其中最主要的部分在于運(yùn)動(dòng)對(duì)環(huán)境中物體的影響，并且我們需要建立一個(gè)以這種相互作用為中心的對(duì)應(yīng)關(guān)系。

為了使得機(jī)器人可以模仿視頻中人類(lèi)的技能，可以結(jié)合一系列先驗(yàn)經(jīng)驗(yàn)而不是從零開(kāi)始學(xué)習(xí)。通過(guò)結(jié)合先前的經(jīng)驗(yàn)，機(jī)器人可以迅速學(xué)會(huì)對(duì)于新物體的操作而在域的移動(dòng)中保持不變性，就像在觀察了人類(lèi)的示范后機(jī)器人可以在不同背景和視角下學(xué)會(huì)操縱物體。研究人員的目標(biāo)是通過(guò)從示范數(shù)據(jù)中學(xué)會(huì)學(xué)習(xí)，來(lái)實(shí)現(xiàn)少樣本的模仿和域不變性。這種被稱(chēng)為元學(xué)習(xí)的技術(shù)是賦予機(jī)器人通過(guò)觀察模仿人類(lèi)的關(guān)鍵。

One-Shot模仿學(xué)習(xí)

那么如何利用元學(xué)習(xí)來(lái)幫助機(jī)器人快速的適應(yīng)不同的物體呢？研究人員們采用結(jié)合元學(xué)習(xí)和模仿學(xué)習(xí)的方式來(lái)實(shí)現(xiàn)一次模仿學(xué)習(xí)。關(guān)鍵的想法在于給機(jī)器人提供某一特定任務(wù)的當(dāng)個(gè)示范，機(jī)器人就能迅速的識(shí)別任務(wù)，并在不同的情形下成功解決。早先的一個(gè)工作通過(guò)從成千上萬(wàn)個(gè)示范中學(xué)會(huì)學(xué)習(xí)來(lái)實(shí)現(xiàn)一次學(xué)習(xí)，并給出了優(yōu)秀的結(jié)果。如果我們希望一個(gè)實(shí)際的機(jī)器人能夠模仿人類(lèi)并操縱各種各樣的新物體，就需要開(kāi)發(fā)一個(gè)能從視頻數(shù)據(jù)集的示范中學(xué)會(huì)學(xué)習(xí)的系統(tǒng)，而這些數(shù)據(jù)可以在真實(shí)環(huán)境中收集。接下來(lái)的部分首先討論了通過(guò)遙操作收集的單個(gè)示范來(lái)實(shí)現(xiàn)的視覺(jué)模仿，隨后展示了這種方法是如何拓展到向人類(lèi)視頻中學(xué)習(xí)的范疇中去的。

One-Shot視覺(jué)模仿學(xué)習(xí)

為了讓機(jī)器人可以從視頻中學(xué)習(xí)，研究人員將模仿學(xué)習(xí)與一種高效的元學(xué)習(xí)算法（未知模型元學(xué)習(xí)，MAML）結(jié)合起來(lái)。通過(guò)標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)來(lái)作為策略表示，在每個(gè)時(shí)間步長(zhǎng)將機(jī)器人輸入的圖像ot和狀態(tài)信息xt（例如關(guān)節(jié)的角度和速度）映射到了機(jī)器人的行動(dòng)上at（比如夾爪的線(xiàn)速度和角速度）。下圖展示了算法三個(gè)主要的步驟。

首先人們對(duì)于不同任務(wù)(操作不同物體)收集了大量操作示范構(gòu)建了大型數(shù)據(jù)集；隨后利用MAML學(xué)習(xí)了策略參數(shù)θ的初始狀態(tài)。隨后提供某一特定物體的示范時(shí)，我們可以基于這一示范來(lái)運(yùn)行梯度下降法來(lái)尋找對(duì)于這一物體的一般化策略θ’。當(dāng)使用遙操作示范時(shí)，策略可以通過(guò)比較預(yù)測(cè)行動(dòng)πθ(ot)和專(zhuān)家行為a*t來(lái)更新策略：

隨后通過(guò)促使策略πθ’的值來(lái)匹配同一物體其他示例的行為，實(shí)現(xiàn)對(duì)于參數(shù)θ的更新。在元訓(xùn)練后，我們就可以利用這一任務(wù)的單一示范來(lái)計(jì)算梯度步驟，從而讓機(jī)器人去操縱完全沒(méi)有見(jiàn)過(guò)的物體了。這一步驟稱(chēng)為元測(cè)試。

策略架構(gòu)

由于這一方法沒(méi)有為元學(xué)習(xí)和優(yōu)化引入額外的參數(shù)，具有很好的數(shù)據(jù)效率。因此它可以通過(guò)觀察遙操作機(jī)器人示例實(shí)現(xiàn)多樣化的控制任務(wù)，例如推動(dòng)和放置等任務(wù)。

將物體放到新的容器中去，左圖是示范右圖是學(xué)習(xí)后的策略。

通過(guò)域適應(yīng)性元學(xué)習(xí)，機(jī)器人觀察人類(lèi)實(shí)現(xiàn)一次模仿

上述方法依然是依賴(lài)于遙操作機(jī)器人的示范而不是人類(lèi)的示范。為了達(dá)到從人類(lèi)示范學(xué)習(xí)的目標(biāo)，研究人員們?cè)谏鲜鏊惴ǖ幕A(chǔ)上設(shè)計(jì)了一種域適應(yīng)的一次模仿方法。收集了機(jī)器人和人執(zhí)行不同任務(wù)的示范，隨后通過(guò)人類(lèi)示范來(lái)計(jì)算策略更新，并用同一任務(wù)的機(jī)器人示范來(lái)評(píng)價(jià)更新后的策略，算法架構(gòu)圖如下所示：

但人類(lèi)示范只是在執(zhí)行任務(wù)時(shí)的視頻而已，并不包含對(duì)應(yīng)的行為，無(wú)法通過(guò)前面的公式計(jì)算出損失并更新策略。在這里，研究人員另辟蹊徑的提出了用深度學(xué)習(xí)的方法學(xué)習(xí)出一個(gè)幫助策略更新的損失函數(shù)，這個(gè)損失函數(shù)無(wú)需行動(dòng)作為標(biāo)記。直接學(xué)習(xí)損失函數(shù)背后的思想來(lái)自于，我們可以通過(guò)無(wú)標(biāo)簽的數(shù)據(jù)得到損失函數(shù)，同時(shí)給出正確的梯度用于策略更新，并最終的到一個(gè)成功的策略。

策略架構(gòu)

這看起來(lái)像是不可能完成的任務(wù)，但要記住的是元訓(xùn)練過(guò)程依舊通過(guò)梯度步驟后機(jī)器人行為監(jiān)督著策略的更新。學(xué)習(xí)損失函數(shù)可以被理解為通過(guò)抽取場(chǎng)景中適宜的視覺(jué)線(xiàn)索來(lái)更新參數(shù)從而修正策略。所以元訓(xùn)練的行為輸出將會(huì)產(chǎn)生正確的行動(dòng)。研究人員利用Temporal卷積來(lái)實(shí)現(xiàn)了損失函數(shù)的學(xué)習(xí)，可以抽取視頻示范中的順時(shí)信息。

研究人員將這一方法歸為具有域適應(yīng)性的元學(xué)習(xí)算法，這是因?yàn)樗梢酝ㄟ^(guò)其他域的數(shù)據(jù)實(shí)現(xiàn)學(xué)習(xí)，而不是機(jī)器人的策略操縱空間。這一方法使得PR2機(jī)器人高效的學(xué)會(huì)了如何推動(dòng)很多不同的物體到目標(biāo)位置，而這些物體在元訓(xùn)練的過(guò)程中是從來(lái)沒(méi)有看到過(guò)的。

同時(shí)也能通過(guò)觀察人類(lèi)對(duì)于每個(gè)物體的操縱，實(shí)現(xiàn)物體的抓取并將其放置到新的目標(biāo)容器中去：

同時(shí)利用不同背景環(huán)境和相機(jī)拍攝的人類(lèi)示范來(lái)驗(yàn)證算法的有效性， 發(fā)現(xiàn)即使相機(jī)和背景的變化，算法依舊可以保持良好的表現(xiàn)。

未來(lái)工作

目前已經(jīng)實(shí)現(xiàn)了教會(huì)機(jī)器人通過(guò)觀看單個(gè)視頻就能學(xué)習(xí)操縱新物體，下一步自然是擴(kuò)大這種方法的規(guī)模，不同的任務(wù)對(duì)應(yīng)著完全不同的運(yùn)動(dòng)和目標(biāo)，例如使用不同的工具來(lái)進(jìn)行不同的運(yùn)動(dòng)。通過(guò)考慮潛在任務(wù)分布的多樣性，研究人員希望這樣的模型可以適用于更廣泛的任務(wù)，幫助機(jī)器人在新環(huán)境中迅速的建立起策略。同時(shí)這里提到的技術(shù)并不僅僅限于機(jī)器人操縱或控制，模仿學(xué)習(xí)和元學(xué)習(xí)可以用于語(yǔ)言和其他序列化決策過(guò)程中。通過(guò)少數(shù)的示例學(xué)會(huì)模仿是一個(gè)未來(lái)一個(gè)十分有趣的研究方向。