UC伯克利新機器人成果:靈活自由地使用工具

之前我們剛剛介紹了加州大學伯克利分校 Pieter Abbeel 教授領(lǐng)導伯克利機器人學習實驗室（UC Berkeley's Robot Learning Lab）開發(fā)的會疊衣服的家務向機器人 BLUE，今天伯克利人工智能實驗室（BAIR）這邊也帶來了一項新的機器人科研成果——教會機器人使用工具完成任務。這篇論文的作者之一是知名青年機器學習研究員、谷歌大腦研究科學家ChelseaFinn，她目前正在BAIR做博士后。論文成果的介紹博客編譯如下。

一個有難度的目標：學習使用工具

在許多動物身上，使用工具的能力都來自于觀察學習和動手嘗試兩者的共同作用。比如，大猩猩可以通過觀察自己已經(jīng)掌握了技能的同伴學會如何用樹枝從白蟻窩里“釣”白蟻吃，人類也觀察到卷尾猴能夠把樹枝作為掃和撥的工具，把較遠的食物弄到他們身邊。有人也許會提出這只不過是猴子們依葫蘆畫瓢，但這篇論文的作者們認為使用工具的能力顯然體現(xiàn)了更為高級的智慧。

大猩猩釣白蟻

在這項新研究中作者們探索的問題是：我們能否讓機器人也擁有相似的使用工具的能力——通過觀察和自己動手實驗學會使用工具。

在執(zhí)行復雜的多物體控制任務時，有一項必須的要素是理解物理層面的因果關(guān)系，所以預測不同的物體之間會如何相互作用就非常關(guān)鍵。在之前的視覺深度強化學習研究（https://arxiv.org/abs/1812.00568）中，作者們已經(jīng)探究了如何在機器人與世界的無監(jiān)督交互過程中學習包含因果關(guān)系的視覺預測模型。在學習到這樣的模型之后，機器人就可以開始規(guī)劃并完成一系列簡單的任務，包括疊衣服、整理物品。不過，如果考慮到使用工具的任務中更為復雜的物理交互，比如用掃帚把塵土掃進簸箕里，非指向性的動手實驗就不夠了。

因此，考慮到動物們是如何學習的，作者們設(shè)計了一個新的算法，它可以讓機器人通過類似的模仿、互動的范式學習如何使用工具。具體來說作者們展示了，借助一組演示數(shù)據(jù)以及無監(jiān)督的動手實驗，機器人可以學會把新的物體作為工具使用，甚至可以在傳統(tǒng)工具缺失的情況下靈活使用現(xiàn)有的工具完成任務。更進一步地，根據(jù)任務要求的不同，作者們的方法還讓機器人有能力決定是否使用當前給定的工具。

作者們提出的方法讓機器人有能力學習如何把不同的物體當作工具以完成用戶給定的任務（第一行圖中用黃色箭頭標出）。任務中并沒有指定機器人必須使用給定的工具，但機器人決定使用它們。

在指導中學習視覺預測

從演示中學習

首先，作者們需要使用一個演示動作數(shù)據(jù)集，其中展示了各種不同的工具是如何使用的。由于最終的目標是希望學習到一個具有多種多樣的工具使用能力的模型，作者們采集的演示動作數(shù)據(jù)也就包含了多種不同的工具和多種不同的任務。對于每一個演示，作者們都讓機器人自己的攝像頭錄制了圖像序列和動作指令。

幾個引導運動的例子

通過這些數(shù)據(jù)，作者們得到了一個模型，它可以提出把當前場景內(nèi)存在的物體作為工具的運動序列。并且，為了能夠從演示中捕捉更為豐富的行為，這個模型的輸出形式是不同動作序列的分布。

為視覺預測模型的學習收集無監(jiān)督數(shù)據(jù)

由于作者們希望機器人的行為不要局限于演示數(shù)據(jù)中出現(xiàn)的那些動作，并最終泛化到新的物體和新的情境中，他們就還需要很多不同的數(shù)據(jù)。最理想的來源當然是由機器人自己采集，而且是通過大規(guī)?？赏卣沟姆绞?。比如，作者們希望機器人能夠理解抓取姿態(tài)不好之類的小錯誤對后續(xù)的動作會有什么影響，所以他們就讓機器人從現(xiàn)有的經(jīng)驗基礎(chǔ)上繼續(xù)動手實驗、繼續(xù)收集更多的數(shù)據(jù)。

具體來說，論文作者們設(shè)計了兩種不同的數(shù)據(jù)自動采集方式：一種方式是執(zhí)行隨機的動作序列，另一種是從上一節(jié)中提到的動作序列提出模型中采樣。后一種方式中，機器人可以把工具拿起來然后在空間中隨機移動它。對于學習多物體的交互方式來說，在這一環(huán)節(jié)中學習到的經(jīng)驗非常重要。

根據(jù)日常物體和工具進行無監(jiān)督交互學習

最終，作者們使用的數(shù)據(jù)集一共由這幾部分構(gòu)成：專家演示、機器人使用多種不同工具的無監(jiān)督實驗、以及BAIR機器人交互數(shù)據(jù)集中的數(shù)據(jù)。作者們用這些數(shù)據(jù)訓練了一個動態(tài)模型。模型的實現(xiàn)方式是循環(huán)卷積神經(jīng)網(wǎng)絡，它在每個時間步驟的輸入是前一副圖像和一個動作，輸出是一副生成的圖像。

在指導中學習規(guī)劃

在測試時，機器人可以使用模仿學習訓練的模型來指導規(guī)劃過程，然后用預測模型來覺得哪些動作可以讓它完成目前的任務。

新任務的創(chuàng)建需要用戶給定關(guān)鍵點的移動。比如下圖中，我們希望機器人把地上的垃圾掃到簸箕中，就在圖中選中垃圾的中心點，然后畫出希望的最終位置。用這種方式指定任務并不會告訴機器人如何使用工具，在有多種工具可以選的環(huán)境下甚至都沒有指明要用哪一種工具，機器人需要自己思考并規(guī)劃。

作者們使用了一個簡單的基于采樣的規(guī)劃過程，它會使用動作提議模型和圖像預測模型的輸出，并讓機器人有能力用多種不同的工具和物品完成多種不同的任務。具體來說，動作序列最初是從隨機采樣的，然后，根據(jù)圖像預測模型可以預測出每一種動作序列規(guī)劃的結(jié)果。

同一個初始場景中，針對不同動作序列的預測結(jié)果

通過選出當前最佳的規(guī)劃并根據(jù)它生成一個分布，系統(tǒng)可以進行反復的迭代采樣，在當前最佳的規(guī)劃的基礎(chǔ)上一直優(yōu)化改進，最后在機器人上執(zhí)行。

系統(tǒng)運行框圖

實驗

作者們對這種方法進行了實驗，讓它使用新的工具執(zhí)行用戶設(shè)定的目標。

從左到右：初始場景和任務目標；根據(jù)最佳運動規(guī)劃的預測結(jié)果；機器人的實際執(zhí)行結(jié)果

在前面提到過的清掃任務中，機器人可以抓起附近的掃帚，高效地完成任務。

在另一個場景中，雖然機器人從未見過海綿，但它能夠思考如何用它把盤子中的碎渣掃走。

在下面的例子中，作者們設(shè)定只允許機器人在綠色陰影范圍內(nèi)移動，目標是把藍色圓柱體向自己的方向移動。顯然，這個任務的關(guān)鍵就是機器人想到了如何使用L型的木塊把圓柱體鉤過來。

以及，即便只給機器人提供礦泉水瓶之類的日常物體，它也能推理出如何把它作為工具完成任務。

最后，在最好不使用工具的環(huán)境中，機器人也會選擇直接用自己的夾鉗完成任務。

左：任務目標是把兩個物體都移向左邊，機器人選擇用工具高效地完成；右：任務目標只需移動一個物體，機器人用自己的夾鉗把它移過去

除了這些例子之外，論文中的量化實驗結(jié)果表明他們的方法比單獨使用從演示學習有更好的泛化通用性，也比單獨從經(jīng)驗學習有更強的完成任務能力。

關(guān)于其他機器人使用工具研究的對比討論

論文《A Relational Approach to Tool-Use Learning in Robots》研究了如何在任務和運動規(guī)劃框架下通過邏輯編程和已知模型控制工具。然而，基于邏輯的系統(tǒng)和基于解析模型的系統(tǒng)都容易受到建模誤差的影響，這會在測試執(zhí)行時累積并影響表現(xiàn)。

其它的研究中把工具看作了面向任務的抓取動作控制，并根據(jù)規(guī)劃或者策略學習來使用工具。這些方法都限制了涉及到工具的運用的范圍，而這篇論文中的方法不論場景中有沒有工具都可以完成運動規(guī)劃。

也有一些別的方法（1，2）提出在使用工具中學習動態(tài)模型。然而，這些方法需要額外使用手工設(shè)計的感知流水線，或者完全忽略感知，這篇論文中的方法就可以直接從原始圖像像素中學習物體間的交互。

結(jié)論

會出現(xiàn)從未見過的物體的多樣、復雜任務是機器人領(lǐng)域正在嘗試攻克的問題。為了研究這個問題，這篇論文的作者們研究了需要把物體作為工具的多種任務。作者們提出了結(jié)合模仿學習和自我監(jiān)督交互學習的新方法，并展示了這種方法可以讓機器人完成復雜的多物體交互任務，其中可以含有多種多樣的物體，甚至可以在新的環(huán)境中靈活運用物體作為工具。作者們希望這項研究展示了讓機器人同時變得更通用和更能干的新方法，以便未來機器人可以在日常生活環(huán)境中執(zhí)行有用的任務。

論文原文：

《ImprovisationthroughPhysicalUnderstanding:UsingNovelObjectsasToolswithVisualForesight》

論文地址：https://arxiv.org/abs/1904.05538