通過(guò)多樣的幾何形狀來(lái)訓(xùn)練機(jī)器人從仿真到現(xiàn)實(shí)轉(zhuǎn)換的裝配技能

家庭和工業(yè)環(huán)境中的大多數(shù)物品都由多個(gè)部件組裝而成。而裝配工作一般交給人工，但在汽車等一些行業(yè)，機(jī)器人裝配已十分普遍。

這些機(jī)器人大多用于執(zhí)行重復(fù)性較高的任務(wù)，它們被部署在精心設(shè)計(jì)的環(huán)境中，處理特定的部件。在多品種的小批量制造中（即小批量生產(chǎn)各種產(chǎn)品的流程），機(jī)器人還必須適應(yīng)不同的零件、姿態(tài)和環(huán)境。在保持高精度和高準(zhǔn)確度的前提下實(shí)現(xiàn)這種適應(yīng)性是機(jī)器人技術(shù)所面臨的一大挑戰(zhàn)。

得益于 NVIDIA 在接觸豐富交互的超實(shí)時(shí)仿真技術(shù)方面的最新進(jìn)展，現(xiàn)在已經(jīng)可以對(duì)機(jī)器人裝配任務(wù)（如插入等）進(jìn)行仿真，詳見(jiàn)通過(guò)使用 NVIDIA Isaac 的新型仿真方法推進(jìn)機(jī)器人裝配技術(shù)發(fā)展。這使得使用數(shù)據(jù)饑渴的學(xué)習(xí)算法來(lái)訓(xùn)練仿真機(jī)器人智能體成為可能：

https://developer.nvidia.com/blog/advancing-robotic-assembly-with-a-novel-simulation-approach-using-nvidia-isaac/

后續(xù)關(guān)于機(jī)器人裝配從仿真到現(xiàn)實(shí)的遷移研究提出了使用強(qiáng)化學(xué)習(xí) (RL) 在仿真中解決少量裝配任務(wù)的算法，以及在現(xiàn)實(shí)世界中成功部署所學(xué)技能的方法。詳見(jiàn)將工業(yè)機(jī)器人裝配任務(wù)從仿真遷移到現(xiàn)實(shí)：

https://developer.nvidia.com/blog/transferring-industrial-robot-assembly-tasks-from-simulation-to-reality/

本文將介紹 AutoMate，這一新型框架被用來(lái)訓(xùn)練使用機(jī)械臂裝配不同形狀零件的專家和通才策略；然后對(duì)訓(xùn)練策略從仿真到現(xiàn)實(shí)的零樣本遷移進(jìn)行演示，這意味著無(wú)需額外調(diào)整在仿真中學(xué)習(xí)到的裝配技能，即可直接應(yīng)用于現(xiàn)實(shí)環(huán)境。

什么是 AutoMate？

AutoMate 是首個(gè)基于仿真的框架，用于學(xué)習(xí)各種裝配任務(wù)中的專業(yè)（部件特定）和通用（統(tǒng)一）裝配技能。例如：在汽車制造領(lǐng)域，AutoMate 可以幫助工人掌握發(fā)動(dòng)機(jī)部件的特定裝配技巧以及整車的統(tǒng)一裝配流程。這項(xiàng)工作成果來(lái)自于南加州大學(xué)與 NVIDIA 西雅圖機(jī)器人實(shí)驗(yàn)室的密切合作。

AutoMate 的主要貢獻(xiàn)有：

100 個(gè)裝配體和現(xiàn)成仿真環(huán)境的數(shù)據(jù)集。

一種有效訓(xùn)練仿真機(jī)器人解決各種仿真裝配任務(wù)的新型算法組合。

有效綜合各種學(xué)習(xí)方法，將多種專業(yè)裝配技能的知識(shí)提煉成一種通用裝配技能，并通過(guò) RL 進(jìn)一步提高通用裝配技能的性能。

一個(gè)能夠在以感知為初始的工作流中，部署通過(guò)仿真訓(xùn)練獲得的裝配技能的真實(shí)世界系統(tǒng)。

圖 1. 在仿真中部署 AutoMate 裝配技能

圖 2. 在現(xiàn)實(shí)中部署 AutoMate 裝配技能

數(shù)據(jù)集和仿真環(huán)境

AutoMate 提供了一個(gè)包含 100 個(gè)裝配體的數(shù)據(jù)集，這些裝配體與仿真兼容，并可以在現(xiàn)實(shí)世界中進(jìn)行 3D 打印。同時(shí)，它還為所有 100 個(gè)裝配體提供了并行化仿真環(huán)境。這 100 個(gè)裝配體基于 Autodesk 的大型裝配體數(shù)據(jù)集。在這項(xiàng)工作成果中，術(shù)語(yǔ)“插頭”指的是必須插入的部件（圖 3 中用白色表示），“插座”指的是與插頭配合的部件（圖 3 中用綠色表示）。

圖 3. AutoMate 數(shù)據(jù)集中 100 個(gè)裝配體的可視化圖

圖 4. AutoMate 數(shù)據(jù)集中的裝配體仿真環(huán)境

在多種形狀上學(xué)習(xí)專家技能

盡管 NVIDIA 之前的工作成果 IndustReal 表明，純 RL 方法可以解決接觸豐富的裝配任務(wù)，但它只能解決一小部分裝配體。在 AutoMate 數(shù)據(jù)集中的 100 個(gè)裝配體中，大部分都無(wú)法通過(guò)純 RL 方法解決。但仿真學(xué)習(xí)可以讓機(jī)器人通過(guò)觀察和模仿演示來(lái)習(xí)得復(fù)雜的技能。AutoMate 引入了包含三種不同算法的新型組合。該組合通過(guò)將 RL 與仿真學(xué)習(xí)相結(jié)合，使機(jī)器人能夠有效掌握適用于各種裝配體的技能。

使用仿真學(xué)習(xí)增強(qiáng) RL 面臨以下三個(gè)挑戰(zhàn)：

生成裝配演示

將仿真學(xué)習(xí)目標(biāo)整合到 RL 中

選擇在學(xué)習(xí)過(guò)程中使用的演示

下文將探討如何逐一解決這三個(gè)挑戰(zhàn)。

利用拆解-組裝來(lái)生成示范

裝配運(yùn)動(dòng)學(xué)是一個(gè)狹窄通道問(wèn)題，機(jī)器人必須操縱部件通過(guò)狹窄空間，并且不能與障礙物相撞。使用運(yùn)動(dòng)規(guī)劃器自動(dòng)采集裝配演示非常困難。要采集人類演示，還需要有技能嫻熟的人類操作員和先進(jìn)的遠(yuǎn)程操作界面，而這些都十分昂貴。

“拆解-組裝”的概念告訴我們，在裝配一個(gè)物體前，首先要了解如何拆卸它。受到這一概念的啟發(fā)，可以先采集拆卸演示，然后按相反步驟操作便可進(jìn)行裝配。在仿真中，命令機(jī)器人將插頭從插座上拆下，每個(gè)裝配體記錄 100 次成功的拆卸演示。

圖 5. 在仿真中生成拆卸演示的過(guò)程

帶有模仿目標(biāo)的 RL

RL 中的獎(jiǎng)勵(lì)是向智能體發(fā)出的一個(gè)信號(hào)，該信號(hào)表明智能體在規(guī)定步驟中的表現(xiàn)有多好。獎(jiǎng)勵(lì)可作為反饋，指導(dǎo)智能體學(xué)習(xí)和調(diào)整其行動(dòng)，以逐漸使其累積獎(jiǎng)勵(lì)最大化（從而成功完成任務(wù)）。受 DeepMimic 等角色動(dòng)畫(huà)工作成果的啟發(fā)，獎(jiǎng)勵(lì)函數(shù)中加入了一個(gè)模仿項(xiàng)，以便通過(guò)模仿目標(biāo)增強(qiáng) RL，鼓勵(lì)機(jī)器人在學(xué)習(xí)過(guò)程中模仿演示。每個(gè)時(shí)間步的模仿獎(jiǎng)勵(lì)被定義為規(guī)定裝配體所有演示的最大獎(jiǎng)勵(lì)。

除了模仿項(xiàng)，獎(jiǎng)勵(lì)公式中還包含以下項(xiàng)：

目標(biāo)距離懲罰

仿真誤差懲罰

獎(jiǎng)勵(lì)任務(wù)難度

這與之前的 InsutReal 工作相一致。

通過(guò)動(dòng)態(tài)時(shí)間扭曲來(lái)選擇演示

如要確定模仿哪個(gè)演示（即哪個(gè)演示在當(dāng)前時(shí)間步提供最大獎(jiǎng)勵(lì)），第一步是計(jì)算每個(gè)演示與當(dāng)前機(jī)器人末端執(zhí)行器路徑之間的距離，然后模仿距離最小的路徑。與機(jī)器人末端執(zhí)行器路徑相比，演示路徑的路徑點(diǎn)分布可能不均勻，路徑點(diǎn)數(shù)量也可能不同，因此很難確定演示路徑中的路徑點(diǎn)與機(jī)器人末端執(zhí)行器路徑之間的對(duì)應(yīng)關(guān)系。

動(dòng)態(tài)時(shí)間扭曲 (DTW) 是一種用于測(cè)量?jī)蓚€(gè)速度可能不同的時(shí)間序列之間相似性的算法。在這項(xiàng)工作中，DTW 被用于找出機(jī)器人末端執(zhí)行器路徑和每個(gè)演示路徑之間的映射，從而使末端執(zhí)行器路徑上的每個(gè)路徑點(diǎn)與演示路徑上的匹配路徑點(diǎn)之間的距離總和最?。▓D 6）。根據(jù) DTW 返回的距離，計(jì)算每條演示路徑的模仿獎(jiǎng)勵(lì)，并選擇模仿獎(jiǎng)勵(lì)最高的演示路徑。

圖 6. DTW 將末端執(zhí)行器路徑與演示路徑之間的映射可視化

所提出的拆解-組裝組合、帶有模仿目標(biāo)的 RL 和使用 DTW 匹配軌跡的組合方法在各種裝配體中都表現(xiàn)出一致的性能。在仿真中，專家策略在 80 個(gè)不同裝配體上的成功率約為 80% 以上，在 55 個(gè)不同裝配體上的成功率約為 90% 以上。在現(xiàn)實(shí)世界中，專家策略在 20 個(gè)組件上的平均成功率為 86.5%，比在仿真中用于這些組件時(shí)僅下降了 4.2%（圖 7）。

圖 7. 專家策略在現(xiàn)實(shí)世界與仿真中解決每個(gè)裝配體的成功率比較

學(xué)習(xí)通用裝配技能

為了訓(xùn)練一種能夠解決多種裝配任務(wù)的通用技能，需要重新使用已訓(xùn)練的專家技能中的知識(shí)，然后使用基于課程的 RL 進(jìn)一步提高性能。所提出的方法包含三個(gè)階段：

首先，使用標(biāo)準(zhǔn)行為克隆 (BC)，即從已經(jīng)訓(xùn)練過(guò)的專家技能中采集演示，并使用這些演示監(jiān)督通才技能的訓(xùn)練。

隨后，使用 DAgger（數(shù)據(jù)集聚合）完善通才技能，方法是執(zhí)行通才技能，并在通才技能訪問(wèn)的狀態(tài)下主動(dòng)查詢專家技能（即獲取專家技能預(yù)測(cè)的操作）以進(jìn)行監(jiān)督。

最后，對(duì)通才技能執(zhí)行 RL 微調(diào)階段。在微調(diào)階段，使用 IndustReal 工作中基于采樣的課程。隨著通才技能任務(wù)成功率的提高，部件的初始參與度會(huì)逐漸降低。

圖 8. 行為克隆、DAgger 和基于課程的 RL 微調(diào)示意圖

使用剛才提出的三階段方法在 20 個(gè)裝配體上進(jìn)行通才技能訓(xùn)練。在仿真中，通才策略可以聯(lián)合解決 20 個(gè)裝配體，成功率為 80.4%。在現(xiàn)實(shí)世界中，通才策略在同一組裝配體上的平均成功率為 84.5%，比在仿真中提高了 4.1%（圖 9）。

圖 9. 通才策略在現(xiàn)實(shí)世界和仿真中解決每個(gè)裝配體的成功率比較

現(xiàn)實(shí)世界環(huán)境和感知初始化工作流

現(xiàn)實(shí)世界環(huán)境包括一個(gè) Franka Panda 機(jī)械臂、一個(gè)安裝在手腕上的英特爾 RealSense D435 攝像頭、一個(gè) 3D 打印插頭和插座，以及一個(gè)用于固定插座的 Schunk EGK40 抓取器。在感知初始化工作流中：

插頭被隨意放置在泡沫塊上，插座被隨意放置在 Schunk 抓取器中。

通過(guò)安裝在手腕上的攝像頭捕捉 RGB-D 圖像，然后對(duì)部件進(jìn)行 6D 姿態(tài)估計(jì) (FoundationPose)。

機(jī)器人抓取插頭、將其移動(dòng)到插座上，并使用在仿真中訓(xùn)練的裝配技能。

圖 10. 現(xiàn)實(shí)世界環(huán)境和感知初始化工作流

專家和通才技能在感知初始化工作流中被進(jìn)行評(píng)估。專家技能的平均成功率為 90.0%，通才技能的成功率為 86.0%。這些結(jié)果表明，6-DOF 姿態(tài)估計(jì)、抓取優(yōu)化和所提出的學(xué)習(xí)專家和通才策略的方法可以有效結(jié)合，從而在現(xiàn)實(shí)條件下使用研究級(jí)硬件實(shí)現(xiàn)可靠的裝配。

總結(jié)

AutoMate 是我們第一次嘗試?yán)脤W(xué)習(xí)方法和仿真來(lái)解決各種裝配問(wèn)題。通過(guò)這項(xiàng)工作，NVIDIA 研究人員立足于現(xiàn)實(shí)世界的部署，逐步建立了工業(yè)機(jī)器人的大型模型范例。

未來(lái)的工作重點(diǎn)是解決需要高效序列規(guī)劃（即決定下一個(gè)裝配部件）的多部件裝配體，并進(jìn)一步提高技能，以達(dá)到具有行業(yè)競(jìng)爭(zhēng)力的性能指標(biāo)。