構建人形機器人學習的合成運動生成流程

通用人形機器人需要能夠快速適應現(xiàn)有的以人類為中心的城市和工業(yè)工作空間，處理繁瑣、重復或體力要求高的任務。這些移動機器人經過設計，能在以人類為中心的環(huán)境中有出色的表現(xiàn)，從工廠車間到醫(yī)療醫(yī)療機構，它們的價值日益凸顯。

模仿學習是機器人學習的一個子集，它能讓人形機器人通過觀察和模仿人類專家的示范來獲取新技能，這些演示可以來自遠程操作演示中的人類真實視頻，也可以來自仿真數(shù)據(jù)。模仿學習使用已標記的數(shù)據(jù)集，有利于在難以編程定義的不同環(huán)境中教授機器人復雜動作。

雖然錄制演示可能比指定獎勵策略更簡單，但創(chuàng)建完美的演示可能具有挑戰(zhàn)性，并且機器人可能難以應對一些未曾預見的情況。在真實世界中收集廣泛、高質量的數(shù)據(jù)集既繁瑣又耗時，而且成本往往高得令人卻步。但是，從物理精確的仿真環(huán)境中生成的合成數(shù)據(jù)，有助于加快數(shù)據(jù)收集過程。

用于合成運動生成的NVIDIA Isaac GR00T Blueprint是基于NVIDIA Omniverse和NVIDIA Cosmos構建的參考工作流。它從少量的人類演示中創(chuàng)建了大量的合成運動軌跡，用于機器人操作。

利用為該藍圖提供的首批組件，NVIDIA 能夠在短短 11 小時內生成 780,000 個合成軌跡，相當于 6,500 小時或連續(xù)九個月的人類演示數(shù)據(jù)。然后，通過將合成數(shù)據(jù)與真實數(shù)據(jù)相結合，與僅使用真實數(shù)據(jù)相比，NVIDIA 將GR00T N1的性能提高了 40%。

在本文中，我們將介紹如何使用空間計算設備（例如 Apple Vision Pro）或其他捕獲設備（例如 space mouse）進入仿真機器人的數(shù)字孿生，并通過遠程操作仿真機器人來記錄運動演示。然后，使用這些記錄生成更大規(guī)模、且物理屬性準確的合成運動軌跡集。該藍圖還可以通過生成數(shù)量呈指數(shù)級增長、逼真且多樣化的訓練數(shù)據(jù)集，進一步擴充數(shù)據(jù)集。然后，我們使用這些數(shù)據(jù)對機器人策略模型進行后期訓練。

Blueprint 概述

圖 1. NVIDIA Isaac GR00T Blueprint 架構

該工作流包括以下關鍵組成部分：

GR00T-Teleop：即將推出，但目前已經可以使用藍圖中提供的樣本數(shù)據(jù)。

NVIDIA CloudXR Runtime：將Isaac Lab中的仿真?zhèn)鬏數(shù)?Apple Vision Pro，并接收用于人形機器人遠程操作的控制數(shù)據(jù)。

適用于 Apple Vision Pro 的 Isaac XR Teleop 示例應用：使用戶能夠與從 CloudXR Runtime 流式傳輸?shù)?strong>Isaac Lab仿真進行沉浸式交互，并發(fā)送回用于人形機器人遠程操作的控制數(shù)據(jù)。

GR00T-Mimic：使用錄制的演示作為輸入，在 Isaac Lab 中生成額外的合成運動軌跡。此藍圖的第一版僅適用于單臂操作，支持人形機器人雙臂操作的版本即將推出。

要錄制您自己的動作，請使用空格鼠標控件記錄動作。更多信息，請參閱生成其他演示：

https://isaac-sim.github.io/IsaacLab/main/source/overview/teleop_imitation.html#generating-additional-demonstrations

GR00T-Gen：通過隨機化場景中的背景、光照和其他變量來增加多樣性，并通過NVIDIA Cosmos Transfer增強生成的圖像。

Isaac Lab：使用統(tǒng)一的開源機器人學習框架訓練機器人策略。Isaac Lab 基于NVIDIA Isaac Sim構建。

圖 2. 遠程操作架構

工作流從數(shù)據(jù)采集開始，在這個過程中，將使用像 Apple Vision Pro 這樣的高保真設備，在仿真環(huán)境中捕捉人類的動作和行為。Apple Vision Pro 將手部追蹤數(shù)據(jù)傳輸?shù)饺?Isaac Lab 等的仿真平臺，同時仿真平臺將機器人環(huán)境的沉浸式視圖傳輸回該設備。這種設置使得機器人操作更加直觀和互動，有助于收集高質量的遠程操作數(shù)據(jù)。

Isaac Lab 中的機器人仿真被傳輸?shù)?Apple Vision Pro，讓您能夠可視化機器人的環(huán)境。通過移動手部，您可以直觀地控制機器人執(zhí)行各種任務。這種設置提供了沉浸式且互動的遠程操作體驗。

圖 3. Isaac Lab 中的遠程操作

使用 GR00T-Mimic

生成合成運動軌跡

數(shù)據(jù)收集后，下一步是生成合成軌跡。使用 Isaac GR00T-Mimic，能夠從少量人類示范中推算出大量合成運動軌跡。

這個過程包括在示范中標記關鍵點，并使用插值法確保合成軌跡平滑且符合情境。然后對生成的數(shù)據(jù)進行評估和優(yōu)化，以滿足訓練所需的標準。

在這個示例中，我們成功生成了 1000 條合成軌跡。

圖 4. Isaac Lab 中生成的一組合成軌跡

擴充并生成大量數(shù)據(jù)

及多樣化數(shù)據(jù)集

為了縮小仿真與現(xiàn)實之間的差距，關鍵是提升合成生成圖像的真實感，使其達到必要的逼真度，并通過隨機化照明、顏色和背景等各種參數(shù)來增加多樣性。

通常，這個過程需要構建逼真的 3D 場景和物體，而且需要耗費大量時間并具備專業(yè)知識。借助 Cosmos Transfer（WFMs），只需簡單的文本提示，就能大幅加快這一過程，從原本的數(shù)小時縮短至幾分鐘。

圖 5 和圖 6 的示例，展示了將合成生成的圖像輸入到 NVIDIA Cosmos Transfer WFM 后可實現(xiàn)的逼真效果。

圖 5. 在 Isaac Lab 中創(chuàng)建的合成生成圖像

圖 6. 借助 NVIDIA Cosmos Transfer WFM 實現(xiàn)逼真的合成圖像

在 Isaac Lab 中使用

模仿學習進行訓練

最后，通過模仿學習，利用合成數(shù)據(jù)集對機器人進行訓練。在這個階段，會訓練一個策略，比如 Robomimic 套件的循環(huán)高斯混合模型（GMM），以模仿合成數(shù)據(jù)中的動作。訓練在比如 Isaac Lab 這樣的仿真環(huán)境中進行，并且通過多次試驗來評估訓練后的策略的性能。

為了展示如何使用這些數(shù)據(jù)，我們訓練了一臺帶有夾爪的 Franka 機器人，在 Isaac Lab 中執(zhí)行堆疊任務。我們將 Behavioral Cloning 與 Robomimic 套件中的遞歸 GMM 策略結合使用，該策略使用兩個隱藏維度為 400 的長短期記憶（LSTM）層。

網絡的輸入包括機器人終端執(zhí)行器的位姿、夾爪狀態(tài)以及相對物體的位姿，而輸出是一個用于在 Isaac Lab 環(huán)境中驅動機器人的增量位姿動作。

使用由 1000 次成功示范組成的數(shù)據(jù)集，并經過 2000 次迭代，我們實現(xiàn)了大約 50 次迭代 / 秒的訓練速度（相當于在 NVIDIA RTX GPU 上大約 0.5 小時的訓練時間）。在 50 次實驗的平均結果中，經過訓練的策略在堆棧任務中的成功率達到了 84%。

圖 7. 在 Isaac Lab 中訓練的夾爪

工作流的優(yōu)勢

此方法的主要優(yōu)勢在于在數(shù)據(jù)收集過程中節(jié)省了時間，從堆疊立方體到線程針等各種操作任務的成功率即可證明這一點，例如在使用 GPU 和 cuOpt 等技術時，成功率顯著提高。

圖 8. 策略模型訓練結果（來源于 MimicGen：利用人類演示實現(xiàn)可擴展機器人學習的數(shù)據(jù)生成系統(tǒng)）

傳統(tǒng)上，經過適當訓練的人工操作員大約需要一分鐘來錄制一段高質量的示范動作，然而由于需要耗費大量人力，且存在出錯的可能性，這種方式很難大規(guī)模推廣。相比之下，這種新方法通過結合少量人類演示和合成數(shù)據(jù)，能達到相似的成功率，將數(shù)據(jù)采集時間從幾小時縮短到幾分鐘。

通過 NVIDIA Cosmos，您可以增強合成圖像，以實現(xiàn)所需的逼真度，僅使用文本提示即可有效縮小仿真與現(xiàn)實之間的差距。這種方法顯著簡化了數(shù)據(jù)收集過程，使您能夠生成多樣化的大型數(shù)據(jù)集，同時保持或提高生成的機器人策略的質量。

使用該藍圖的開發(fā)者

智元機器人、Mentee Robotics、UCR 和 X-Humanoid 等人形機器人開發(fā)者已將該藍圖的組件集成到其人形機器人開發(fā)流程中。

Field AI、Lab0、Miso Robotics、RIVR 和 Sanctuary AI 等其他公司也在利用 Isaac 仿真框架，開發(fā)機器人大腦和軟件棧，以及測試和驗證物理機器人。

開始使用

在本文中，我們討論了如何通過 NVIDIA Isaac GR00T 收集、生成和擴充訓練單臂操作器所需的數(shù)據(jù)。

在 build.nvidia.com 上體驗用于合成運動生成的 NVIDIA Isaac GR00T Blueprint

從 /NVIDIA-Omniverse-blueprints GitHub 代碼庫下載藍圖，并在您選擇的基礎架構上進行部署

此藍圖的第一版僅適用于單臂操作，支持人形機器人雙臂操作的版本即將推出。

本文最初發(fā)布于 2025 年 1 月，已根據(jù)新的信息進行了修改。