使用合成數(shù)據(jù)生成推進機器人仿真技術的發(fā)展

“洞悉 Omniverse”系列文章將重點介紹藝術家、開發(fā)者和企業(yè)如何使用通用場景描述和 NVIDIA Omniverse 的最新技術改變其工作流程。

NVIDIA Isaac Sim 等工具增強了合成數(shù)據(jù)生成能力，提高 AI 模型性能并加速機器人技術的發(fā)展。

可擴展的仿真技術能夠縮短開發(fā)時間、降低開發(fā)成本，幫助推動自主機器人的未來發(fā)展。

通用場景描述(OpenUSD)為虛擬世界的開發(fā)提供了一個擴展自如的互通數(shù)據(jù)框架，機器人能夠在這些世界中學習如何成為一個“合格的”機器人。借助基于 SimReady OpenUSD 的仿真技術，開發(fā)人員可以創(chuàng)建無數(shù)基于物理世界的場景。

NVIDIA Isaac Sim正在推進基于感知 AI 的機器人仿真。Isaac Sim 是一個基于 NVIDIA Omniverse 平臺構建的參考應用，使開發(fā)人員能夠在基于物理學的虛擬環(huán)境中對 AI 驅(qū)動的機器人進行仿真和測試。

NVIDIA 在 AWS re:Invent 大會上宣布 Isaac Sim 現(xiàn)在可以在NVIDIA GPU驅(qū)動的亞馬遜 EC2 G6e 實例上使用。這些功能強大的實例提高了 Isaac Sim 的性能和可訪問性，使高質(zhì)量機器人仿真具有了更強的擴展能力和更高的效率。

Isaac Sim 的這些進步標志著機器人技術發(fā)展的一次重大飛躍。通過在虛擬環(huán)境中進行的逼真測試和 AI 模型訓練，企業(yè)可以縮短部署時間并提高機器人在各種用例中的性能。

使用合成數(shù)據(jù)生成推進

機器人仿真技術的發(fā)展

Cobot、Field AI、Vention 等機器人公司正在使用 Isaac Sim 對機器人性能進行仿真和驗證，而 SoftServe、Tata Consultancy Services 等公司則使用合成數(shù)據(jù)對用于各種機器人應用的 AI 模型進行自舉訓練(bootstrap)。

機器人學習的發(fā)展與仿真技術密切相關。早期的機器人實驗主要依賴于耗費大量勞動力和資源的試錯。仿真技術是創(chuàng)造達到物理精確環(huán)境的重要工具，機器人可以在這些環(huán)境中通過試錯進行學習，改進算法，甚至使用合成數(shù)據(jù)訓練 AI 模型。

物理 AI 指能夠理解物理世界并與之互動的 AI 模型。它代表著下一代自主機器和機器人，例如自動駕駛汽車、工業(yè)機械臂、移動機器人、人形機器人，甚至工廠、倉庫等依靠機器人運行的基礎設施。

機器人仿真是“三臺計算機解決方案”中的第二臺計算機。它是物理 AI 開發(fā)工作的基石，能夠讓工程師和研究人員在受控虛擬環(huán)境中設計、測試和完善系統(tǒng)。

圍繞仿真技術的方法不僅大大減少了與物理原型開發(fā)相關的成本和時間，同時還能夠在現(xiàn)實生活中可能不切實際或存在危險的場景中對機器人進行測試，以此提高機器人的安全性。

借助新的參考工作流，開發(fā)人員可以使用 OpenUSD NIM 微服務加快生成式 AI 的 3D 合成數(shù)據(jù)集生成速度。該集成簡化了從場景創(chuàng)建到數(shù)據(jù)增強的整個過程，實現(xiàn)了更加快速、準確的感知 AI 模型訓練。

合成數(shù)據(jù)有助于應對訓練各類 AI 模型時所面臨的數(shù)據(jù)有限、受限或無法獲取的挑戰(zhàn)，尤其是在計算機視覺領域。開發(fā)動作識別模型是一個常見的應用場景，能夠從合成數(shù)據(jù)生成中獲益。

如要了解如何使用 Isaac Sim 創(chuàng)建人類動作識別視頻數(shù)據(jù)集，請查看關于使用合成數(shù)據(jù)擴展動作識別模型的技術博客。3D 仿真使開發(fā)者能夠?qū)D像生成進行精確控制，避免出現(xiàn)虛幻失真的情況。

適用于人形機器人的機器人仿真

人形機器人是下一代具身 AI，但它們給機電一體化、控制理論和 AI 的交叉領域帶來了挑戰(zhàn)。仿真技術提供的安全、經(jīng)濟、多功能的人形機器人訓練和測試平臺，是解決這一挑戰(zhàn)的關鍵。

NVIDIA Isaac Lab是在 Isaac Sim 基礎上構建的統(tǒng)一開源機器人學習框架。借助該框架，開發(fā)人員可以通過仿真大規(guī)模訓練人形機器人策略。領先的商用機器人制造商正在使用 Isaac Lab 應對日益復雜的動作和交互。

NVIDIA Project GR00T是一個為人形機器人生態(tài)系統(tǒng)構建者提供支持的活躍研究項目。該項目開創(chuàng)了 GR00T-Gen 等在 OpenUSD 中生成機器人任務和仿真就緒環(huán)境的工作流程。這些環(huán)境可用于訓練通用機器人執(zhí)行操作、移動和導航。

最近發(fā)表的 Project GR00T 研究成果還展示了如何使用先進仿真訓練交互式人形機器人。研究人員使用 Isaac Sim 為物理仿真人形機器人開發(fā)了一個名為 MaskedMimic 的一站式統(tǒng)一控制器。該控制器能夠根據(jù)用戶定義的直觀意圖，在不同地形上產(chǎn)生各種動作。

使用基于物理學的數(shù)字孿生

簡化 AI 訓練過程

各個行業(yè)的伙伴都在使用 Isaac Sim、Isaac Lab、Omniverse 和 OpenUSD 設計、仿真和部署智能化程度更高、能力更強的自主機器：

Agility使用 Isaac Lab 創(chuàng)建仿真，將所仿真的機器人行為直接遷移到機器人身上，使機器人在被部署到現(xiàn)實世界后更加智能、敏捷和穩(wěn)健。

Cobot將 Isaac Sim 用于其 AI 驅(qū)動的協(xié)作機器人 Proxie，以便優(yōu)化倉庫、醫(yī)院、制造現(xiàn)場等的物流。

Cohesive Robotics已將 Isaac Sim 集成到其 Argus OS 軟件框架中，用于開發(fā)和部署在高混合制造環(huán)境中使用的機器人工作單元。

機器人基礎模型構建商Field AI使用 Isaac Sim 和 Isaac Lab 評估其模型在建筑、制造、石油和天然氣、采礦等行業(yè)的復雜、非結構化環(huán)境中的性能。

傅利葉使用 NVIDIA Isaac Gym 和 Isaac Lab 訓練其 GR-2 人形機器人，通過強化學習和先進仿真技術加快開發(fā)速度、提高適應能力和實際性能。

通過集成 Isaac Sim 和 Omniverse，F(xiàn)oxglove能夠在逼真 3D 環(huán)境中進行高效的機器人測試、訓練和傳感器數(shù)據(jù)分析。

銀河通用使用 Isaac Sim 驗證 DexGraspNet(一個包含 132 萬個 ShadowHand 抓握動作的大規(guī)模數(shù)據(jù)集)的數(shù)據(jù)生成，通過在 5355 個物體、133 個類別的物體交互上進行可擴展的驗證，提高了機器人手的功能。

Standard Bots正在對其用于制造和加工準備的 R01 機器人進行性能仿真和驗證。

Wandelbots通過將其 NOVA 平臺與 Isaac Sim 集成，創(chuàng)造出基于物理學的數(shù)字孿生和直觀的訓練環(huán)境，不僅簡化了機器人交互，而且還實現(xiàn)了機器人系統(tǒng)在現(xiàn)實場景中的無縫測試、驗證和部署。

進入 OpenUSD 的世界

NVIDIA 專家和 Omniverse 大使主持的 Office Hours 和 Study Group 直播將為機器人開發(fā)人員提供 Isaac Sim 和 Isaac Lab 的技術指導和故障排除幫助。通過 NVIDIA 深度學習培訓中心(DLI)的這一全新免費課程，了解如何開始在 Isaac Sim 中進行機器人仿真。

關于優(yōu)化 OpenUSD 工作流的更多信息，請瀏覽新的 Learn OpenUSD 自學培訓課程，其中包含了針對 3D 從業(yè)人員和開發(fā)人員的免費深度學習培訓中心課程。