NVIDIA技術(shù)推動(dòng)機(jī)器人仿真

以下文章來(lái)源于NVIDIA英偉達(dá)企業(yè)解決方案，作者NVIDIA

借助機(jī)器人仿真，開(kāi)發(fā)人員能夠在基于物理學(xué)的現(xiàn)實(shí)世界數(shù)字呈現(xiàn)中對(duì)機(jī)器人進(jìn)行虛擬訓(xùn)練、測(cè)試和驗(yàn)證。

如今，機(jī)器人已經(jīng)能夠搬運(yùn)倉(cāng)庫(kù)中的貨物、包裝食品、幫助組裝車輛等，提高了各行各業(yè)用例的自動(dòng)化水平。

物理 AI 和機(jī)器人仿真是決定機(jī)器人成功的兩大關(guān)鍵要素。

物理 AI指的是能夠理解物理世界并與之互動(dòng)的 AI 模型。物理 AI 代表了下一代自主機(jī)械與機(jī)器人，例如無(wú)人駕駛汽車、工業(yè)機(jī)械臂、移動(dòng)機(jī)器人、人形機(jī)器人，甚至工廠、倉(cāng)庫(kù)等依靠機(jī)器人運(yùn)行的基礎(chǔ)設(shè)施。

現(xiàn)在可以在數(shù)字世界中對(duì)機(jī)器人進(jìn)行虛擬調(diào)試，在將機(jī)器人部署到現(xiàn)實(shí)世界的用例之前，先使用機(jī)器人仿真軟件訓(xùn)練機(jī)器人。

1機(jī)器人仿真概述

先進(jìn)的機(jī)器人仿真平臺(tái)有助于機(jī)器人學(xué)習(xí)和無(wú)需實(shí)體機(jī)器人的虛擬機(jī)器人測(cè)試。通過(guò)應(yīng)用物理原理和復(fù)制現(xiàn)實(shí)條件，這些仿真平臺(tái)能夠生成合成數(shù)據(jù)集，并使用這些數(shù)據(jù)集訓(xùn)練機(jī)器學(xué)習(xí)模型，從而使這些模型能夠部署到實(shí)體機(jī)器人上。

仿真被用于初始 AI 模型訓(xùn)練以及之后整個(gè)軟件棧的驗(yàn)證，最大程度地減少了測(cè)試過(guò)程中對(duì)物理機(jī)器人的需求。NVIDIA Isaac Sim 是一個(gè)基于 NVIDIA Omniverse 平臺(tái)構(gòu)建的參考應(yīng)用，該應(yīng)用提供準(zhǔn)確的可視化效果，并支持基于通用場(chǎng)景描述(OpenUSD)的先進(jìn)機(jī)器人仿真和驗(yàn)證工作流。

2NVIDIA 的“三臺(tái)計(jì)算機(jī)”框架

推動(dòng)機(jī)器人仿真

訓(xùn)練和部署機(jī)器人技術(shù)需要三臺(tái)計(jì)算機(jī)。

一臺(tái)超級(jí)計(jì)算機(jī)：用于訓(xùn)練和微調(diào)強(qiáng)大的基礎(chǔ)和生成式 AI 模型。

一個(gè)用于機(jī)器人仿真和測(cè)試的開(kāi)發(fā)平臺(tái)。

一臺(tái)機(jī)載運(yùn)行時(shí)計(jì)算機(jī)，用于將訓(xùn)練好的模型部署到實(shí)體機(jī)器人上。

只有在仿真環(huán)境中經(jīng)過(guò)充分訓(xùn)練的實(shí)體機(jī)器人才能投入使用。

專為機(jī)載計(jì)算設(shè)計(jì)的 NVIDIA Jetson Thor 機(jī)器人計(jì)算機(jī)可作為第三臺(tái)運(yùn)行時(shí)計(jì)算機(jī)。

3誰(shuí)在使用機(jī)器人仿真?

如今，機(jī)器人技術(shù)和機(jī)器人仿真大大促進(jìn)了各種用例的運(yùn)行。

全球領(lǐng)先的電源和熱能技術(shù)公司臺(tái)達(dá)電子使用仿真測(cè)試其光學(xué)檢測(cè)算法，該算法將被用于檢測(cè)生產(chǎn)線上的產(chǎn)品缺陷。

深度技術(shù)初創(chuàng)公司 Wandelbots 正通過(guò)將 Isaac Sim 集成到其應(yīng)用中構(gòu)建一個(gè)定制仿真平臺(tái)。借助該仿真平臺(tái)，終端用戶能夠輕松地對(duì)仿真中的機(jī)器人工作單元進(jìn)行編程，并將模型無(wú)縫轉(zhuǎn)移到真實(shí)機(jī)器人上。

波士頓動(dòng)力正通過(guò)其強(qiáng)化學(xué)習(xí)研究者套件助力研究人員和開(kāi)發(fā)人員。

傅利葉公司正在對(duì)現(xiàn)實(shí)條件進(jìn)行仿真，以便訓(xùn)練人形機(jī)器人，使之獲得與人類密切協(xié)作所需的精確性和敏捷性。

銀河通用使用 NVIDIA Isaac Sim 構(gòu)建了 DexGraspNet。這個(gè)用于靈巧機(jī)器人抓取的綜合仿真數(shù)據(jù)集包含 100 多萬(wàn)次對(duì) 5,300 多個(gè)物體的 ShadowHand 抓取。該數(shù)據(jù)集可應(yīng)用于任何靈巧機(jī)器人手，使其完成需要精細(xì)運(yùn)動(dòng)技能的復(fù)雜任務(wù)。

4使用機(jī)器人仿真提高規(guī)劃和控制效果

在復(fù)雜多變的工業(yè)環(huán)境中，不斷發(fā)展的機(jī)器人仿真集成了數(shù)字孿生，從而提高了規(guī)劃、控制和學(xué)習(xí)的效果。

開(kāi)發(fā)人員先是將計(jì)算機(jī)輔助設(shè)計(jì)模型導(dǎo)入機(jī)器人仿真平臺(tái)以構(gòu)建虛擬場(chǎng)景，然后使用算法創(chuàng)建機(jī)器人操作系統(tǒng)并進(jìn)行任務(wù)和運(yùn)動(dòng)規(guī)劃。傳統(tǒng)方法需要規(guī)定控制信號(hào)，而在采用機(jī)器學(xué)習(xí)后，機(jī)器人可以通過(guò)模仿和強(qiáng)化學(xué)習(xí)等方法，利用仿真傳感器信號(hào)學(xué)習(xí)行為。

這一發(fā)展還在繼續(xù)。通過(guò)將數(shù)字孿生應(yīng)用于裝配生產(chǎn)線等復(fù)雜的設(shè)施，開(kāi)發(fā)人員可以完全在仿真中測(cè)試和完善實(shí)時(shí) AI。這種方法節(jié)省了軟件開(kāi)發(fā)時(shí)間和成本，并通過(guò)預(yù)測(cè)問(wèn)題減少了停機(jī)時(shí)間。例如借助 NVIDIA Omniverse、Metropolis 和 cuOpt，開(kāi)發(fā)人員可以使用數(shù)字孿生在仿真中開(kāi)發(fā)、測(cè)試和完善物理 AI，然后再將其部署到工業(yè)基礎(chǔ)設(shè)施中。

NVIDIA 將數(shù)字孿生與實(shí)時(shí) AI 結(jié)合以用于工業(yè)自動(dòng)化

5基于物理學(xué)的突破性高保真仿真技術(shù)

基于物理學(xué)的高保真仿真通過(guò)在虛擬環(huán)境中進(jìn)行現(xiàn)實(shí)世界的實(shí)驗(yàn)，大大推動(dòng)了工業(yè)機(jī)器人技術(shù)的發(fā)展。

集成在 Omniverse 和 Isaac Sim 中的 NVIDIA PhysX 可幫助機(jī)器人專家開(kāi)發(fā)機(jī)器人機(jī)械手的精細(xì)運(yùn)動(dòng)和大運(yùn)動(dòng)技能、剛體和軟體動(dòng)力學(xué)、車輛動(dòng)力學(xué)等其他確保機(jī)器人遵守物理定律的關(guān)鍵功能。其中包括對(duì)機(jī)器人運(yùn)動(dòng)精確性至關(guān)重要的精準(zhǔn)執(zhí)行器控制和運(yùn)動(dòng)學(xué)建模。

為了縮小仿真與現(xiàn)實(shí)世界之間的差距，Isaac Lab 提供了一個(gè)高保真開(kāi)源強(qiáng)化學(xué)習(xí)和模仿學(xué)習(xí)框架，實(shí)現(xiàn)了策略從仿真環(huán)境到實(shí)體機(jī)器人的無(wú)縫遷移。Isaac Lab 通過(guò) GPU 并行化加快訓(xùn)練速度和提高性能，使工業(yè)機(jī)器人能夠更加安全地完成復(fù)雜的任務(wù)。

如要了解關(guān)于使用 Isaac Sim 和 Isaac Lab 創(chuàng)建機(jī)器人移動(dòng)強(qiáng)化學(xué)習(xí)策略的更多信息，請(qǐng)閱讀《開(kāi)發(fā)者專區(qū)丨如何訓(xùn)練 Spot 四足機(jī)器人運(yùn)動(dòng)?》(點(diǎn)擊跳轉(zhuǎn)推文)。

6通過(guò)無(wú)碰撞運(yùn)動(dòng)訓(xùn)練實(shí)現(xiàn)自主運(yùn)行

工業(yè)機(jī)器人訓(xùn)練通常在工廠或訂單履行中心等特定環(huán)境中進(jìn)行。在這些環(huán)境中，仿真能夠幫助解決與各種機(jī)器人類型和混亂環(huán)境相關(guān)的挑戰(zhàn)，其中的一個(gè)重點(diǎn)是在未知、雜亂的環(huán)境中生成無(wú)碰撞運(yùn)動(dòng)。

在未知或動(dòng)態(tài)環(huán)境中，如果使用傳統(tǒng)的運(yùn)動(dòng)規(guī)劃方法應(yīng)對(duì)這些挑戰(zhàn)，那么結(jié)果可能會(huì)差強(qiáng)人意。SLAM(同步定位和映射)能夠使用多個(gè)視角的攝像機(jī)圖像生成環(huán)境的 3D 地圖。但每當(dāng)物體移動(dòng)和環(huán)境發(fā)生變化時(shí)，就需要對(duì)這些地圖進(jìn)行修改。

NVIDIA Robotics 研究團(tuán)隊(duì)和華盛頓大學(xué)推出了運(yùn)動(dòng)策略網(wǎng)絡(luò)(MπNets)。這項(xiàng)端到端神經(jīng)策略使用一個(gè)固定攝像頭的數(shù)據(jù)流生成實(shí)時(shí)、無(wú)碰撞的運(yùn)動(dòng)。經(jīng)過(guò) 300 多萬(wàn)次運(yùn)動(dòng)規(guī)劃問(wèn)題和 7 億次仿真點(diǎn)云的訓(xùn)練，MπNets 可在未知的現(xiàn)實(shí)環(huán)境中進(jìn)行有效的導(dǎo)航。

除了直接學(xué)習(xí)軌跡的 MπNets 模型之外，該團(tuán)隊(duì)還開(kāi)發(fā)了基于點(diǎn)云的碰撞模型 CabiNet。該模型在超過(guò) 65 萬(wàn)個(gè)程序化生成的仿真場(chǎng)景中訓(xùn)練而成。

憑借 CabiNet 模型，開(kāi)發(fā)人員可以在平面桌面設(shè)置之外部署通用的未知物體拾放策略。在使用大型合成數(shù)據(jù)集進(jìn)行訓(xùn)練后，該模型無(wú)需任何真實(shí)數(shù)據(jù)，就能在真實(shí)廚房環(huán)境中泛化到分布外場(chǎng)景。

7開(kāi)發(fā)人員如何開(kāi)始構(gòu)建機(jī)器人仿真平臺(tái)

訪問(wèn) NVIDIA 機(jī)器人仿真用例頁(yè)面，了解開(kāi)發(fā)達(dá)到物理學(xué)精度的仿真流程所需的技術(shù)資源、參考應(yīng)用和其他解決方案：

機(jī)器人開(kāi)發(fā)人員可以使用 NVIDIA Isaac Sim，該應(yīng)用支持多種機(jī)器人訓(xùn)練技術(shù)：

用于訓(xùn)練感知 AI 模型的合成數(shù)據(jù)生成

整個(gè)機(jī)器人堆棧的軟件在環(huán)測(cè)試

使用 Isaac Lab 進(jìn)行的機(jī)器人策略訓(xùn)練

開(kāi)發(fā)人員還可以同時(shí)使用 ROS 2 與 Isaac Sim 進(jìn)行機(jī)器人系統(tǒng)的訓(xùn)練、仿真和驗(yàn)證。Isaac Sim - ROS 2 工作流與使用 Gazebo 等其他機(jī)器人仿真平臺(tái)執(zhí)行的工作流類似。該工作流首先將機(jī)器人模型載入預(yù)構(gòu)建的 Isaac Sim 環(huán)境，為機(jī)器人添加傳感器，然后將相關(guān)組件連接到 ROS 2 行動(dòng)圖并通過(guò) ROS 2 軟件包控制機(jī)器人實(shí)現(xiàn)機(jī)器人仿真。