從 0 到 1 搭建機器人 | 利用 NVIDIA Isaac Sim 創(chuàng)建虛擬環(huán)境進行仿真開發(fā)與測試

問

除了做漢堡或端咖啡外，機器人還可以在倉庫中搬運貨物、包裝食品和幫忙裝配車輛。它們是如何在很短的時間內(nèi)達到熟練水平的呢？

答

這就要歸功于機器人仿真了。

在上一篇文章中我們學(xué)習(xí)了進行機器人開發(fā)的第一步——生成合成數(shù)據(jù)然后進行訓(xùn)練。從 0 到 1 搭建機器人系列文章第二篇將帶領(lǐng)大家繼續(xù)學(xué)習(xí)如何創(chuàng)建虛擬環(huán)境，進行機器人的仿真開發(fā)與測試。本次要使用的工具是 NVIDIA Isaac Sim, 一款可擴展的機器人仿真應(yīng)用程序和合成數(shù)據(jù)生成工具。

什么是機器人仿真

仿真的具體過程是：首先使用仿真器將虛擬機器人置于虛擬環(huán)境中，這樣就可以在不需要實體機器人的情況下測試機器人的軟件。最新的機器人仿真器可以生成數(shù)據(jù)集，用于訓(xùn)練將在實體機器人上運行的機器學(xué)習(xí)模型。

然后，在這個虛擬環(huán)境中，開發(fā)人員可以創(chuàng)建機器人、環(huán)境以及可能需要的其他實體的數(shù)字版本。虛擬環(huán)境也會遵守物理定律，并模擬現(xiàn)實世界的重力、摩擦、材料和照明條件。

仿真一般被用于驗證、確認和優(yōu)化機器人的設(shè)計和系統(tǒng)及其算法。仿真能夠在建造或改造開始前對設(shè)施進行優(yōu)化，以達到最高效率，同時有助于減少昂貴的制造變更。

為了讓機器人能夠在人群中安全地工作，完美的運動規(guī)劃是必不可少的。若要搬運脆弱的物體，機器人需要能夠執(zhí)行精準的接觸和抓取。這些機器以及自主移動機器人和自動駕駛汽車系統(tǒng)，都是在大量數(shù)據(jù)的基礎(chǔ)上訓(xùn)練出安全的運動方式。

仿真正在利用合成數(shù)據(jù)實現(xiàn)以前不可能實現(xiàn)的虛擬進展。今天在仿真中誕生和成長的機器人，將被用于解決現(xiàn)實世界中的各種問題。

機器人仿真的工作原理

先進的機器人仿真器從應(yīng)用基本的物理學(xué)方程開始，比如使用牛頓運動定律，確定物體如何在一個小的時間增量或一個時間段內(nèi)移動。還可以加入對機器人的物理限制，比如加入一個鉸鏈式關(guān)節(jié)或者使其不能通過其他物體。

仿真器使用各種方法來檢測物體之間可能發(fā)生的碰撞、識別碰撞物體之間的接觸點，并計算力或脈沖，以防止物體之間相互碰撞。仿真器還可以計算用戶需要的傳感器信號，比如機器人關(guān)節(jié)處的扭矩或機器人抓手與物體之間的力。

使用機器人仿真的過程中，用戶通常會導(dǎo)入機器人的計算機輔助設(shè)計模型，并導(dǎo)入或生成感興趣的目標對象來構(gòu)建一個虛擬場景。開發(fā)人員可以使用一套算法執(zhí)行任務(wù)規(guī)劃和運動規(guī)劃，然后規(guī)定控制信號來執(zhí)行這些計劃。這使機器人能夠以特定的方式執(zhí)行任務(wù)并移動，比如拿起一個物體并將其放到目標位置。

開發(fā)人員可以觀察計劃輸出的結(jié)果控制信號，然后根據(jù)需要修改它們以確保成功。最近，人們開始使用基于機器學(xué)習(xí)的方法。用戶不必直接規(guī)定控制信號，而是只需要規(guī)定一個期望的行為，比如在不發(fā)生碰撞的情況下移動到一個位置。這時，一個由數(shù)據(jù)驅(qū)動的算法會根據(jù)機器人的仿真?zhèn)鞲衅餍盘柹煽刂菩盘枴?/p>

此類算法包括模仿學(xué)習(xí)和強化學(xué)習(xí)，前者以人類示范作為參考，后者讓機器人通過智能試錯學(xué)會行為，依靠經(jīng)過加速的虛擬體驗迅速完成多年的學(xué)習(xí)。

然后，仿真器將按照用戶要求的時間間隔重復(fù)這一過程。一些仿真器，比如建立在 NVIDIA Omniverse 上的應(yīng)用 NVIDIA Isaac Sim 等還可以按照間隔時間，提供其輸出結(jié)果的精確物理學(xué)可視化圖表。

使用 NVIDIA Isaac Sim 進行仿真

NVIDIA Omniverse Cloud 平臺上的Isaac Sim 是一個機器人仿真應(yīng)用和 SDG 工具，驅(qū)動逼真的、物理準確的虛擬環(huán)境。在 NVIDIA Omniverse 的賦能下，Isaac Sim 使分布在全球的團隊能夠開展遠程協(xié)作，一起構(gòu)建、訓(xùn)練、仿真、驗證和部署機器人。

前文提到，仿真利用合成數(shù)據(jù)以推動虛擬化世界的進程，而合成數(shù)據(jù)離不開另一助力：NVIDIA Omniverse Replicator，一款可擴展的高級 SDK，使開發(fā)者能夠生成物理精準的 3D 合成數(shù)據(jù)，并輕松構(gòu)建自定義合成數(shù)據(jù)生成 (SDG) 工具，以提高感知網(wǎng)絡(luò)的訓(xùn)練速度和準確性。真實世界中的數(shù)據(jù)是昂貴、需要人工標記的，容易出錯且不完整，而 Omniverse Replicator 擴展了這些數(shù)據(jù)，這一引擎能夠創(chuàng)建大量、多樣化的精確物理數(shù)據(jù)，以滿足機器人開發(fā)者的需求。

此外，Isaac Sim 具備人員模擬功能，可將人類角色添加到倉庫或生產(chǎn)設(shè)施中，并讓他們執(zhí)行堆放包裹、推送小車等常見的任務(wù)。目前支持許多常見的行為，模擬這些行為就像發(fā)布命令一樣簡單。

為了最大程度地減少在模擬世界中觀察到的結(jié)果與在真實世界中看到的結(jié)果之間的差距，必須要有符合物理學(xué)的傳感器模型。憑借NVIDIA RTX技術(shù)，Isaac Sim 可以實時渲染來自傳感器的符合物理學(xué)的數(shù)據(jù)。在使用 RTX 模擬激光雷達時，光線追蹤可以在各種照明條件下，或者在對反射材料做出反應(yīng)時提供更加準確的傳感器數(shù)據(jù)。

Isaac Sim 還提供了許多新的可模擬 3D 資產(chǎn)，這對于建立符合物理學(xué)的模擬環(huán)境至關(guān)重要。從倉庫零件到機器人都是現(xiàn)成的，開發(fā)者可以快速開始構(gòu)建。

我們一起了解了如何在虛擬環(huán)境中進行機器人的仿真開發(fā)與測試，下一次我們將更進一步，還請繼續(xù)關(guān)注系列內(nèi)容！

• 了解NVIDIA Isaac Sim（https://developer.nvidia.com/isaac-sim）

• 參與 DLI Isaac Sim 機器人仿真介紹課程（https://courses.nvidia.com/courses/course-v1:DLI+S-OV-03+V1/ ）

推薦閱讀

從 0 到 1 搭建機器人 | 使用 NVIDIA Isaac Sim Replicator 和 TAO 套件進行數(shù)據(jù)合成和訓(xùn)練

點擊“閱讀原文”，或掃描下方海報二維碼，在 8 月 8日聆聽NVIDIA 創(chuàng)始人兼 CEO 黃仁勛在 SIGGRAPH 現(xiàn)場發(fā)表的 NVIDIA 主題演講，了解 NVIDIA 的新技術(shù)，包括屢獲殊榮的研究，OpenUSD 開發(fā)，以及最新的 AI 內(nèi)容創(chuàng)作解決方案。