使用NVIDIA Omniverse復(fù)制器為機器人生成合成數(shù)據(jù)

AI 先鋒 Andrew Ng 呼吁廣泛轉(zhuǎn)向以數(shù)據(jù)為中心的機器學(xué)習(xí)（ ML ）方法。他最近舉辦了第一次以數(shù)據(jù)為中心的人工智能數(shù)據(jù)質(zhì)量競賽，許多人聲稱這代表了人工智能 80% 的工作。

“我樂觀地認(rèn)為，人工智能社區(qū)不久將對系統(tǒng)化改進(jìn)數(shù)據(jù)和架構(gòu)模型產(chǎn)生同樣大的興趣，” Ng 在他的時事通訊The Batch中寫道。

以數(shù)據(jù)為中心的合成數(shù)據(jù)方法

在使用合成數(shù)據(jù)時采用以數(shù)據(jù)為中心的模型開發(fā)方法是一個迭代過程。工程師評估訓(xùn)練有素的模型并確定數(shù)據(jù)集中的改進(jìn)。然后，他們生成新的數(shù)據(jù)集并開啟新的訓(xùn)練周期。這個生成數(shù)據(jù)、訓(xùn)練模型、評估模型和生成更多數(shù)據(jù)的過程會持續(xù)下去，直到模型按預(yù)期執(zhí)行。

每次迭代中的數(shù)據(jù)都是在模擬中生成的，而不是在真實世界中收集的，然后進(jìn)行標(biāo)記，從而加快了模型訓(xùn)練的速度。這些可以大規(guī)模生成的數(shù)據(jù)集以培訓(xùn)工具可以直接使用的格式輸出。該功能消除了在數(shù)據(jù)預(yù)處理中執(zhí)行額外步驟的麻煩。

合成數(shù)據(jù)生成過程的參數(shù)化為 ML 工程師提供了對每次迭代的更多控制，以及對數(shù)據(jù)集中已有內(nèi)容的可追溯性。通過合成數(shù)據(jù)、大規(guī)模生成、理解數(shù)據(jù)集中存在的內(nèi)容，將數(shù)據(jù)集改進(jìn)結(jié)合在一起，它的生成方式縮短了開發(fā)人員實現(xiàn)結(jié)果的時間。

推出用于 ISAAC Sim 卡的 NVIDIA Omniverse 復(fù)制器

隨著人們對數(shù)據(jù)質(zhì)量的日益關(guān)注， NVIDIA 發(fā)布了新的Omniverse Replicator for ISAAC Sim 應(yīng)用程序，該應(yīng)用程序基于最近發(fā)布的Omniverse Replicator 合成數(shù)據(jù)生成引擎。Isaac Sim中的這些新功能使 ML 工程師能夠構(gòu)建生產(chǎn)質(zhì)量的合成數(shù)據(jù)集，以訓(xùn)練強健的深度學(xué)習(xí)感知模型?！皬?fù)制”模型目標(biāo)域的固有分布是最大化模型性能的關(guān)鍵。

Omniverse 復(fù)制器用于 ISAAC Sim 卡優(yōu)勢

生成數(shù)據(jù)集，以實現(xiàn)開發(fā)人員設(shè)置為目標(biāo)的隨機、受控和有界分布。

確保數(shù)據(jù)集包含目標(biāo)角落和測試用例。

包含對象、照明和場景的攝影機相對視野放置。

在基于邊緣和云的系統(tǒng)上大規(guī)模工作。

跟蹤每個數(shù)據(jù)集中使用的工具和參數(shù)，以推動迭代過程并支持生產(chǎn)數(shù)據(jù)集的質(zhì)量審核。

圖 1 ISAAC Sim 中的合成數(shù)據(jù)生成工作流示例。

Replicator 演示：使用自動移動機器人避免叉車叉齒

目前許多工廠部署的自主移動機器人（ AMR ）都是基于平面激光雷達(dá)的。激光雷達(dá)足以探測到許多物體的存在并進(jìn)行導(dǎo)航。叉車在許多工廠和倉庫中隨處可見，這對激光雷達(dá)提出了獨特的挑戰(zhàn)；可以檢測叉車底盤，但不能檢測叉齒。

由于平面激光雷達(dá)無法檢測到叉齒，因此機器人只能在叉齒上方行駛時避免與叉車本體發(fā)生碰撞。

解決此問題的一種方法是讓機器人“感知”其路徑中有叉車，并使用該識別來改進(jìn)導(dǎo)航以避免尖齒。

本節(jié)概述了使用 ISAAC Sim Replicator 培訓(xùn) DNN 以解決 AMR /叉車問題的整個工作流程的演示。

叉車演示關(guān)鍵步驟

在Omniverse上的 ISAAC Sim 卡中構(gòu)建倉庫場景。

在倉庫中放置 AMR 并重新創(chuàng)建故障場景。

獲取叉車模型并使用 ISAAC Sim 生成合成數(shù)據(jù)。

使用TAO Toolkit使用合成數(shù)據(jù)訓(xùn)練現(xiàn)有預(yù)訓(xùn)練模型。

使用DNN Inference Isaac ROS GEM部署模型。

在模擬中測試 ISAAC ROS GEM 。

在NVIDIA Jetson platform上部署 ISAAC GEM in robot 軟件堆棧。

圖 2 使用 ISAAC Sim 數(shù)據(jù)復(fù)制器進(jìn)行叉車演示的完整工作流程。

為 ISAAC Sim 使用 Omniverse 復(fù)制器生成數(shù)據(jù)集

在本演示中，我們獲得了八種不同的 3D 叉車通用場景描述（ USD ）模型來訓(xùn)練 DNN 。 ISAAC Sim Replicator 然后被用來描述影響對象（叉車）的眾多參數(shù)：照明、相機和場景本身。

在領(lǐng)域隨機化中使用了特別的注意，因此深度學(xué)習(xí)模型將推廣其對叉車的理解。通過更改顏色、紋理、照明、叉車相對于攝影機的位置、叉車的偏航、俯仰、滾動，并在場景中添加其他非叉車對象，模型可以學(xué)習(xí)概括叉車。

最終，為這次演示生成了 90000 多張圖像。我們使用新的Omniverse Farm，一個用于多 GPU 、多代理、模擬的系統(tǒng)層，來管理創(chuàng)建數(shù)據(jù)集的 GPU – 計算資源。

這些圖像表示實現(xiàn)穩(wěn)健性能所需的數(shù)據(jù)多樣性類型。

培訓(xùn)和部署叉車探測器 DNN

我們從NVIDIA TAO Toolkit 中選擇了一個預(yù)訓(xùn)練模型來執(zhí)行識別叉車所需的分割任務(wù)。該模型經(jīng)過預(yù)訓(xùn)練，可以對人物、汽車和背景類進(jìn)行語義分割。我們使用轉(zhuǎn)移學(xué)習(xí)，將該模型用于使用 ISAAC Sim 中生成的合成數(shù)據(jù)對叉車執(zhí)行語義分割。

下一步是將叉車模型添加到DNN Inference Isaac ROS GEM。您可以快速將推理添加到基于 ROS 的機器人應(yīng)用程序中，如本文中描述的 AMR 用例。

總結(jié)

提高基于人工智能的計算機視覺應(yīng)用程序的性能需要復(fù)制目標(biāo)領(lǐng)域固有分布的大型和多樣的數(shù)據(jù)集。用于 ISAAC Sim 卡的新型 NVIDIA Omniverse Replicator 是一款功能強大的應(yīng)用程序，可生成生產(chǎn)質(zhì)量數(shù)據(jù)集。

我們演示了如何使用合成數(shù)據(jù)培訓(xùn)在 AMR 上運行的 DNN ，以避免在叉車叉齒上運行的常見事故。

在許多其他場景中，您可以應(yīng)用此過程并使用合成數(shù)據(jù)來增加機器人對其環(huán)境和行為的理解。最終，這將導(dǎo)致機器人事故更少，需要更少的人工干預(yù)。

關(guān)于作者

Gerard Andrews 是專注于機器人開發(fā)社區(qū)的高級產(chǎn)品營銷經(jīng)理。在加入 NVIDIA 之前，Gerard在Cadence擔(dān)任產(chǎn)品營銷總監(jiān)，負(fù)責(zé)許可處理器IP的產(chǎn)品規(guī)劃、營銷和業(yè)務(wù)開發(fā)。他擁有佐治亞理工學(xué)院電子工程碩士學(xué)位和南方衛(wèi)理公會大學(xué)電子工程學(xué)士學(xué)位。

審核編輯：郭婷