利用合成數(shù)據(jù)和NVIDIA ISAAC Sim加速機(jī)器人訓(xùn)練

將一個自主機(jī)器人部署到一個新的環(huán)境可能是一個艱難的命題。你如何才能確信機(jī)器人的感知能力足夠強(qiáng)大，因此能夠安全地按計(jì)劃執(zhí)行任務(wù)？

Trimble 在開始制定計(jì)劃，將 Boston Dynamics 的 Spot 部署在各種室內(nèi)環(huán)境和施工環(huán)境中時，面臨著這一挑戰(zhàn)。 Trimble 需要將機(jī)器學(xué)習(xí)（ ML ）模型調(diào)整到精確的室內(nèi)環(huán)境，以便 Spot 能夠在這些不同的室內(nèi)環(huán)境中自主操作。

Trimble 新興技術(shù)副總裁 Aviad Almagor 表示：“當(dāng)我們將配備數(shù)據(jù)采集傳感器和現(xiàn)場控制軟件的 Spot 部署到室內(nèi)環(huán)境時，我們需要開發(fā)一個經(jīng)濟(jì)高效且可靠的工作流程來培訓(xùn)基于ML的感知模型?！薄?/p>

“這一戰(zhàn)略的核心是分析合成環(huán)境的能力。使用 NVIDIA 上的 NVIDIA Omniverse Sim ，我們可以從 Trimble SketchUp 等 CAD 工具無縫導(dǎo)入不同的環(huán)境。然后生成完全標(biāo)記的地面真實(shí)合成數(shù)據(jù)就成了一個簡單的練習(xí)?！?/p>

圖 1 在三維建模應(yīng)用程序 Trimble SketchUp 中查看辦公樓

為了確保模型可靠地工作，從事機(jī)器人技術(shù)和自動化應(yīng)用程序的開發(fā)人員需要包含目標(biāo)環(huán)境所有資產(chǎn)的各種數(shù)據(jù)集。對于室內(nèi)，列表 MIG ht 包括隔墻、樓梯、門、窗和家具等資產(chǎn)。

雖然這些數(shù)據(jù)集可以由真正的攝影師和人類貼標(biāo)員手動構(gòu)建，但這種方法需要大量的預(yù)先規(guī)劃和高成本，并且通常在項(xiàng)目啟動時關(guān)閉大門。使用 合成數(shù)據(jù)，您可以引導(dǎo)您的 ML 培訓(xùn)并立即開始。

構(gòu)建此數(shù)據(jù)集時，可以選擇包含分段數(shù)據(jù)、深度數(shù)據(jù)或邊界框。這些貼有完美標(biāo)簽的地面真相數(shù)據(jù)可以打開許多探索之門。有些東西，如三維邊界框，可以很容易地獲得綜合，而他們是出了名的難以手動標(biāo)簽。

在本文中，我們概述了使用模擬生成的合成數(shù)據(jù)構(gòu)建培訓(xùn)工作流所采取的步驟。盡管此工作流包括復(fù)雜的模擬和 ML 技術(shù)，但完成此項(xiàng)目所需的步驟很簡單：

將環(huán)境從 CAD 導(dǎo)入NVIDIA Omniverse 平臺。

使用 NVIDIA Omniverse Sim 卡構(gòu)建合成數(shù)據(jù)集。

使用 NVIDIA TAO toolkit對 ML 模型進(jìn)行培訓(xùn)。

將環(huán)境從 Trimble SketchUp 導(dǎo)入 NVIDIA Omniverse

在這個項(xiàng)目中， Trimble SketchUp提供了環(huán)境，這是一個用于設(shè)計(jì)建筑的 3D 建模應(yīng)用程序。要導(dǎo)入資源， NVIDIA Omniverse 支持場景描述的 USD 格式。 SketchUp 模型轉(zhuǎn)換為 USD ，并使用 Omniverse 連接器之一導(dǎo)入。

為確保正確導(dǎo)入所有資產(chǎn)，您必須使用 NVIDIA ISAAC Sim 卡或 Omniverse 中的創(chuàng)建或查看應(yīng)用程序檢查環(huán)境。在某些情況下，此過程可能需要幾次迭代，直到環(huán)境在 Omniverse 中得到滿意的表示。

圖 2 將 SketchUp 場景導(dǎo)入 Omniverse 的過程

圖 3 導(dǎo)入到 Omniverse 和 Trimble 的 SketchUp 中的原始場景（右）后，同一辦公樓的并排視圖（左）

使用 NVIDIA ISAAC Sim 構(gòu)建合成數(shù)據(jù)集

合成數(shù)據(jù)是計(jì)算機(jī)視覺應(yīng)用中訓(xùn)練 ML 模型的重要工具，但收集和標(biāo)記真實(shí)數(shù)據(jù)可能耗時且成本高昂。此外，收集角落案例的真實(shí)訓(xùn)練數(shù)據(jù)有時可能很棘手，甚至是不可能的。例如，想象一下，訓(xùn)練一輛自動駕駛汽車正確識別和反應(yīng)，以確保穿過繁忙街道的行人的安全。在交通繁忙的人行橫道上拍照是魯莽和危險的。

由于 Trimble 計(jì)劃在不同的環(huán)境中為不同的用例部署自主機(jī)器人，他們面臨著一個訓(xùn)練數(shù)據(jù)難題：如何在合理的時間范圍內(nèi)以合理的成本為這些模型安全地獲得正確的訓(xùn)練數(shù)據(jù)集？

NVIDIA ISAAC Sim 內(nèi)置的合成數(shù)據(jù)生成功能直接解決了這一挑戰(zhàn)。生成合成數(shù)據(jù)集的關(guān)鍵要求是為正在部署的 ML 模型支持正確的傳感器集。如后一示例中所述， NVIDIA ISAAC Sim 支持使用邊界框、深度和分割渲染圖像，這些對于幫助機(jī)器人感知周圍環(huán)境都很重要。 NVIDIA ISAAC Sim 還支持激光雷達(dá)和超聲波傳感器（ USS ）等其他傳感器，在某些機(jī)器人應(yīng)用中可能會很有用。

圖 4 NVIDIA ISAAC Sim 中生成的合成數(shù)據(jù)，顯示 RGB 、分段和邊界框

生成合成數(shù)據(jù)的另一個超級能力是領(lǐng)域隨機(jī)化。域隨機(jī)化改變定義模擬場景的參數(shù)，例如場景中材質(zhì)的照明、顏色和紋理。其主要目標(biāo)之一是通過在仿真中將神經(jīng)網(wǎng)絡(luò)暴露于各種域參數(shù)來增強(qiáng) ML 模型的訓(xùn)練。這有助于模型在遇到真實(shí)場景時很好地概括。實(shí)際上，這種技術(shù)有助于讓模型知道應(yīng)該忽略什么。

NVIDIA ISAAC Sim 中的可隨機(jī)化參數(shù)：

Color

Movement

Scale

Light

Texture

Material

Mesh

Visibility

Rotation

圖 5 NVIDIA ISAAC Sim 中的域隨機(jī)化場景

使用 NVIDIA TAO 工具包培訓(xùn) ML 模型

圖 6 顯示了預(yù)訓(xùn)練模型和專有數(shù)據(jù)（真實(shí)或合成）作為輸入，定制模型作為輸出。

圖 6 TAO 工具包的功能框圖

圖 7 顯示，模擬器可以從 ROS 和 Python 兩方面進(jìn)行控制。模擬器的輸出包括數(shù)字孿生和合成數(shù)據(jù)，可用于訓(xùn)練感知模型。

圖 7 NVIDIA 上 NVIDIA Omniverse Sim 的功能框圖

生成數(shù)據(jù)集后，將其正確格式化以使用 NVIDIA TAO 工具包，可以大大減少培訓(xùn)模型的時間和費(fèi)用，同時確保模型的準(zhǔn)確性和性能。該工具包支持分割、分類和對象檢測模型。

NVIDIA ISAAC Sim 中綜合生成的數(shù)據(jù)集以 KITTI 格式輸出，以便與 TAO 工具包無縫使用。有關(guān)在 NVIDIA ISAAC Sim 卡中輸出數(shù)據(jù)以進(jìn)行培訓(xùn)的更多信息，請參閱使用 TLT 進(jìn)行離線培訓(xùn)。

與真實(shí)數(shù)據(jù)相比，使用合成數(shù)據(jù)集時，可能需要迭代數(shù)據(jù)集以獲得更好的結(jié)果。圖 8 顯示了使用合成數(shù)據(jù)集進(jìn)行訓(xùn)練的迭代過程。

圖 8 迭代訓(xùn)練以提高模型性能

概括

Trimble 面臨著一個非常普遍的挑戰(zhàn)，即在一個經(jīng)濟(jì)高效的工作流程中為自主機(jī)器人的 ML 模型獲取訓(xùn)練數(shù)據(jù)。這一挑戰(zhàn)的解決方案是利用 NVIDIA Omniverse 中連接器的功能，將 CAD 數(shù)據(jù)高效導(dǎo)入 USD 。然后，數(shù)據(jù)可以被帶入 NVIDIA ISAAC Sim 卡。

在模擬器中， ISAAC Sim 強(qiáng)大的合成數(shù)據(jù)功能使生成所需數(shù)據(jù)集變得簡單。您可以提供合成數(shù)據(jù)，以實(shí)現(xiàn)更高效的培訓(xùn)工作流和更安全的自主機(jī)器人操作。

關(guān)于作者

Nyla Worker 是 NVIDIA 的解決方案架構(gòu)師，專注于嵌入式設(shè)備的模擬和深入學(xué)習(xí)。她在機(jī)器人和自動車輛的深度學(xué)習(xí)邊緣應(yīng)用方面擁有豐富的經(jīng)驗(yàn)，并為嵌入式設(shè)備開發(fā)了加速推理管道。

Gerard Andrews 是專注于機(jī)器人開發(fā)社區(qū)的高級產(chǎn)品營銷經(jīng)理。在加入 NVIDIA 之前，Gerard在Cadence擔(dān)任產(chǎn)品營銷總監(jiān)，負(fù)責(zé)許可處理器IP的產(chǎn)品規(guī)劃、營銷和業(yè)務(wù)開發(fā)。他擁有佐治亞理工學(xué)院電子工程碩士學(xué)位和南方衛(wèi)理公會大學(xué)電子工程學(xué)士學(xué)位。

審核編輯：郭婷