使用NVIDIA ISAAC Sim和NVIDIA ISAAC Replicator縮小Sim2Real差距

合成數(shù)據(jù)是計算機視覺應(yīng)用中訓(xùn)練機器學(xué)習(xí)模型的重要工具。 NVIDIA 的研究人員介紹了一種 結(jié)構(gòu)化域隨機化 Omniverse Replicator 中的系統(tǒng)，可以幫助您使用合成數(shù)據(jù)訓(xùn)練和優(yōu)化模型。

Omniverse Replicator 是在 NVIDIA Omniverse 平臺上構(gòu)建的 SDK ，它使您能夠構(gòu)建自定義的合成數(shù)據(jù)生成工具和工作流。 NVIDIA ISAAC Sim 開發(fā)團隊使用 Omniverse Replicator SDK 構(gòu)建 NVIDIA ISAAC Replicator ，這是一個特定于機器人的合成數(shù)據(jù)生成工具包，在 NVIDIA ISAAC Sim 應(yīng)用程序中公開。

我們探索了在最近的一個項目中使用從合成環(huán)境生成的合成數(shù)據(jù)。 Trimble 計劃部署 Boston Dynamics 的 Spot 在各種室內(nèi)設(shè)置和施工環(huán)境中。但 Trimble 必須開發(fā)一個經(jīng)濟高效且可靠的工作流程來訓(xùn)練基于 ML 的感知模型，以便 Spot 能夠在不同的室內(nèi)環(huán)境中自主運行。

通過在 NVIDIA ISAAC Replicator 內(nèi)使用結(jié)構(gòu)化域隨機化從合成室內(nèi)環(huán)境生成數(shù)據(jù)，您可以訓(xùn)練現(xiàn)成的物體檢測模型，以檢測真實室內(nèi)環(huán)境中的門。

Sim2Real 域間隙

鑒于合成數(shù)據(jù)集是通過模擬生成的，因此彌合模擬與真實世界之間的差距至關(guān)重要。該間隙稱為域間隙，可分為兩部分：

外觀間隙：兩個圖像之間的像素級差異。這些差異可能是由于對象細(xì)節(jié)、材質(zhì)的不同，或者在合成數(shù)據(jù)的情況下，所使用的渲染系統(tǒng)的能力不同。

內(nèi)容差距：指域之間的差異。這包括場景中對象的數(shù)量、類型和位置的多樣性以及類似的上下文信息等因素。

克服這些領(lǐng)域差距的關(guān)鍵工具是領(lǐng)域隨機化（ DR ），它增加了為合成數(shù)據(jù)集生成的領(lǐng)域的大小。 DR 有助于確保我們包括最符合現(xiàn)實的范圍，包括長尾異常。通過生成更廣泛的數(shù)據(jù)，我們可能會發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)更好地概括整個問題范圍。

可以使用高保真 3D 資源和基于光線跟蹤或路徑跟蹤的渲染，使用基于物理的材質(zhì)（如 MDL 定義的材質(zhì)），進一步縮小外觀差距。驗證的傳感器模型及其參數(shù)的域隨機化也有幫助。

創(chuàng)建合成場景

我們通過 NVIDIA Omniverse SketchUp 連接器將室內(nèi)場景的 BIM 模型從 Trimble SketchUp 導(dǎo)入 NVIDIA ISAAC Sim 。然而，它看起來很粗糙，在 Sim 和現(xiàn)實之間有很大的外觀差距。視頻 1 顯示 Trimble _ DR _ v1.1.usd 。

合成數(shù)據(jù)生成

此時，開始了合成數(shù)據(jù)生成（ SDG ）的迭代過程。對于目標(biāo)檢測模型，我們在所有實驗中使用 TAO DetectNet V2 和 ResNet-18 主干。

我們將所有模型超參數(shù)常數(shù)固定為其默認(rèn)值，包括批量大小、學(xué)習(xí)速率和數(shù)據(jù)集擴展配置參數(shù)。在合成數(shù)據(jù)生成中，可以迭代調(diào)整數(shù)據(jù)集生成參數(shù)，而不是模型超參數(shù)。

圖 3根據(jù)模型評估的反饋調(diào)整數(shù)據(jù)集生成參數(shù)的合成數(shù)據(jù)生成過程

Trimble v1.3 場景包含 500 個光線跟蹤圖像和環(huán)境道具，除門旋轉(zhuǎn)外，沒有 DR 組件。門紋理保持不變。在該場景中進行的訓(xùn)練在真實測試集（約 1000 張圖像）上產(chǎn)生了 5% 的 AP 。

從模型對真實圖像的預(yù)測中可以看出，該模型未能充分檢測到真實的門，因為它過度適合模擬門的紋理。該模型在具有不同紋理門的合成驗證數(shù)據(jù)集上的較差性能證實了這一點。

另一個觀察結(jié)果是，模擬中的照明保持穩(wěn)定不變，而現(xiàn)實中有各種照明條件。

為了防止過度擬合門的紋理，我們對門紋理應(yīng)用了隨機化，在 30 種不同的木紋紋理之間隨機化。為了改變照明，我們在天花板上添加了 DR ，以隨機化燈光的運動、強度和顏色。現(xiàn)在，我們正在隨機化門的紋理，重要的是為模型提供一些學(xué)習(xí)信號，了解除了矩形外，門是由什么組成的。我們?yōu)閳鼍爸械乃虚T添加了逼真的金屬門把手、踢腳板和門框。在實際測試集上，對該改進場景中的 500 幅圖像進行訓(xùn)練，獲得 57% 的 AP 。

這個模型比以前做得更好，但在測試真實圖像中，它仍然對盆栽植物和墻上的 QR 碼做出假陽性預(yù)測。它在走廊圖像上也做得很差，在那里我們有多個門。

為了使模型對墻壁上的 QR 碼等噪聲具有魯棒性，我們將 DR 應(yīng)用于具有不同紋理的墻壁紋理，包括 QR 碼和其他合成紋理。

我們在現(xiàn)場增加了一些盆栽植物。我們已經(jīng)有了一條走廊，所以為了從中生成合成數(shù)據(jù)，沿著走廊添加了兩個攝像頭以及天花板上的燈。

我們添加了光溫 DR ，以及強度、運動和顏色，以使模型在不同的光照條件下更好地概括。我們還注意到，在真實圖像中，有各種各樣的地板，如閃亮的花崗巖、地毯和瓷磚。為了模擬這些，我們應(yīng)用 DR 將地板材料隨機分為不同種類的地毯、大理石、瓷磚和花崗巖材料。

類似地，我們添加了 DR 組件，以在不同顏色和不同種類的材料之間隨機化天花板的紋理。我們還添加了 DR 可見性組件，以便在模擬過程中在走廊中隨機添加幾個推車，希望將模型對真實圖像中推車的誤報降到最低。

通過僅對合成數(shù)據(jù)進行訓(xùn)練，從該場景生成的 4000 幅圖像的合成數(shù)據(jù)集在真實測試集上獲得了約 87% 的 AP ，實現(xiàn)了良好的 Sim2Real 性能。

Omniverse 中的合成數(shù)據(jù)生成

使用 Omniverse 連接器、 MDL 和 DeepSearch 等易于使用的工具，沒有 3D 設(shè)計背景的 ML 工程師和數(shù)據(jù)科學(xué)家可以創(chuàng)建合成場景。

NVIDIA ISAAC Replicator 通過生成具有結(jié)構(gòu)化域隨機化的合成數(shù)據(jù)，輕松彌補 Sim2Real 差距。通過這種方式， Omniverse 使合成數(shù)據(jù)生成可以用于引導(dǎo)基于 perception 的 ML 項目。

這里介紹的方法應(yīng)該是可擴展的，并且應(yīng)該可以增加感興趣的對象的數(shù)量，并在每次需要檢測其他新對象時輕松生成新的合成數(shù)據(jù)。

關(guān)于作者

Geetika Gupta 是 HPC + AI 和 Edge 應(yīng)用的領(lǐng)先產(chǎn)品。自 NVIDIA 開普勒一代以來，她一直擔(dān)任數(shù)據(jù)中心 GPU 的產(chǎn)品經(jīng)理，現(xiàn)在專注于 HPC + AI 和流式數(shù)據(jù)用例的融合。 Geetika 擁有加州大學(xué)洛杉磯分校安德森學(xué)院的 MBA 學(xué)位和 IITBHU 的機械工程學(xué)士學(xué)位。

Nyla Worker 是 NVIDIA 的解決方案架構(gòu)師，專注于嵌入式設(shè)備的模擬和深入學(xué)習(xí)。她在機器人和自動車輛的深度學(xué)習(xí)邊緣應(yīng)用方面擁有豐富的經(jīng)驗，并為嵌入式設(shè)備開發(fā)了加速推理管道。

審核編輯：郭婷