在NVIDIA中使用低代碼工作流加速合成數(shù)據(jù)生成

數(shù)據(jù)是 AI 系統(tǒng)的生命線，AI 系統(tǒng)依靠可靠的數(shù)據(jù)集進(jìn)行學(xué)習(xí)并做出預(yù)測(cè)或決策。具體而言，對(duì)于感知 AI 模型而言，數(shù)據(jù)需要能夠反映真實(shí)環(huán)境以及適用于一系列場(chǎng)景，這一點(diǎn)非常重要。這包括通常難以搜集數(shù)據(jù)的邊緣用例，如街道交通、工廠的裝配生產(chǎn)線等。

借助真實(shí)世界的數(shù)據(jù)以及合成數(shù)據(jù)（SDG），AI 和機(jī)器學(xué)習(xí)（ML）工程師可以引導(dǎo)和加速計(jì)算機(jī)視覺(jué)模型的訓(xùn)練。SDG 能夠生成大量不同的訓(xùn)練數(shù)據(jù)集，以應(yīng)對(duì)視覺(jué)檢測(cè)、機(jī)器人和自動(dòng)駕駛等領(lǐng)域大量不同用例的需求。

最新更新NVIDIA Omniverse Replicator是NVIDIA Omniverse的核心擴(kuò)展，是一個(gè)基于通用場(chǎng)景描述（OpenUSD）的平臺(tái)，開發(fā)人員可以構(gòu)建比以往任何時(shí)候都更強(qiáng)大的合成數(shù)據(jù)生成工作流。其新功能亮點(diǎn)包括：

借助基于 YAML 的低代碼配置器，為 AI 開發(fā)者釋放合成數(shù)據(jù)的強(qiáng)大功能。

通過(guò)異步渲染擴(kuò)展整個(gè)渲染過(guò)程，將傳感器模擬與渲染任務(wù)分解。

借助基于事件的條件觸發(fā)器，在數(shù)據(jù)生成過(guò)程中實(shí)現(xiàn)更高的靈活性。

借助 Omniverse Replicator，開發(fā)者能夠構(gòu)建用于訓(xùn)練計(jì)算機(jī)視覺(jué)模型的數(shù)據(jù)工廠。此外，Replicator 具有高度可定制性和可擴(kuò)展性，因此能夠適應(yīng)許多計(jì)算機(jī)視覺(jué)工作流程。

Replicator 已集成到NVIDIA Isaac Sim機(jī)器人和NVIDIA DRIVE Sim。在 ROSCon 2023 上，NVIDIA 宣布對(duì) NVIDIA Isaac 機(jī)器人平臺(tái)進(jìn)行重大更新，以簡(jiǎn)化基于 AI 的高性能機(jī)器人應(yīng)用的構(gòu)建和測(cè)試。

簡(jiǎn)化的定制解決方案

以前 Replicator 擴(kuò)展程序的限制要求開發(fā)者編寫大量代碼行，以生成用于模型訓(xùn)練的數(shù)據(jù)。不熟悉 3D 內(nèi)容生成的 AI 和 ML 工程師缺乏生成數(shù)據(jù)的有效方法。

現(xiàn)在，開發(fā)者無(wú)需為預(yù)先存在的場(chǎng)景編寫大量代碼行，而是可以使用基于 YAML 的描述性文件，使用語(yǔ)法（例如光線、環(huán)境、位置）簡(jiǎn)單地描述要更改的參數(shù)。這種方法可以更輕松地將 SDG 參數(shù)作為模型創(chuàng)建和性能沿襲的一部分進(jìn)行跟蹤，從而為真正以數(shù)據(jù)為中心的模型開發(fā)方法提供支持。

此外，開發(fā)者可以通過(guò)使用 YAML 文件和 Replicator 在 Omniverse Farm 上運(yùn)行 NVIDIA OVX system。用戶可以輕松共享和分發(fā)代碼 recipe，以創(chuàng)建同一文件的新版本，并創(chuàng)建用于數(shù)據(jù)生成的自動(dòng)化工作流。

視頻 1：學(xué)習(xí)基于 YAML 的簡(jiǎn)單工作流程，通過(guò)隨機(jī)化倉(cāng)庫(kù)中常見物體的位置來(lái)生成訓(xùn)練數(shù)據(jù)

使用異步渲染擴(kuò)展合成數(shù)據(jù)生成

SDG 的世界仿真、傳感器仿真和渲染任務(wù)通常作為緊密集成的同步應(yīng)用程序?qū)嵤?。這限制了在不影響性能的情況下模擬傳感器以不同速率運(yùn)行的靈活性。

異步渲染在彼此之間異步運(yùn)行傳感器的模擬和渲染，使用戶能夠更好地控制整個(gè)過(guò)程。這使得開發(fā)者能夠使用多個(gè) GPU 大規(guī)模渲染合成數(shù)據(jù)，從而提高吞吐量。

借助基于事件的觸發(fā)器，

為 SDG 提供出色的靈活性

在 Replicator 中，觸發(fā)器指定特定節(jié)點(diǎn)（例如 Randomizer 或 Writer）的激活時(shí)間。系統(tǒng)支持幀內(nèi)觸發(fā)器在每一幀中激活節(jié)點(diǎn)，以及準(zhǔn)時(shí)觸發(fā)器，以設(shè)置的時(shí)間間隔激活節(jié)點(diǎn)。

最新的 Replicator 版本還引入了條件觸發(fā)器，可根據(jù)特定事件或條件激活節(jié)點(diǎn)。開發(fā)者現(xiàn)在可以通過(guò)自己的函數(shù)建立自定義邏輯，從而對(duì) Randomizer 和 Writer 提供更精細(xì)的控制。

使用新版 NVIDIA Isaac Sim 的機(jī)器人專家可以使用此功能針對(duì)特定事件啟動(dòng)自主移動(dòng)機(jī)器人（AMR）的運(yùn)動(dòng)。這為控制 SDG 的生成時(shí)間和方式提供了可靠的方法，具體取決于模擬事件。

開始使用 Omniverse Replicator

進(jìn)行開發(fā)

這些只是 Omniverse Replicator 1.10 中用于提升 SDG 流程的部分新功能。如需了解其他功能（包括材質(zhì)支持、后渲染增強(qiáng)以及 2D 和 3D 散點(diǎn)節(jié)點(diǎn)增強(qiáng)），請(qǐng)參閱 Replicator 文檔。

審核編輯：劉清