從 0 到 1 搭建機(jī)器人 | 使用 NVIDIA Isaac Sim Replicator 和 TAO 套件進(jìn)行數(shù)據(jù)合成和訓(xùn)練

問

從頭開始創(chuàng)建機(jī)器人是不是很有挑戰(zhàn)性？

答

從零開始創(chuàng)建一個機(jī)器人并非及其困難，使用合適的工具，就能夠輕松達(dá)到事半功倍的效果。

問

那么應(yīng)該怎么開始呢？

答

從 0 到 1 搭建機(jī)器人系列文章將從第一步開始，拆解并串聯(lián)起關(guān)于機(jī)器人創(chuàng)建的必要知識和所涉工具，希望能以 NVIDIA 提供的前沿解決方案為您鋪平開發(fā)實踐的道路。

今天我們將先從數(shù)據(jù)標(biāo)記、模型訓(xùn)練開始，出場的是Isaac Sim Replicator和NVIDIA TAO 工具套件，前者用于生成合成數(shù)據(jù)，后者可對合成數(shù)據(jù)進(jìn)行訓(xùn)練，為機(jī)器人的仿真打下堅實的基礎(chǔ)。

虛擬環(huán)境和合成數(shù)據(jù)

在現(xiàn)實世界中，制造機(jī)器人需要從頭開始創(chuàng)建數(shù)據(jù)集，涉及到采集和注釋海量真實圖像等，這一過程耗時又費錢，存在人力協(xié)調(diào)方面的挑戰(zhàn)，而且會減緩部署速度。因此，開發(fā)人員轉(zhuǎn)向了合成數(shù)據(jù)生成 (SDG）、預(yù)訓(xùn)練 AI 模型、遷移學(xué)習(xí)和機(jī)器人仿真這幾種方式。

合成數(shù)據(jù)是計算機(jī)模擬或算法所生成的帶有注釋的信息，可以用于代替真實數(shù)據(jù)。雖然是人造數(shù)據(jù)，但合成數(shù)據(jù)能夠從數(shù)學(xué)或統(tǒng)計學(xué)上反映真實數(shù)據(jù)。研究表明，在訓(xùn)練 AI 模型方面，合成數(shù)據(jù)與基于實際物體、事件或人的數(shù)據(jù)一樣好。采用合成數(shù)據(jù)生成 (SDG) 無疑可以節(jié)省時間并降低成本。

預(yù)訓(xùn)練 AI 模型則是一種為了完成某項特定任務(wù)而在大型數(shù)據(jù)集上進(jìn)行訓(xùn)練的深度學(xué)習(xí)模型，既可以直接使用，也可以根據(jù)某個應(yīng)用的具體需求進(jìn)行進(jìn)一步微調(diào)。比如，在創(chuàng)建一個能夠識別獨角獸的模型時，首先會為其提供獨角獸、馬、貓和其他動物的圖像作為傳入數(shù)據(jù)。然后再構(gòu)建具有代表性的數(shù)據(jù)特征層。從線條、顏色等簡單特征開始，深入到復(fù)雜的結(jié)構(gòu)特征。依據(jù)計算出的概率，這些特征將被賦予不同程度的相關(guān)性。一個生物看起來越像馬，它是獨角獸而不是貓的概率就越大。這些概率值被存儲在 AI 模型的每個神經(jīng)網(wǎng)絡(luò)層。隨著層數(shù)的增加，模型對表征的理解程度也在提高。試想一下，若要從頭開始創(chuàng)建一個這樣的模型，通常需要調(diào)用包含數(shù)十億行數(shù)據(jù)的巨大數(shù)據(jù)集，幾乎是一個‘事倍功半’的過程。相反，如果在預(yù)訓(xùn)練模型基礎(chǔ)上進(jìn)行開發(fā)，則可以更快創(chuàng)建出 AI 應(yīng)用，無需處理堆積如山的傳入數(shù)據(jù)或計算密集的數(shù)據(jù)層的概率。NVIDIA NGC即匯集了通過 GPU 優(yōu)化的 AI 軟件、模型和 Jupyter Notebook 示例，包括各種預(yù)訓(xùn)練模型以及為 NVIDIA AI 平臺優(yōu)化的 AI 基準(zhǔn)和訓(xùn)練方式。

熟悉 NVIDIA 的開發(fā)者對 Isaac Sim 一定不會感到陌生，這是一個機(jī)器人仿真應(yīng)用程序，用于創(chuàng)建虛擬環(huán)境和生成合成數(shù)據(jù)。更進(jìn)一步，Isaac Sim Replicator 是一個建立在可擴(kuò)展的Omniverse平臺上的高度可擴(kuò)展 SDK，它可以生成物理級精確的 3D 合成數(shù)據(jù)來加速 AI 感知網(wǎng)絡(luò)的訓(xùn)練和性能。開發(fā)者可以使用 Isaac Sim Replicator 生成的大規(guī)模逼真合成數(shù)據(jù)，來引導(dǎo)和提高現(xiàn)有深度學(xué)習(xí)感知模型的性能。

有關(guān)于仿真測試的更多技術(shù)應(yīng)用細(xì)節(jié)，我們將在以后的機(jī)器人系列文章中具體談到。

數(shù)據(jù)標(biāo)注和模型訓(xùn)練

選擇好合適的模型后，就可以進(jìn)一步訓(xùn)練和微調(diào)出更為準(zhǔn)確的 AI 模型了，這也是 NVIDIA TAO 工具套件的用武之地。NVIDIA TAO 是一個框架，可使用自定義數(shù)據(jù)訓(xùn)練、調(diào)整和優(yōu)化（TAO: Train, Adapt, and Optimize）計算機(jī)視覺 （CV） AI 模型和對話式 AI 模型，所需時間非常少，也無需擁有大型訓(xùn)練數(shù)據(jù)集或 AI 專業(yè)知識。

TAO 工具套件是 TAO 的低代碼版本，基于 TensorFlow 和 PyTorch 構(gòu)建，通過抽象出 AI/深度學(xué)習(xí)框架的復(fù)雜性來加速模型訓(xùn)練過程。有了 NVIDIA TAO 工具套件，開發(fā)者可以進(jìn)行遷移學(xué)習(xí)，通過適應(yīng)和優(yōu)化，在短時間內(nèi)達(dá)到最先進(jìn)的精度和生產(chǎn)級吞吐量。在 NVIDIA GTC23 上，NVIDIA 發(fā)布了NVIDIA TAO 工具套件 5.0，帶來了 AI 模型開發(fā)方面的突破性功能提升。

AI 輔助的數(shù)據(jù)標(biāo)注和管理

如前文所述，數(shù)據(jù)標(biāo)注仍然是一個昂貴且耗時的過程。對于 CV 任務(wù)尤其如此，比如需要在標(biāo)注對象周圍生成像素級別分割掩碼的分割任務(wù)。通常，分割掩碼的成本是對象檢測或分類的 10 倍。

通過 TAO 工具套件 5.0 ，用最新的 AI 輔助標(biāo)注功能對分割掩碼進(jìn)行標(biāo)注，速度更快，成本更低?？梢允褂萌醣O(jiān)督分割架構(gòu) Mask Auto Labeler (MAL) 來幫助進(jìn)行分割注釋，以及固定和收緊用于對象檢測的邊界框。實況數(shù)據(jù)中對象周圍的松散邊界框可能會導(dǎo)致非最佳檢測結(jié)果，但通過 AI 輔助標(biāo)注，可以將邊界框收緊到對象上，從而獲得更準(zhǔn)確的模型。

NVIDIA TAO 工具套件自動標(biāo)記工作流程

在任何平臺、任何位置部署 NVIDIA TAO

NVIDIA TAO 工具套件 5.0 支持 ONNX 模型導(dǎo)出。無論是 GPU、CPU、MCU、DLA 還是 FPGA 的邊緣或云上的任何計算平臺，都可以部署使用 NVIDIA TAO 工具套件訓(xùn)練的模型。NVIDIA TAO 工具套件簡化了模型訓(xùn)練過程，優(yōu)化了模型的推理吞吐量，為數(shù)千億臺設(shè)備的 AI 提供了動力。

除了傳統(tǒng)對象檢測和分割，NVIDIA TAO 工具套件也加速了其他的各種 CV 任務(wù)。TAO 工具套件 5.0 中新增的字符檢測和識別模型使開發(fā)人員能夠從圖像和文檔中提取文本。文檔轉(zhuǎn)換實現(xiàn)了自動化，并加速了在保險和金融等行業(yè)的用例。

為了提高透明度和可解釋性， TAO 工具套件以開源形式提供。開發(fā)者能夠從內(nèi)部層查看特征圖，并繪制激活熱圖，以更好地理解 AI 預(yù)測背后的推理過程。此外，訪問源代碼使開發(fā)者能夠靈活地創(chuàng)建定制的 AI，提高調(diào)試能力，并增加對模型的信任。

到此為止，我們已經(jīng)完成了數(shù)據(jù)的合成和訓(xùn)練，接下來讓我們一起期待如何進(jìn)行機(jī)器人模型的仿真與測試吧！

• 下載 NVIDIA TAO 工具套件（https://developer.nvidia.com/tao-toolkit-get-started）并開始創(chuàng)建自定義 AI 模型。

• 您也可以在 LaunchPad （https://www.nvidia.com/en-us/launchpad/ai/develop-fine-tune-computer-vision-models-with-tao-automl/）上體驗 NVIDIA TAO 工具套件。

點擊“閱讀原文”，或掃描下方海報二維碼，在 8 月 8日聆聽NVIDIA 創(chuàng)始人兼 CEO 黃仁勛在 SIGGRAPH 現(xiàn)場發(fā)表的 NVIDIA 主題演講，了解 NVIDIA 的新技術(shù)，包括屢獲殊榮的研究，OpenUSD 開發(fā)，以及最新的 AI 內(nèi)容創(chuàng)作解決方案。