NVIDIA如何賦能機(jī)器人技術(shù)創(chuàng)新與應(yīng)用

近日，ROSCon China 2024在上海圓滿落幕。作為全球機(jī)器人行業(yè)的重要盛會(huì)，為期兩天的活動(dòng)吸引了眾多 ROS 社區(qū)行業(yè)專家、研究人員、開發(fā)者和機(jī)器人愛好者的參與，展示了全球機(jī)器人技術(shù)領(lǐng)域的最新成果與應(yīng)用趨勢(shì)。

活動(dòng)中，NVIDIA 通過技術(shù)分享，展示了 ROS 在機(jī)器人領(lǐng)域的最新進(jìn)展與成果，充分體現(xiàn) ROS 技術(shù)在實(shí)際場(chǎng)景中的巨大潛力與創(chuàng)新活力。NVIDIA 特別帶來兩項(xiàng)重磅展示：NVIDIA Isaac Lab加速機(jī)器人學(xué)習(xí)、NVIDIA 機(jī)器人軟件棧助力工業(yè)無序揀選解決方案開發(fā)。這些技術(shù)突破將有助于推動(dòng)下一波 AI 機(jī)器人技術(shù)發(fā)展。

NVIDIA Isaac Lab 加速機(jī)器人學(xué)習(xí)

機(jī)器人需要具備很強(qiáng)的適應(yīng)能力，能夠隨時(shí)學(xué)習(xí)新的技能并適應(yīng)周圍環(huán)境。但傳統(tǒng)的訓(xùn)練方法會(huì)限制機(jī)器人將所學(xué)技能應(yīng)用于新情況，常見的原因有感知與行動(dòng)之間存在差距和難以將技能遷移到不同的情境中。

NVIDIA Isaac Lab 是一個(gè)適用于機(jī)器人學(xué)習(xí)的開源模塊化框架，該框架可以打破這些局限性。Isaac Lab 的模塊化高保真仿真適用于各種訓(xùn)練環(huán)境，可提供模仿學(xué)習(xí)，強(qiáng)化學(xué)習(xí)和由 GPU 驅(qū)動(dòng)的物理仿真的支持，為多樣的機(jī)器人具身提供了靈活的訓(xùn)練方法。它能夠?yàn)楦鞣N訓(xùn)練場(chǎng)景提供用戶友好的環(huán)境，幫助機(jī)器人制造商根據(jù)不斷變化的業(yè)務(wù)需求來增加或更新機(jī)器人技能。

NVIDIA 機(jī)器人軟件棧

助力工業(yè)無序揀選解決方案開發(fā)

NVIDIA Isaac Manipulator是由 NVIDIA 加速庫(kù)和 AI 模型組成的工作流，它為機(jī)械臂提供了一系列先進(jìn)的運(yùn)動(dòng)生成和模塊化 AI 功能，以及各種強(qiáng)大的基礎(chǔ)模型和 GPU 加速庫(kù)。Isaac Manipulator 使開發(fā)者能夠?qū)?AI 加速應(yīng)用于機(jī)械臂或操作器，以便無縫感知、理解環(huán)境并與環(huán)境進(jìn)行交互，可幫助機(jī)器人軟件開發(fā)者加速解決動(dòng)態(tài)挑戰(zhàn)的解決方案，例如機(jī)器護(hù)理、高混合垃圾桶揀選、檢查和裝配任務(wù)。

Isaac Manipulator 還提供了一系列可定制的模塊化 AI 組件，包括各種強(qiáng)大的基礎(chǔ)模型、感知算法、運(yùn)動(dòng)規(guī)劃等，比如用于對(duì)以前未見過的物體進(jìn)行 6D 位姿估計(jì)和追蹤的開創(chuàng)性基礎(chǔ)模型 FoundationPose，以及通過同時(shí)運(yùn)行多個(gè)軌跡優(yōu)化來解決工業(yè)規(guī)模機(jī)器人運(yùn)動(dòng)規(guī)劃問題的 GPU 加速運(yùn)動(dòng)規(guī)劃器 cuMotion 等。

Isaac Manipulator 其基礎(chǔ)模型和加速庫(kù)可以作為獨(dú)立模塊集成，也可以作為整個(gè)工作流程集成到解決方案開發(fā)中。開發(fā)者可以將任何 Isaac Manipulator 庫(kù)或基礎(chǔ)模型集成到自己的軟件堆棧中，從而為自己的平臺(tái)提供加速性能和準(zhǔn)確性。

NVIDIA Isaac ROS 3.2 新功能

即將發(fā)布的NVIDIA Isaac ROS 3.2也將引入一些新功能。NVIDIA Isaac ROS，基于開源的 ROS 2 軟件框架構(gòu)建，是一套專為機(jī)器人開發(fā)設(shè)計(jì)的加速計(jì)算包和AI模型套件。即將發(fā)布的 3.2 版本在機(jī)器人感知、操作以及環(huán)境映射方面實(shí)現(xiàn)了顯著提升。

在 NVIDIA Isaac Manipulator方面，3.2 版本引入了多項(xiàng)重要改進(jìn)。其中，新增的參考工作流將 FoundationPose 和 cuMotion 進(jìn)行了集成，這將加速機(jī)器人拾取與放置以及對(duì)象追蹤管線的開發(fā)。這將為開發(fā)者提供更高效、可靠的解決方案，使得機(jī)器人能夠更快速、更準(zhǔn)確地執(zhí)行各種復(fù)雜任務(wù)。

NVIDIA Isaac Perceptor也經(jīng)過了改進(jìn)，加入了全新的視覺 SLAM 參考工作流、這一功能增強(qiáng)了機(jī)器人在動(dòng)態(tài)環(huán)境中的自主導(dǎo)航能力。同時(shí)，多攝像頭檢測(cè)與 3D 重建功能也得到了顯著提升，將提高自主移動(dòng)機(jī)器人（AMR）在倉(cāng)庫(kù)等動(dòng)態(tài)環(huán)境中的環(huán)境感知能力與性能。

在 ROSCon China 上與合作伙伴交流

兩天的活動(dòng)中，ROS 社區(qū)成員與合作伙伴舉辦了多場(chǎng)技術(shù)分享、研討會(huì)、展臺(tái)演示等。NVIDIA 機(jī)器人解決方案架構(gòu)師梁瀟和張瑞分別帶來主題為“NVIDIA Isaac Lab 加速機(jī)器人學(xué)習(xí)”以及“NVIDIA 機(jī)器人軟件棧助力工業(yè)無序揀選解決方案開發(fā)”的主題分享。

在 12 月 7 日上午以“擁抱智能時(shí)代：AI 與機(jī)器人技術(shù)的深度融合與落地實(shí)踐”為主題的技術(shù)分享中，NVIDIA 機(jī)器人解決方案架構(gòu)師梁瀟帶來題為“NVIDIA Isaac Lab 加速機(jī)器人學(xué)習(xí)”的演講。NVIDIA Isaac Lab 是一個(gè)建立在 NVIDIA Isaac sim 和 NVIDIA Omniverse 平臺(tái)上的開源機(jī)器人學(xué)習(xí)框架。NVIDIA Omniverse 是一個(gè)用于開發(fā)適用于工業(yè)數(shù)字化和物理 AI 仿真的 OpenUSD 應(yīng)用的平臺(tái)。

開發(fā)者可以使用 Isaac Lab 來大規(guī)模訓(xùn)練機(jī)器人策略，這個(gè)開源的統(tǒng)一機(jī)器人學(xué)習(xí)框架適用于從人形機(jī)器人到四足機(jī)器人和協(xié)作機(jī)器人等各種具身，能夠處理日益復(fù)雜的動(dòng)作和交互。

在 12 月 7 日下午以“ROS 技術(shù)前沿：探索機(jī)器人操作系統(tǒng)與應(yīng)用的發(fā)展”為主題的技術(shù)分享中，NVIDIA 機(jī)器人解決方案架構(gòu)師張瑞帶來題為“NVIDIA 機(jī)器人軟件棧助力工業(yè)無序揀選解決方案開發(fā)”的演講。NVIDIA Isaac Manipulator 是專為機(jī)械臂設(shè)計(jì)的一款綜合性 AI 解決方案，可為機(jī)械臂提供一系列先進(jìn)的運(yùn)動(dòng)生成和模塊化 AI 功能，以及各種強(qiáng)大的基礎(chǔ)模型和 GPU 加速庫(kù)，以快速構(gòu)建能夠無需訓(xùn)練/zero-shot 感知、理解并與環(huán)境交互的機(jī)械臂，加速解決在動(dòng)態(tài)環(huán)境下的挑戰(zhàn)。借助 NVIDIA Isaac Sim，開發(fā)者可以通過仿真，在多種環(huán)境和不同條件下對(duì)軟件堆棧進(jìn)行練習(xí)，以確保機(jī)器人按照設(shè)計(jì)運(yùn)行。

使用 NVIDIA Isaac 的合作伙伴

領(lǐng)先的機(jī)器人公司正在將 NVIDIA Isaac 加速庫(kù)和 AI 模型集成到他們的平臺(tái)中，活動(dòng)中，眾多機(jī)器人生態(tài)合作伙伴，比如加速進(jìn)化、宇樹科技、本末科技、瀝拓科技、逐際動(dòng)力、米文動(dòng)力等，展示了基于NVIDIA Jetson和Isaac Sim技術(shù)的創(chuàng)新機(jī)器人解決方案，引發(fā)現(xiàn)場(chǎng)觀眾的圍觀和討論。

ROSCon China 2024 的成功舉辦不僅標(biāo)志著 ROS 技術(shù)在中國(guó)內(nèi)地的深入落地，也進(jìn)一步推動(dòng)了全球機(jī)器人技術(shù)生態(tài)的交流與合作。NVIDIA 及其生態(tài)合作伙伴帶來的前沿技術(shù)和創(chuàng)新應(yīng)用，充分展現(xiàn)了 ROS 技術(shù)在智能時(shí)代的巨大潛力。未來，隨著 ROS 技術(shù)的不斷發(fā)展與應(yīng)用，機(jī)器人領(lǐng)域的更多可能性將被探索與實(shí)現(xiàn)，賦能行業(yè)邁向更加智能化與高效化的未來。