NVIDIA如何賦能機器人技術(shù)創(chuàng)新與應(yīng)用

近日，ROSCon China 2024在上海圓滿落幕。作為全球機器人行業(yè)的重要盛會，為期兩天的活動吸引了眾多 ROS 社區(qū)行業(yè)專家、研究人員、開發(fā)者和機器人愛好者的參與，展示了全球機器人技術(shù)領(lǐng)域的最新成果與應(yīng)用趨勢。

活動中，NVIDIA 通過技術(shù)分享，展示了 ROS 在機器人領(lǐng)域的最新進展與成果，充分體現(xiàn) ROS 技術(shù)在實際場景中的巨大潛力與創(chuàng)新活力。NVIDIA 特別帶來兩項重磅展示：NVIDIA Isaac Lab加速機器人學(xué)習(xí)、NVIDIA 機器人軟件棧助力工業(yè)無序揀選解決方案開發(fā)。這些技術(shù)突破將有助于推動下一波 AI 機器人技術(shù)發(fā)展。

NVIDIA Isaac Lab 加速機器人學(xué)習(xí)

機器人需要具備很強的適應(yīng)能力，能夠隨時學(xué)習(xí)新的技能并適應(yīng)周圍環(huán)境。但傳統(tǒng)的訓(xùn)練方法會限制機器人將所學(xué)技能應(yīng)用于新情況，常見的原因有感知與行動之間存在差距和難以將技能遷移到不同的情境中。

NVIDIA Isaac Lab 是一個適用于機器人學(xué)習(xí)的開源模塊化框架，該框架可以打破這些局限性。Isaac Lab 的模塊化高保真仿真適用于各種訓(xùn)練環(huán)境，可提供模仿學(xué)習(xí)，強化學(xué)習(xí)和由 GPU 驅(qū)動的物理仿真的支持，為多樣的機器人具身提供了靈活的訓(xùn)練方法。它能夠為各種訓(xùn)練場景提供用戶友好的環(huán)境，幫助機器人制造商根據(jù)不斷變化的業(yè)務(wù)需求來增加或更新機器人技能。

NVIDIA 機器人軟件棧

助力工業(yè)無序揀選解決方案開發(fā)

NVIDIA Isaac Manipulator是由 NVIDIA 加速庫和 AI 模型組成的工作流，它為機械臂提供了一系列先進的運動生成和模塊化 AI 功能，以及各種強大的基礎(chǔ)模型和 GPU 加速庫。Isaac Manipulator 使開發(fā)者能夠?qū)?AI 加速應(yīng)用于機械臂或操作器，以便無縫感知、理解環(huán)境并與環(huán)境進行交互，可幫助機器人軟件開發(fā)者加速解決動態(tài)挑戰(zhàn)的解決方案，例如機器護理、高混合垃圾桶揀選、檢查和裝配任務(wù)。

Isaac Manipulator 還提供了一系列可定制的模塊化 AI 組件，包括各種強大的基礎(chǔ)模型、感知算法、運動規(guī)劃等，比如用于對以前未見過的物體進行 6D 位姿估計和追蹤的開創(chuàng)性基礎(chǔ)模型 FoundationPose，以及通過同時運行多個軌跡優(yōu)化來解決工業(yè)規(guī)模機器人運動規(guī)劃問題的 GPU 加速運動規(guī)劃器 cuMotion 等。

Isaac Manipulator 其基礎(chǔ)模型和加速庫可以作為獨立模塊集成，也可以作為整個工作流程集成到解決方案開發(fā)中。開發(fā)者可以將任何 Isaac Manipulator 庫或基礎(chǔ)模型集成到自己的軟件堆棧中，從而為自己的平臺提供加速性能和準(zhǔn)確性。

NVIDIA Isaac ROS 3.2 新功能

即將發(fā)布的NVIDIA Isaac ROS 3.2也將引入一些新功能。NVIDIA Isaac ROS，基于開源的 ROS 2 軟件框架構(gòu)建，是一套專為機器人開發(fā)設(shè)計的加速計算包和AI模型套件。即將發(fā)布的 3.2 版本在機器人感知、操作以及環(huán)境映射方面實現(xiàn)了顯著提升。

在 NVIDIA Isaac Manipulator方面，3.2 版本引入了多項重要改進。其中，新增的參考工作流將 FoundationPose 和 cuMotion 進行了集成，這將加速機器人拾取與放置以及對象追蹤管線的開發(fā)。這將為開發(fā)者提供更高效、可靠的解決方案，使得機器人能夠更快速、更準(zhǔn)確地執(zhí)行各種復(fù)雜任務(wù)。

NVIDIA Isaac Perceptor也經(jīng)過了改進，加入了全新的視覺 SLAM 參考工作流、這一功能增強了機器人在動態(tài)環(huán)境中的自主導(dǎo)航能力。同時，多攝像頭檢測與 3D 重建功能也得到了顯著提升，將提高自主移動機器人（AMR）在倉庫等動態(tài)環(huán)境中的環(huán)境感知能力與性能。

在 ROSCon China 上與合作伙伴交流

兩天的活動中，ROS 社區(qū)成員與合作伙伴舉辦了多場技術(shù)分享、研討會、展臺演示等。NVIDIA 機器人解決方案架構(gòu)師梁瀟和張瑞分別帶來主題為“NVIDIA Isaac Lab 加速機器人學(xué)習(xí)”以及“NVIDIA 機器人軟件棧助力工業(yè)無序揀選解決方案開發(fā)”的主題分享。

在 12 月 7 日上午以“擁抱智能時代：AI 與機器人技術(shù)的深度融合與落地實踐”為主題的技術(shù)分享中，NVIDIA 機器人解決方案架構(gòu)師梁瀟帶來題為“NVIDIA Isaac Lab 加速機器人學(xué)習(xí)”的演講。NVIDIA Isaac Lab 是一個建立在 NVIDIA Isaac sim 和 NVIDIA Omniverse 平臺上的開源機器人學(xué)習(xí)框架。NVIDIA Omniverse 是一個用于開發(fā)適用于工業(yè)數(shù)字化和物理 AI 仿真的 OpenUSD 應(yīng)用的平臺。

開發(fā)者可以使用 Isaac Lab 來大規(guī)模訓(xùn)練機器人策略，這個開源的統(tǒng)一機器人學(xué)習(xí)框架適用于從人形機器人到四足機器人和協(xié)作機器人等各種具身，能夠處理日益復(fù)雜的動作和交互。

在 12 月 7 日下午以“ROS 技術(shù)前沿：探索機器人操作系統(tǒng)與應(yīng)用的發(fā)展”為主題的技術(shù)分享中，NVIDIA 機器人解決方案架構(gòu)師張瑞帶來題為“NVIDIA 機器人軟件棧助力工業(yè)無序揀選解決方案開發(fā)”的演講。NVIDIA Isaac Manipulator 是專為機械臂設(shè)計的一款綜合性 AI 解決方案，可為機械臂提供一系列先進的運動生成和模塊化 AI 功能，以及各種強大的基礎(chǔ)模型和 GPU 加速庫，以快速構(gòu)建能夠無需訓(xùn)練/zero-shot 感知、理解并與環(huán)境交互的機械臂，加速解決在動態(tài)環(huán)境下的挑戰(zhàn)。借助 NVIDIA Isaac Sim，開發(fā)者可以通過仿真，在多種環(huán)境和不同條件下對軟件堆棧進行練習(xí)，以確保機器人按照設(shè)計運行。

使用 NVIDIA Isaac 的合作伙伴

領(lǐng)先的機器人公司正在將 NVIDIA Isaac 加速庫和 AI 模型集成到他們的平臺中，活動中，眾多機器人生態(tài)合作伙伴，比如加速進化、宇樹科技、本末科技、瀝拓科技、逐際動力、米文動力等，展示了基于NVIDIA Jetson和Isaac Sim技術(shù)的創(chuàng)新機器人解決方案，引發(fā)現(xiàn)場觀眾的圍觀和討論。

ROSCon China 2024 的成功舉辦不僅標(biāo)志著 ROS 技術(shù)在中國內(nèi)地的深入落地，也進一步推動了全球機器人技術(shù)生態(tài)的交流與合作。NVIDIA 及其生態(tài)合作伙伴帶來的前沿技術(shù)和創(chuàng)新應(yīng)用，充分展現(xiàn)了 ROS 技術(shù)在智能時代的巨大潛力。未來，隨著 ROS 技術(shù)的不斷發(fā)展與應(yīng)用，機器人領(lǐng)域的更多可能性將被探索與實現(xiàn)，賦能行業(yè)邁向更加智能化與高效化的未來。