NVIDIA生成式AI進入ROS社區(qū)

NVIDIA 在 ROSCon 上發(fā)布更新，旨在加速 AI 驅動的機械臂和自主移動機器人的開發(fā)。

在丹麥最古老的城市之一、自動化中心歐登塞舉行的 ROSCon 上，NVIDIA 及其機器人生態(tài)合作伙伴發(fā)布了適用于機器人操作系統(tǒng)（ROS）開發(fā)者的生成式 AI 工具、仿真和感知工作流。

其中包括供 ROS 開發(fā)者部署到NVIDIA Jetson邊緣 AI 和機器人平臺的全新生成式 AI 節(jié)點和工作流。借助生成式 AI，機器人能夠感知并理解周圍環(huán)境、與人類自然交流，并自主做出適應性決策。

生成式 AI 進入 ROS 社區(qū)

基于 ROS 2 構建的 ReMEmbR 使用生成式 AI 來增強機器人的推理和行動能力。它將大語言模型（LLM）、視覺語言模型（VLM）和檢索增強生成相結合，使機器人能夠建立并查詢長期語義記憶，并提高其導航和與環(huán)境交互的能力。

語音識別功能由 WhisperTRT ROS 2 節(jié)點提供支持。該節(jié)點使用NVIDIA TensorRT對 OpenAI 的 Whisper 模型進行優(yōu)化，在 NVIDIA Jetson 上實現了低延遲推理，從而實現反應靈敏的人機交互。

具有語音控制功能的 ROS 2 機器人項目使用NVIDIA Riva ASR-TTS服務，使機器人能夠理解和響應語音命令。NASA 噴氣推進實驗室單獨演示了一個適用于 ROS 的 AI 智能體 ROSA，可在其 Nebula-SPOT 機器人和NVIDIA Isaac Sim中的NVIDIA Nova Carter機器人上運行。

Canonical 在 ROSCon 上展示了 NanoOWL。通過這個在NVIDIA Jetson Orin Nano系統(tǒng)模塊上運行的零樣本物體檢測模型，機器人無需依賴預定義類別，就能實時識別各種物體。

開發(fā)者現在就可以開始使用 ROS 2 生成式 AI 節(jié)點，它帶來了經 NVIDIA Jetson 優(yōu)化的 LLM 和 VLM，以增強機器人的能力。

通過“以仿真為中心”的方法

改進 ROS 工作流

在部署 AI 機器人之前，仿真對于安全測試和驗證 AI 機器人至關重要。NVIDIA Isaac Sim 是一個基于 OpenUSD 構建的機器人仿真平臺，它為 ROS 開發(fā)者提供了一個虛擬環(huán)境，使開發(fā)者可以輕松地將機器人連接到他們的 ROS 軟件包來測試機器人。關于使用 Isaac Sim 的 ROS 2 工作流的新版入門指南現已發(fā)布，該指南詳細講解了現已可用的機器人仿真和測試的端到端工作流。

作為 NVIDIA 初創(chuàng)加速計劃的會員，Foxglove 展示了一個集成，可以幫助開發(fā)者使用基于 Isaac Sim 構建的Foxglove 自定義擴展程序，實現仿真數據的實時可視化和調試。

Isaac ROS 3.2 的新功能

NVIDIA Isaac ROS 基于開源 ROS 2 軟件框架構建而成，是一套用于機器人開發(fā)的加速計算軟件包和 AI 模型。即將發(fā)布的 3.2 版本增強了機器人的感知、操作和環(huán)境映射能力。

NVIDIA Isaac Manipulator的主要改進包括集成了 FoundationPose 和 cuMotion 的新參考工作流，可加速機器人拾放和對象追蹤管線的開發(fā)。

NVIDIA Isaac Perceptor也經過了改進，加入了全新的視覺 SLAM 參考工作流、增強型多攝像頭檢測和 3D 重建功能，可提高自主移動機器人（AMR）在倉庫等動態(tài)環(huán)境中的環(huán)境感知能力與性能。

使用 NVIDIA Issac 的合作伙伴

機器人公司正在將 NVIDIA Isaac 加速庫和 AI 模型集成到他們的平臺中。

優(yōu)傲機器人（泰瑞達的子公司）推出了一個新的 AI 加速器工具包，以開發(fā) AI 驅動的協作機器人應用。

Miso Robotics正在使用 Isaac ROS 加快其 AI 機器人薯條制作機 Flippy Fry Station 的速度，并提高餐飲服務自動化的效率與準確性。

Wheel.me正在與 RGo Robotics 和 NVIDIA 合作，使用 Isaac Perceptor創(chuàng)建一個生產就緒型自主移動機器人（AMR）。

Main Street Autonomy正在使用 Isaac Perceptor 來簡化傳感器校準。

奧比中光發(fā)布了其Perceptor 開發(fā)者套件，這是一個適用于 Isaac Perceptor 的開箱即用型 AMR 解決方案。

立普思推出了一款用于改進 AMR 導航能力的多攝像頭感知開發(fā)套件。

Canonical強調了經過全面認證的 Ubuntu ROS 開發(fā)者環(huán)境，為 ROS 開發(fā)者提供了開箱即用的長期支持。

在 ROSCon 上與合作伙伴交流

ROS 社區(qū)成員與合作伙伴（包括 Canonical、Ekumen、Foxglove、Intrinsic、Open Navigation、西門子和泰瑞達）在丹麥舉辦多場研討會、講座、展臺演示和會議。重點活動包括：

BoF 會議“Nav2 用戶見面會”，主持人：Steve Macenski，Open Navigation LLC

ROS 在大規(guī)模工廠自動化中的應用，主持人：Michael Gentner，寶馬公司；Carsten Braunroth，西門子公司

BoF 會議“在機器人操縱工作流中集成 AI”，主持人：Kalyan Vadrevu，NVIDIA

BoF 會議“在仿真中加速大規(guī)模機器人學習”，主持人：Markus Wuensch，NVIDIA

Nav2 Docking 的使用，主持人：Steve Macenski，Open Navigation LLC

ROSCon 由開源機器人基金會（OSRF）組織舉辦。NVIDIA 是 OSRF 旗下組織 Open Robotics 及其所有倡議的支持者。