利用NVIDIA Isaac平臺構(gòu)建、設(shè)計(jì)并部署機(jī)器人應(yīng)用

機(jī)器人在智能制造設(shè)施、商業(yè)廚房、醫(yī)院、倉庫物流和農(nóng)業(yè)領(lǐng)域等不同環(huán)境中的應(yīng)用正在迅速擴(kuò)展。該行業(yè)正在向智能自動化轉(zhuǎn)變，這需要增強(qiáng)的機(jī)器人功能來執(zhí)行感知、地圖構(gòu)建、導(dǎo)航、負(fù)載處理、物體抓取和復(fù)雜的裝配任務(wù)等功能。

AI 在這一變革中發(fā)揮著關(guān)鍵作用，提高了機(jī)器人的性能。通過集成 NVIDIA AI 加速，機(jī)器人可以更高的精度和效率處理復(fù)雜的任務(wù)，在各種應(yīng)用中充分發(fā)揮自己的潛力。

在 COMPUTEX，NVIDIA 宣布了一些新功能，可幫助機(jī)器人專家和工程師構(gòu)建智能機(jī)器人。這些功能包括：

NVIDIA Isaac Perceptor，一種適用于自主移動機(jī)器人（AMR）和自動導(dǎo)引車（AGV）的新參考工作流。

NVIDIA Isaac 機(jī)器人操作系統(tǒng)（ROS）為工業(yè)機(jī)械臂提供了新的基礎(chǔ)模型和參考工作流程。

面向機(jī)器人的 NVIDIA Jetson，以及 NVIDIA JetPack 6.0 中的最新更新。

NVIDIA Isaac Sim 4.0引入了 NVIDIA Isaac Lab，這是一款輕量級應(yīng)用，用于機(jī)器人學(xué)習(xí)。

NVIDIA Isaac Perceptor

AMR 和 AGV 對于裝配線效率、物料搬運(yùn)和醫(yī)療健康物流至關(guān)重要。隨著這些機(jī)器人在復(fù)雜和非結(jié)構(gòu)化環(huán)境中導(dǎo)航，感知周圍環(huán)境并作出反應(yīng)的能力變得至關(guān)重要。

Isaac Perceptor，基于 NVIDIA Isaac 機(jī)器人操作系統(tǒng)（ROS），助力原始設(shè)備制造商（OEM）、貨運(yùn)服務(wù)提供商、軟件供應(yīng)商和自動移動機(jī)器人（AMR）生態(tài)系統(tǒng)加速機(jī)器人開發(fā)。團(tuán)隊(duì)可以為移動機(jī)器人配備感知功能，以便在非結(jié)構(gòu)化環(huán)境中成功導(dǎo)航和避障。

Isaac Perceptor 的早期合作伙伴包括倉儲/內(nèi)部物流領(lǐng)域的行業(yè)領(lǐng)導(dǎo)者、汽車制造商、工業(yè)機(jī)器人制造公司和機(jī)器人解決方案提供商，例如 ArcBest、比亞迪電子、Gideon、KION、Kudan、IdealWorks、RGo 以及 Teradyne 機(jī)器人等。

Isaac Perceptor 的主要特性

Isaac Perceptor 提供的功能可為基于 AI 的自主移動機(jī)器人提供多攝像頭、3D 環(huán)繞視覺功能。

基于 AI 的多攝像頭深度感知

Isaac Perceptor 以每秒 30Hz 的刷新率處理 16.5M 深度點(diǎn)。立體差異通過來自立體攝像頭的時間同步圖像對計(jì)算得出，用于為場景生成深度圖像或點(diǎn)云。高效的半監(jiān)督式深度神經(jīng)網(wǎng)絡(luò)（ESS DNN）為基于深度神經(jīng)網(wǎng)絡(luò)的立體差異提供了 GPU 加速支持。

▲圖 1 ESS DNN 檢測 5 米處的障礙物

多攝像頭視覺慣性測距

Isaac ROS 視覺 SLAM 提供 ROS 2 軟件包，用于視覺同步定位和映射（VSLAM）和視覺測距（VO）。這基于 NVIDIA 的 CUDA 視覺 SLAM（cuVSLAM）并提供強(qiáng)大的導(dǎo)航功能，在無特色環(huán)境中導(dǎo)航時，翻譯錯誤率不到 1%。

在具有稀疏視覺特征或重復(fù)模式的環(huán)境中導(dǎo)航對 VSLAM 解決方案來說是一個眾所周知的挑戰(zhàn)?？梢酝ㄟ^融合來自多個視角的輸入來緩解這一問題。在最新的更新中，cuVSLAM 整合了來自多個立體攝像頭的并發(fā)視覺測距估計(jì)。

測試表明有了顯著改進(jìn)。機(jī)器人使用多個攝像頭持續(xù)實(shí)現(xiàn)其導(dǎo)航目標(biāo)，而使用單個攝像頭則不到 25%。

▲表 1 cuVSLAM 與 FRVO、S-PTAM 和 ORB-SLAM2 的性能比較。cuVSLAM 顯示了使用多個攝像頭加速機(jī)器人導(dǎo)航的性能

▲圖 2 使用一個攝像頭的 Isaac ROS Visual SLAM 與兩個攝像頭和四個攝像頭的對比

實(shí)時、多攝像頭立體像素網(wǎng)格映射

Isaac Perceptor 的核心是 nvblox，一個使用 CUDA 加速的 3D 場景重建庫，可以識別距離最遠(yuǎn) 5 米的障礙物，以提供 2D 成本圖，并在 300 毫秒內(nèi)進(jìn)行更新。

Isaac ROS nvblox 提供了用于三維場景重建的 ROS 2 軟件包和用于導(dǎo)航的本地障礙物成本地圖生成軟件包。此軟件包可應(yīng)用于靜止環(huán)境以及包含人員和移動對象的場景。

此版本中的新增功能是使用多達(dá)三個 HAWK 攝像頭提供多攝像頭支持，以擴(kuò)大覆蓋范圍，從而提供約 270° 的視野。

▲圖 3 使用 Isaac ROS Nvblox 進(jìn)行立體像素 3D 重建，包括懸置障礙物重建

NVIDIA Nova Orin 開發(fā)者套件

此開發(fā)者套件采用 NVIDIA Jetson AGX Orin，支持多達(dá)六個攝像頭，包括多達(dá)三個立體攝像頭和三個魚眼攝像頭，攝像頭內(nèi)部延遲不到 100 微秒。

立體攝像頭的分辨率為每個攝像頭的 2MP，視野為 110X70，適用于三維占用網(wǎng)格映射、深度感知、視覺測距和人員檢測。購買 Nova Orin 開發(fā)者套件，可以使用 Segway 或 Leopard 成像的 Isaac Perceptor。

Isaac Perceptor 在此開發(fā)者套件中提供了一個參考圖，支持多達(dá)三個立體攝像頭。借助 ROS 2 軟件包的增強(qiáng)模塊化，此版本還提供了一個參考集成，即 Nav2 的 Nova Carter 參考機(jī)器人。

增強(qiáng)了與攝像頭和傳感器的兼容性

Isaac Perceptor 提供了與攝像頭和傳感器合作伙伴的集成的增強(qiáng)支持。Orbbec 成功集成了帶有 NVIDIA Isaac Perceptor 組件的 Gemini 335L 攝像頭。使用 Isaac ROS 視覺 SLAM 和 Nvblox 在 NVIDIA Jetson AGX Orin 上演示了這種集成。

LIPS 還成功地將其 AE450 攝像頭與 Isaac 感知器組件 Nvblox 集成。

NVIDIA Isaac Manipulator

Isaac Manipulator是由 NVIDIA 加速庫和 AI 模型組成的工作流程。它使開發(fā)者能夠?qū)?AI 加速應(yīng)用于機(jī)器人臂或操作器，以便無縫感知、理解環(huán)境并與環(huán)境進(jìn)行交互。

其基礎(chǔ)模型和加速庫可以作為獨(dú)立模塊集成，也可以作為整個工作流程集成到解決方案開發(fā)中。除了獨(dú)立的模塊化組件外，還為開發(fā)者提供了示例工作流程（ROS 2 啟動腳本），這些工作流程結(jié)合了 Isaac Manipulator 組件，以實(shí)現(xiàn)完整的端到端參考集成。

▲圖 4 利用 NVIDIA 組件的 Isaac Manipulator 工作流程示例（綠色）

Isaac Manipulator 的早期協(xié)作者包括機(jī)器人開發(fā)者平臺公司、OEM 和 ISV/SI，包括 Intrinsic（一家 Alphabet 公司）、西門子、Solomon、Techman 機(jī)器人、Teradyne 機(jī)器人、Vention 以及 Yaskawa。

Isaac Manipulator 的主要特性

Isaac Manipulator 引入 AI 功能來加速機(jī)械臂的開發(fā)。

cuMotion 可加快路徑規(guī)劃速度

此 GPU 加速的運(yùn)動規(guī)劃器有助于縮短周期時間。cuMotion 可作為 MoveIt 2 動作規(guī)劃框架，這是一個由國際社區(qū)開發(fā)的開源項(xiàng)目，由 PickNik Robotics 領(lǐng)導(dǎo)。

cuMotion 在多個種子間并行運(yùn)行軌跡優(yōu)化，并返回最佳解決方案。

作為高級視覺和機(jī)器人解決方案的領(lǐng)導(dǎo)者，Solomon 是 Isaac Manipulator 的早期合作者。與傳統(tǒng)算法相比，由 Isaac Manipulator cuMotion 增強(qiáng)的 bin-picking 系統(tǒng)將路徑規(guī)劃速度提高了 8 倍，并將路徑奇點(diǎn)率降低了 50%。

▲表 2 使用 Isaac Manipulator 的 Solomon 垃圾桶揀貨系統(tǒng)的性能增強(qiáng)。Solomon 的成功率、移動時間、軌跡長度和規(guī)劃時間都有顯著提高，路徑奇點(diǎn)出現(xiàn)次數(shù)減少。

FoundationPose

FoundationPose 是一種新的統(tǒng)一基礎(chǔ)模型，用于對新對象進(jìn)行單次六維度姿態(tài)估計(jì)和跟蹤。此模型旨在在遇到以前未見過的物體的應(yīng)用程序中實(shí)現(xiàn)高精度工作，而無需進(jìn)行微調(diào)。

FoundationPose 目前位于 2023 年 BOP 排行榜，用于對未見物體進(jìn)行 6D 定位。它對遮擋、快速運(yùn)動以及紋理和縮放等各種物體屬性非?？煽?，可以確?？鐖鼍疤峁┛煽康男阅堋ｉ_發(fā)者可以從任何角度生成物體的逼真視圖。

▲圖 6 使用 NVIDIA FoundationPose 進(jìn)行姿態(tài)估計(jì)和追蹤

SyntheticaDETR

SyntheticaDETR 是一組基于實(shí)時檢測 Transformer（DETR）的模型，用于單次圖像空間物體檢測，該模型基于使用 NVIDIA Omniverse 平臺。它使用 Transformer 編碼器 – 解碼器架構(gòu)一次預(yù)測所有物體，從而實(shí)現(xiàn)比傳統(tǒng)物體檢測方法更高效的檢測效果。

▲圖 7 使用 SyntheticaDETR 進(jìn)行物體檢測和追蹤

經(jīng)過合成數(shù)據(jù)和真實(shí)數(shù)據(jù)的訓(xùn)練，SyntheticaDETR 在 BOP 排行榜上實(shí)現(xiàn)了 YCB-Video 數(shù)據(jù)集上的 2D 物體檢測（平均精度為 0.885，平均召回率為 0.903）。

這些模型還可以將物體檢測為 NVIDIA FoundationPose 等姿態(tài)估計(jì)器的 2D 邊界框感興趣區(qū)域。下載合成測試模式，然后下載 Isaac Manipulator，以便進(jìn)行進(jìn)一步的操作。

NVIDIA JetPack 6.0

NVIDIA Isaac ROS 3.0 兼容 JetPack 6.0并支持所有 NVIDIA Jetson Orin 模組和開發(fā)套件。

NVIDIA Jetson 平臺服務(wù)即將推出模塊化、API 驅(qū)動的服務(wù)，可更快、更輕松地構(gòu)建生成式 AI 和機(jī)器人應(yīng)用。這些預(yù)構(gòu)建和可定制的服務(wù)旨在加速 NVIDIA Jetson Orin 系統(tǒng)模組上的 AI 應(yīng)用開發(fā)。

NVIDIA Isaac Sim 4.0

借助Isaac Sim，開發(fā)者可以借助行業(yè)領(lǐng)先的傳感器和機(jī)器人類型測試，生成合成數(shù)據(jù)和各種復(fù)雜的虛擬測試環(huán)境。這可實(shí)現(xiàn)高度逼真的模擬，同時實(shí)時測試數(shù)千個機(jī)器人。

NVIDIA Isaac 實(shí)驗(yàn)室

Isaac 實(shí)驗(yàn)室是基于 Isaac Sim 平臺構(gòu)建的輕量級參考應(yīng)用，在機(jī)器人基礎(chǔ)模型訓(xùn)練中扮演著核心角色。它支持強(qiáng)化學(xué)習(xí)、模仿學(xué)習(xí)和遷移學(xué)習(xí)，能夠訓(xùn)練各種機(jī)器人實(shí)施方案，為開發(fā)者提供設(shè)計(jì)和功能的探索空間。

新版本還可通過兼容性檢查器輕松集成 VSCode、為強(qiáng)化學(xué)習(xí)提供多 GPU 支持、通過 RTX 傳感器平鋪渲染提高性能、優(yōu)化緩存和著色器管理。

Isaac Sim 的其他新功能包括：

易于使用 PIP 安裝和用于導(dǎo)入機(jī)器人等的向?qū)А?/p>

合成數(shù)據(jù)生成（SDG）速度提升高達(dá) 80%，從而提升性能

支持 COCO 格式和用于姿態(tài)估計(jì)的自定義寫入器的新 SDG 格式。

ROS 2 啟動支持，提供端到端工作流程，并為基于圖像的發(fā)行商提供更好的性能。

更多內(nèi)置機(jī)器人支持：包括 Universal Robots UR20、UR30 和 Boston Dynamics Spot。還有許多人形機(jī)器人，包括 1X Neo、Unitree H1、Agility Digital、Fourier Intelligence GR1、Sanctuary A1 Phoenix 和 Xiaopeng PX5。