簡述NVIDIA Isaac的重要更新

在 2025 CES，NVIDIA 宣布了對NVIDIA Isaac的重要更新。NVIDIA Isaac 是一個(gè)由加速庫、應(yīng)用框架和 AI 模型組成的平臺，可加速 AI 機(jī)器人的開發(fā)。

NVIDIA Isaac 簡化了從仿真到實(shí)際部署的機(jī)器人系統(tǒng)開發(fā)流程。本文將聚焦 NVIDIA Isaac 的更新：

Isaac Sim

Isaac Lab

Isaac Manipulator

Isaac Perceptor

Isaac Sim 4.5 的更新

NVIDIA Isaac Sim 是一款基于NVIDIA Omniverse構(gòu)建的參考應(yīng)用程序，用于在基于物理的虛擬環(huán)境中開發(fā)、仿真和測試由 AI 驅(qū)動的機(jī)器人。

將于 1 月底推出的全新 Isaac Sim 4.5 將有一系列重大更新，包括以下內(nèi)容：

參考應(yīng)用程序模板

改進(jìn)的 URDF 導(dǎo)入和設(shè)置

改進(jìn)的物理仿真和建模

新的關(guān)節(jié)可視化工具

仿真精度和統(tǒng)計(jì)數(shù)據(jù)

NVIDIA Cosmos世界基礎(chǔ)模型

參考應(yīng)用程序模板

Isaac Sim 已被重新設(shè)計(jì)為可定制的參考應(yīng)用程序。提供了一個(gè)啟動速度更快的簡化模板，以及一個(gè)具備完整功能和所有依賴項(xiàng)的完整模板。支持根據(jù)具體需求調(diào)整應(yīng)用，無論是用于無界面應(yīng)用程序還是完整的 Isaac Sim 體驗(yàn)。

改進(jìn)的 URDF 導(dǎo)入和設(shè)置

URDF 導(dǎo)入工具有了顯著改進(jìn)。優(yōu)化用戶界面，以提供更流暢的導(dǎo)入流程，并與其他格式的導(dǎo)入方式保持一致。同時(shí)，支持單獨(dú)配置關(guān)節(jié)驅(qū)動器，導(dǎo)入后機(jī)器人即可立即使用。為了輔助關(guān)節(jié)驅(qū)動配置，還提供了基于固有頻率的調(diào)諧選項(xiàng)。

優(yōu)化的物理仿真和建模

Isaac Sim 4.5 在物理建模和仿真方面有了重大進(jìn)展。用戶可以定義和配置機(jī)器人組件之間的各種關(guān)節(jié)類型，設(shè)置諸如剛度和阻尼等參數(shù)，以微調(diào)關(guān)節(jié)行為。

新增關(guān)節(jié)可視化工具

新增的關(guān)節(jié)可視化工具可檢查選定對象的物理屬性，包括其位置、旋轉(zhuǎn)、線速度和角速度以及加速度。此外，還能優(yōu)化場景參數(shù)，如可變形表面或內(nèi)存使用情況，在運(yùn)行仿真前進(jìn)行排查。

圖 1.所選對象的各種屬性及其與其他對象的關(guān)聯(lián)

仿真精度和統(tǒng)計(jì)功能

新的剛體和關(guān)節(jié)動量守恒的實(shí)現(xiàn)，顯著提升了仿真精度。

開發(fā)者能夠可視化對象和場景的仿真統(tǒng)計(jì)數(shù)據(jù)，這些對象和場景可以相互交互，也可以完全獨(dú)立。通過查看從可變形表面到緩沖區(qū)中使用的總體內(nèi)存等不同參數(shù)，有助于在運(yùn)行仿真之前排查問題和優(yōu)化場景。

圖 2.給定場景內(nèi)的仿真統(tǒng)計(jì)數(shù)據(jù)

NVIDIA Cosmos 世界基礎(chǔ)模型

在 CES 上宣布的 NVIDIA Cosmos 平臺，結(jié)合 Isaac Sim 可生成大量可控的合成數(shù)據(jù)，可用于訓(xùn)練機(jī)器人感知系統(tǒng)。

在 Isaac Sim 中，可以通過統(tǒng)一各種數(shù)據(jù)輸入（包括 CAD、激光雷達(dá)點(diǎn)云掃描以及從諸如 Edify 3D 等 AI 模型生成的 3D 對象）來構(gòu)建適合仿真的 3D 場景。之后，通過編排和設(shè)置場景，以反映機(jī)器人必須執(zhí)行的特定任務(wù)，并渲染圖像或視頻。

Cosmos 可以攝取圖像和視頻，并輸出逼真的視頻片段，然后用于策略模型的再訓(xùn)練。

視頻 1.NVIDIA Cosmos：用于物理 AI 的世界基礎(chǔ)模型平臺

Isaac Lab 2.0 的更新

NVIDIA Isaac Lab是一個(gè)用于機(jī)器人學(xué)習(xí)以訓(xùn)練機(jī)器人策略的開源統(tǒng)一框架。Isaac Lab 基于 NVIDIA Isaac Sim 構(gòu)建，幫助開發(fā)者和研究人員更高效地構(gòu)建具備強(qiáng)大感知能力、且經(jīng)過仿真訓(xùn)練策略的智能、適應(yīng)性強(qiáng)的機(jī)器人。

本月底將推出新版 Isaac Lab 2.0，其在性能和可用性方面的改進(jìn)如下：

平鋪渲染：平鋪渲染速度提升高達(dá) 1.2 倍，它將來自同時(shí)進(jìn)行的仿真的輸出合并為一張打大圖像，而不是處理來自各個(gè)攝像頭的眾多小圖像。

用戶體驗(yàn)優(yōu)化：通過 Python 包管理器簡化安裝流程。此外，Isaac Lab 將以容器形式提供，支持在不同系統(tǒng)間無縫遷移工作負(fù)載，無需依賴底層環(huán)境。

此次 CES 上首次發(fā)布了NVIDIA Isaac GR00T Blueprint，人形機(jī)器人開發(fā)者現(xiàn)在可以利用該Blueprint，通過少量人類示范構(gòu)建自定義數(shù)據(jù)管線，生成大量合成軌跡數(shù)據(jù)。目前，GR00T Blueprint 還處于僅限受邀用戶訪問的階段。加入人形機(jī)器人開發(fā)者計(jì)劃，以便在其進(jìn)入測試版時(shí)獲取使用權(quán)限。

視頻 2.使用 NVIDIA Isaac GR00T 簡化數(shù)據(jù)收集

Isaac Manipulator 的更新

NVIDIA Isaac Manipulator基于 ROS 2 構(gòu)建，包括NVIDIA CUDA加速庫、AI 模型和參考工作流。通過這一工具，可以構(gòu)建 AI 驅(qū)動的機(jī)械臂，這些機(jī)械臂能夠感知、理解并與周圍環(huán)境進(jìn)行交互。

Isaac Manipulator 現(xiàn)在包含用于拾取和放置以及物體跟蹤的全新端到端參考工作流，能夠支持快速進(jìn)行基本的工業(yè)機(jī)械臂開發(fā)任務(wù)：

物體跟蹤：展示了機(jī)器人夾爪在避開障礙物的同時(shí)，能保持與移動物體的相對位置。

拾取和放置：展示了機(jī)器人如何在避開障礙物的情況下拾取物體并將其放置在預(yù)定區(qū)域（圖 3）。

圖 3.基于感知的拾取與放置

Isaac Sim 現(xiàn)在已經(jīng)支持以上參考工作流，無需設(shè)置物理硬件即可進(jìn)行快速測試。

開發(fā)者支持和其他改進(jìn)包括以下：

FoundationPose 的性能改進(jìn)

針對機(jī)械臂用例對 nvblox 的更新

機(jī)器人手眼校準(zhǔn)教程

基于 Isaac Sim 的工具，用于為夾爪與物體組合設(shè)置和仿真自定義抓取動作。

Isaac Perceptor 的更新

NVIDIA Isaac Perceptor 基于 ROS 2 構(gòu)建，包括一系列 NVIDIA CUDA 加速庫、AI 模型和參考工作流，用于開發(fā)自主移動機(jī)器人（AMR）。它使 AMR 能夠在諸如倉庫或工廠等非結(jié)構(gòu)化環(huán)境中進(jìn)行感知、定位和操作。

Isaac Perceptor 包含 CUDA 加速庫，如用于 3D 場景重建的 nvblox 和用于立體視覺慣性 SLAM（同時(shí)定位與地圖構(gòu)建）的 cuVSLAM，開發(fā)者可以將這些庫集成到現(xiàn)有的 AMR 工作流中。

Isaac Perceptor 的最新更新顯著提升了 AMR 在諸如倉庫等動態(tài)環(huán)境中的環(huán)境感知能力和操作效率。主要的新功能和改進(jìn)包括：

全新的端到端視覺 SLAM 參考工作流

關(guān)于使用多個(gè)攝像頭運(yùn)行 nvblox 進(jìn)行 3D 場景重建（含人員檢測和動態(tài)場景元素）的新示例

通過在多個(gè) RGB-D 相機(jī)上運(yùn)行 Isaac Perceptor 改進(jìn) 3D 場景重建

這些更新顯著提升了 3D 場景重建能力，使得在真實(shí)場景以及復(fù)雜多變的環(huán)境中，3D 場景捕捉與地圖繪制性能的精度和穩(wěn)定性都得到了提高。

圖 4.基于多攝像頭的 3D 場景重建

NVIDIA 生態(tài)系統(tǒng)合作伙伴，如奧比中光、立普思（Realsense）、StereoLabs（Zed）提供兼容的攝像頭。開發(fā)者支持還包括“使用 Isaac Perceptor 進(jìn)行建圖與定位”教程，該教程介紹如何利用 Nova 傳感器，結(jié)合 cuVGL 和 cuVSLAM 庫實(shí)現(xiàn)離線建圖功能。

生態(tài)合作伙伴的應(yīng)用情況

多個(gè)行業(yè)合作伙伴已宣布將 NVIDIA Isaac 集成到他們的平臺和解決方案中：

波士頓動力正在通過 Isaac Lab 和 NVIDIA Jetson AGX Orin，把仿真策略直接部署用于推理，從而簡化了部署過程。

為了訓(xùn)練 GR-1 和 GR-2 人形機(jī)器人，傅利葉團(tuán)隊(duì)使用 NVIDIA Isaac Gym（現(xiàn)已棄用）進(jìn)行強(qiáng)化學(xué)習(xí)。他們目前正在將其工作流遷移到 NVIDIA Isaac Lab。

Foxglove在 Isaac Sim 中開發(fā)了一個(gè)擴(kuò)展程序，可實(shí)現(xiàn)將機(jī)器人仿真數(shù)據(jù)實(shí)時(shí)可視化，并直接在 Foxglove 平臺上呈現(xiàn)。

Main Street Autonomy的 Calibration Anywhere 軟件使用 Isaac Perceptor 實(shí)現(xiàn)了傳感器校準(zhǔn)自動化，改進(jìn)了機(jī)器人的傳感器融合。

Miso Robotics使用先進(jìn)的機(jī)器人技術(shù)、Isaac Manipulator 和NVIDIA Isaac ROS實(shí)現(xiàn)了廚房任務(wù)自動化，提高了商業(yè)廚房的效率、標(biāo)準(zhǔn)化和客戶滿意度。

RGo Robotics和 NVIDIA 正在使用 Isaac Perceptor 和 Isaac ROS，通過先進(jìn)的 AI 和感知技術(shù)改造移動機(jī)器人。

Scaled Foundations作為 NVIDIA 初創(chuàng)加速計(jì)劃的成員，開發(fā)了通用機(jī)器人智能開發(fā)（GRID）平臺，這是一個(gè)先進(jìn)的基于云的平臺，可加速機(jī)器人 AI 解決方案的開發(fā)。GRID 無縫集成了 Isaac Sim 和 Isaac Lab 技術(shù)，為機(jī)器人開發(fā)者和研究人員提供了一個(gè)端到端的平臺，用于訓(xùn)練、仿真和部署他們的機(jī)器人應(yīng)用程序。想要了解更多信息，請參閱基于 GRID 平臺的 NVIDIA Isaac Sim。

Virtual Incision正在使用包括 Holoscan、IGX、Sensor Bridge、Isaac Sim 在內(nèi)的 NVIDIA 平臺，并在探索使用 Cosmos 進(jìn)行訓(xùn)練、仿真和測試，同時(shí)也在探索適用于下一代輔助機(jī)器人手術(shù)設(shè)備的推理 AI 功能。

NVIDIA 初創(chuàng)加速計(jì)劃成員、深度科技初創(chuàng)公司W(wǎng)andelbots正在利用其操作系統(tǒng) Wandelbots NOVA 構(gòu)建定制化機(jī)器人仿真，該系統(tǒng)能夠與 Isaac Sim 實(shí)現(xiàn)無縫集成。

即刻開始開發(fā)您自己的

機(jī)器人解決方案

加入 NVIDIA 開發(fā)者計(jì)劃，獲取有關(guān)其他資源和參考架構(gòu)的更新，助力實(shí)現(xiàn)開發(fā)目標(biāo)：

https://developer.nvidia.cn/developer-program

NVIDIA Cosmos 可實(shí)現(xiàn)為物理 AI 系統(tǒng)構(gòu)建自定義世界模型，其中包括用于機(jī)器人應(yīng)用的預(yù)訓(xùn)練世界基礎(chǔ)模型。

NVIDIA Isaac Lab 是一個(gè)用于機(jī)器人學(xué)習(xí)的開源統(tǒng)一框架，用于訓(xùn)練機(jī)器人策略。

NVIDIA Isaac ROS 基于開源的 ROS 2 軟件框架構(gòu)建，包含一系列加速計(jì)算庫和 AI 模型，為全球各地的 ROS 開發(fā)者帶來 NVIDIA 的加速技術(shù)。

NVIDIA Isaac Sim 基于 NVIDIA Omniverse 構(gòu)建，可以構(gòu)建基于 OpenUSD 的應(yīng)用程序，在基于物理的虛擬環(huán)境中設(shè)計(jì)、仿真、測試和訓(xùn)練基于 AI 的機(jī)器人和機(jī)器。

GTC 2025 將于2025 年 3 月 17 至 21 日在美國加州圣何塞及線上同步舉行。