NVIDIA Isaac 平臺先進(jìn)的仿真和感知工具助力 AI 機器人技術(shù)加速發(fā)展

在ROSCon 2023 上，NVIDIA 發(fā)布了NVIDIA Isaac Robotics平臺的重大更新。該平臺可為全球機器人開發(fā)者提供高性能感知和高保真仿真，本次更新針對NVIDIA Isaac ROS 2.0和NVIDIA Isaac Sim 2023.1以及感知和仿真升級進(jìn)行了發(fā)布，用以簡化 ROS 開發(fā)者對高性能 AI 機器人應(yīng)用的構(gòu)建與測試。

開源機器人基金會首席技術(shù)官 Geoff Biggs 表示：“ROS 一直在持續(xù)發(fā)展壯大，并為整個機器人社區(qū)提供開源軟件。此次發(fā)布的 NVIDIA 全新預(yù)構(gòu)建 ROS 2 軟件包，能夠讓廣大NVIDIA Jetson開發(fā)者輕松上手 ROS 2，從而加速 ROS 的發(fā)展進(jìn)程。”

圖1. NVIDIA Isaac Robotics平臺集合了豐富的技術(shù)，將助推AI在機器人領(lǐng)域的應(yīng)用

Isaac ROS 2.0

機器人技術(shù)自主化程度日益提升，各種傳感器技術(shù)不斷涌現(xiàn)，CPU 密集型處理已經(jīng)顯示出局限性，而加速計算自然成為了克服這些瓶頸的解決方案。

為推動開發(fā)新一代機器人解決方案，ROS 社區(qū)急需加速計算能力，而 Isaac ROS 能夠滿足這一需求。除了提供一系列加速 ROS 軟件包，NVIDIA 也與 Open Robotics 密切合作，共同促進(jìn)中間件的自身效率提升。更多信息，請閱讀文章：通過 NVIDIA Isaac ROS 傳輸改善 ROS 2 應(yīng)用的感知性能

Isaac ROS 2.0 版本已經(jīng)達(dá)到了生產(chǎn)就緒水平的品質(zhì)，主要的優(yōu)化升級包括：

• 原生 ROS 2 Humble 支持：NVIDIA 提供安裝就緒型 ROS 2 Humble 軟件包，用于 Ubuntu 20.04 上運行 JetPack 5，而無需編譯源代碼。

• NITROS ROS 橋接器：將 Isaac ROS 加速擴展到 ROS Noetic 應(yīng)用，優(yōu)化后的 ROS 橋接器比標(biāo)準(zhǔn) ROS 橋接器提速 2 倍。

• CUDA NITROS：支持開發(fā)者使用帶有自定義編碼器和解碼器的 DNN 模型，以充分利用 NITROS 的加速功能。

• Stereolabs ZED 攝像機集成：Isaac ROS 現(xiàn)已與 Stereolabs ZED 相機集成。

• Nova Carter：Isaac ROS 軟件（包括 Nav 2 導(dǎo)航堆棧）現(xiàn)已支持 Nova Carter。Nova Carter 是用于機器人研發(fā)的參考 AMR，由 NVIDIA Jetson AGX Orin 驅(qū)動。

• ESS 3.0 性能：全新 ESS 3.0 深度感知 DNN 模型具有更高的準(zhǔn)確性和更強的性能。

全球開發(fā)者都可以使用 Isaac ROS 來創(chuàng)建高性能機器人解決方案，并將其應(yīng)用于農(nóng)業(yè)、倉儲自動化、最后一公里配送、服務(wù)機器人等多個領(lǐng)域。

圖2. NVIDIA Isaac ROS（NVIDIA Isaac機器人平臺的關(guān)鍵組件）中的軟件模塊

FarmX 機器人技術(shù)副總裁 Dan Hennage 表示：“NVIDIA 提供豐富的產(chǎn)品及功能，能夠完美適用于 FarmX。從 Isaac ROS 的運行環(huán)境和程序庫，到可以在無人機、大型拖拉機等載具上部署的各種模塊，NVIDIA Jetson 和 Isaac ROS 使我們專注于應(yīng)用開發(fā)，完全不必?fù)?dān)心平臺問題?！?/span>

.lumen 首席執(zhí)行官兼創(chuàng)始人 Cornel Amariei 表示：“我們研發(fā)了目前最先進(jìn)的視障輔助技術(shù)，將自動駕駛技術(shù)的應(yīng)用尺寸縮小，直到人們可以舒適地戴在頭上。實現(xiàn)這一切完全得益于 NVIDIA Jetson 平臺以及 Isaac ROS 中經(jīng)過優(yōu)化的軟件包、節(jié)點和功能。不論是視覺實時定位建模（vSLAM）還是立體感知，我們都無法通過其他平臺做到這樣的程度。”

Isaac Sim 2023.1

從制造到物流再到汽車，AI 在機器人領(lǐng)域的應(yīng)用日益廣泛，進(jìn)而加速了各行各業(yè)的自動化進(jìn)程。起初，在開發(fā)和測試用于機器人感知或控制的 AI 模型時，相關(guān)人員往往面臨數(shù)據(jù)稀缺的難題。解決這一問題的關(guān)鍵技術(shù)便是高保真仿真。

建立于NVIDIA Omniverse的機器人仿真器 Isaac Sim，可用于開發(fā)、訓(xùn)練、測試和部署 AI 機器人。其具備強大的內(nèi)置功能，包括用于生成合成數(shù)據(jù)的NVIDIA Omniverse Replicator和用于 GPU 加速強化學(xué)習(xí)的Isaac Gym等。通過最新發(fā)布的 Omniverse Replicator 1.10，開發(fā)者利用基于 YAML 的低代碼配置器和異步渲染功能，就可以提高合成數(shù)據(jù)生成能力。

此外，Isaac Sim 的精準(zhǔn)傳感器仿真適用于當(dāng)今的多數(shù)主流傳感器。Isaac Sim 還支持 ROS 和 ROS 2，也可以通過 Python 腳本進(jìn)行控制。

Isaac Sim 2023.1 提供眾多新功能與升級，以促進(jìn)基于 AI 的機器人發(fā)展，包括：

• 全新內(nèi)置機器人模型和傳感器：使用內(nèi)置機器人模型和傳感器快速入門。新機器人模型包括 FANUC 和 Techman。新傳感器包括 Orbbec、SENSING、Zvision、Ouster 和 RealSense。

• 升級的 ROS 及 ROS 2 支持：為仿真應(yīng)用創(chuàng)建自定義 ROS 和 ROS 2 消息。URDF / MJCF 導(dǎo)入器現(xiàn)已開源，便于將機器人導(dǎo)入 Isaac Sim 平臺。

• 增強的合成數(shù)據(jù)生成（SDG）支持：針對機械臂和移動機器人應(yīng)用，現(xiàn)已添加仿真隨機化功能。進(jìn)一步了解新版 Omniverse Replicator 新增的 SDG 功能，請查看:

  https://developer.nvidia.com/blog/boost-synthetic-data-generation-with-low-code-workflows-in-nvidia-omniverse-replicator-1-10/

• 倉庫構(gòu)建器模塊化 3D 資產(chǎn)：使用 SimReady 倉庫場景和資產(chǎn)，快速創(chuàng)建強大的倉庫環(huán)境，即可測試和演練機器人解決方案。

在開發(fā)機器人和自動化解決方案時，許多公司都采用“仿真先行”策略，這意味著在構(gòu)建解決方案之前，需要通過高保真仿真來驗證設(shè)計和吞吐量。

Technology Strategy 的副總裁 Jon Battles 表示：“Collaborative Robotics 深信，協(xié)作機器人與人類并肩工作的場景，將是機器人技術(shù)發(fā)展的未來圖景。我們采用了仿真優(yōu)先的開發(fā)方法，通過廣泛使用 Isaac Sim 來加快開發(fā)用時和部署節(jié)奏?！?/span>

RIOS 工程副總裁 Chris Paulson 表示：“RIOS 在構(gòu)建未來智能工廠時，對于如何設(shè)計、測試和實現(xiàn)先進(jìn)的 AI 機器人即服務(wù)（RaaS）工作單元，NVIDIA Isaac Sim 發(fā)揮著至關(guān)重要的作用。為降低項目風(fēng)險，消除新工作單元設(shè)計風(fēng)險，并針對復(fù)雜機器人任務(wù)執(zhí)行能力的開發(fā)進(jìn)行簡化，Isaac Sim 是關(guān)鍵平臺。我們面向客戶的內(nèi)部工具也是以 Isaac Sim 作為平臺，快速、高效地為客戶提供最先進(jìn)的機器人技術(shù)?！?/span>

圖3. NVIDIA Isaac Sim 2023.1新增的內(nèi)置機器人模型包括FANUC Robot Arm（左）、Fraunhofer EvoBOT（中）和Techman Cobot（右）

NVIDIA Isaac Robotics 平臺專為推動機器人領(lǐng)域的 AI 應(yīng)用而開發(fā)。最新版本的 Isaac ROS 將助力 ROS 開發(fā)者更便捷地使用 NVIDIA AI 感知技術(shù)。全新版本的 Isaac Sim 已添加眾多新功能，在虛擬世界中，開發(fā)者可以輕松開發(fā)、測試和訓(xùn)練 AI 機器人，隨后再進(jìn)行現(xiàn)實世界的部署。使用 NVIDIA Isaac ROS 和 Isaac Sim 的開發(fā)者已有數(shù)千人，歡迎加入這一行列。

更多信息，請報名參加即將舉行的 Isaac ROS 網(wǎng)絡(luò)研討會 —— Noetic 的提速需求：將 NITROS 引入 ROS：https://gateway.on24.com/wcc/experience/elitenvidiabrill/1407606/3998202/isaac-ros-webinar-series