NVIDIA Jetson Orin Nano的性能基準

在本次 GTC 大會上，NVIDIA 發(fā)布了Jetson Orin Nano系列的系統(tǒng)級模組（SoM）。其 AI 性能是 NVIDIA Jetson Nano 的 80 倍，成為入門級邊緣 AI 和機器人技術(shù)的新基準。

Jetson 系列首次包括基于 NVIDIA Orin 的模組，從入門級的 Jetson Orin Nano 到最高性能的 Jetson AGX Orin，使客戶能夠靈活地輕松擴展其應(yīng)用程序。

借助 Jetson AGX Orin 開發(fā)者工具套件提供的完整軟件仿真支持，可以立即啟動您的 Jetson Orin Nano 開發(fā)。

各行業(yè)的日常用例對提高實時處理能力的需求繼續(xù)增長。入門級 AI 應(yīng)用程序，如智能相機、手持設(shè)備、服務(wù)機器人、智能無人機、智能儀表等，都面臨著類似的挑戰(zhàn)。

這些應(yīng)用需要在設(shè)備上對來自其多模態(tài)傳感器工作流的數(shù)據(jù)進行更多的低延遲處理，同時保持在高能效、成本優(yōu)化的小尺寸的范圍內(nèi)。

Jetson Orin Nano 系列

Jetson Orin Nano 系列量產(chǎn)級模組將于 1 月份上市，售價 199 美元起。這些模組以最小的 Jetson 外形尺寸提供高達 40 TOPS 的 AI 性能，功率選項低至 5W，高達 15W。該系列有兩個不同的版本：Jetson Orin Nano 4GB 和 Jetson Orin Nano 8GB。

圖 1 Jetson Orin Nano 架構(gòu)分析框圖 * Jetson Orin Nano 8GB 的 NVIDIA Orin 架構(gòu)，Jetson Orin Nano 4GB 有 2 個 TPC 和 4 個 SM

如圖 1 所示，Jetson Orin Nano 展示了帶有 NVIDIA Ampere 架構(gòu) GPU 的 NVIDIA Orin 架構(gòu)。它有多達 8 個流式多處理器（ SM ），由 1024 個 CUDA 核和多達 32 個用于 AI 處理的Tensor Core組成。

NVIDIA Ampere 架構(gòu)第三代 Tensor Core 的每瓦特性能優(yōu)于前一代，并通過對稀疏性的支持帶來更高的性能。通過稀疏性，您可以利用深度學(xué)習(xí)網(wǎng)絡(luò)中的細粒度結(jié)構(gòu)化稀疏性，將 Tensor Core 操作的吞吐量提高一倍。

為了加速應(yīng)用程序工作流的所有部分，Jetson Orin Nano 還包括一個 6 核 Arm Cortex-A78AE CPU、視頻解碼引擎、ISP、視頻圖像合成器、音頻處理引擎和視頻輸入塊。

Jetson Orin Nano 模塊占地面積小，僅有 70 x 45mm，260 針 SODIMM，包含了各種高速接口：

多達七條 PCIe Gen3 通道

三個高速 10 Gbps USB 3.2 Gen2 端口

八通道的 MIPI CSI-2 攝像頭端口

各種傳感器 I / O

為了減少您的工程工作量，我們已使 Jetson Orin Nano 和 Jetson Orin NX 模塊完全與引腳和外形尺寸兼容。表 1 顯示了 Jetson Orin Nano 4GB 和 Jetson Orin Nano 8GB 之間的差異。

表 1 Jetson Orin Nano 系列規(guī)格 * 有關(guān) DisplayPort 1.4a 和 HDMI 2.1 以及虛擬通道的其他兼容性的更多信息，請參閱 Jetson Orin Nano 系列數(shù)據(jù)表。 ? 1KU 容量

立即使用 Jetson AGX Orin 開發(fā)者套件和仿真

開啟您的開發(fā)流程

Jetson AGX Orin 開發(fā)者套件和所有 Jetson Orin 模組共享一個 SoC 架構(gòu)，讓開發(fā)者工具套件能夠模擬任何模塊，使您能夠輕松開始開發(fā)下一個產(chǎn)品。

在開始將其應(yīng)用程序移植到新的 NVIDIA Orin 體系結(jié)構(gòu)和最新的NVIDIA JetPack之前，您無需等待 Jetson Orin Nano 硬件正式上線。通過新發(fā)布的覆蓋層，你可以用開發(fā)工具套件模擬Jetson Orin Nano模塊，就像使用其他Jetson Orin模塊一樣。通過將開發(fā)者套件配置為模擬Jetson Orin Nano 8GB或Jetson Orin Nano 4GB，用戶可以開發(fā)并運行全部應(yīng)用程序工作流。

圖 2 模擬所有六個 Jetson Orin 模組

Jetson Orin Nano 的性能基準

憑借 Jetson AGX Orin，NVIDIA 在 MLPerf 的推理性能類別中處于領(lǐng)先地位。Jetson Orin 模組為您的下一代應(yīng)用程序提供了巨大飛躍，現(xiàn)在入門級 AI 設(shè)備也可以使用相同的 NVIDIA Orin 架構(gòu)。

我們使用 NVIDIA JetPack 5.0.2 的仿真模式運行 Jetson Orin Nano 的計算機視覺基準測試，結(jié)果顯示了它是如何設(shè)置新標準的。測試包括來自 NGC 的一些密集 INT8 和 FP16 預(yù)處理模型，以及標準 ResNet-50 模型。我們還在 Jetson Nano、TX2 NX 和 Xavier NX 上運行相同的模型進行比較。

以下是基準的完整列表：

NVIDIA PeopleNet v2.3 用于修剪人員檢測，NVIDIA PeopleNet v2.5 用于最高精度的人員檢測

NVIDIA ActionRecognitionNet 二維和三維模型

NVIDIA LPRNet 用于車牌識別

NVIDIA DashCamNet，BodyPoseNet 用于多人人體姿勢估計

ResNet-50（224 × 224）模型

圖 3 Jetson Orin Nano 系列基準編號

圖 4 Jetson Orin Nano 系列基準圖

以這些基準的平均值來看，Jetson Orin Nano 8GB 的性能比 Jetson Nano 提高了 30 倍。隨著未來軟件的改進，我們預(yù)計性能將提高 45 倍。其他 Jetson 設(shè)備自其第一個支持軟件發(fā)布以來，性能提高了 1.5 倍，我們預(yù)計 Jetson Orin Nano 也會如此。

Jetson 運行 NVIDIA AI 軟件堆棧，并提供特定于用例的應(yīng)用程序框架，包括用于機器人的NVIDIA Isaac、用于視覺 AI 的NVIDIA DeepStream和用于會話 AI 的NVIDIA Riva。使用NVIDIA Omniverse Replicator可以節(jié)省大量時間用于合成數(shù)據(jù)生成（SDG），使用NVIDIA TAO 工具套件可以節(jié)省大量的時間用于微調(diào) NGC 目錄中的預(yù)處理 AI 模型。

Jetson 與整個 NVIDIA AI 加速計算平臺的兼容性使開發(fā)和無縫遷移變得容易。

使用 NVIDIA Isaac ROS 增強入門級機器人

Jetson Orin 平臺旨在解決最棘手的機器人挑戰(zhàn)，為 70 多萬名 ROS 開發(fā)人員帶來加速計算。結(jié)合 Jetson Orin Nano 強大的硬件功能，最新的NVIDIA Isaac軟件中針對 ROS 的增強功能為機器人專家提供了卓越的性能和生產(chǎn)力。

新的 Isaac ROS DP 版本優(yōu)化了可以在 Jetson Orin 平臺上執(zhí)行的 ROS2 節(jié)點處理工作流，并提供了新的基于 DNN 的 GEMS，旨在提高吞吐量。Jetson Orin Nano 可以利用那些高度優(yōu)化的 ROS 2 packages 執(zhí)行定位、實時 3D 重建和深度估計等任務(wù)，這些任務(wù)可用于避障。

與只能處理簡單應(yīng)用程序的原始 Jetson Nano 不同，Jetson Orin Nano 可以運行更復(fù)雜的應(yīng)用程序。隨著不斷致力于提高 NVIDIA Isaac ROS，您將看到 Jetson Orin 平臺的精確度和吞吐量隨著時間的推移而不斷提高。

對于開發(fā)下一代服務(wù)機器人、智能無人機等的機器人專家來說，Jetson Orin Nano 是一種理想的解決方案，它具有高達 40 個 TOPS，可在節(jié)能和小尺寸的情況下實現(xiàn)現(xiàn)代 AI 推理工作流。

審核編輯：湯梓紅