使用NVIDIA Jetson Orin為邊緣AI應(yīng)用程序提供動(dòng)力

人工智能驅(qū)動(dòng)的機(jī)器人和其他自主機(jī)器的開(kāi)發(fā)和部署速度繼續(xù)快速增長(zhǎng)。下一代應(yīng)用程序需要大幅提高 AI 計(jì)算性能，以處理實(shí)時(shí)并發(fā)運(yùn)行的多模態(tài) AI 應(yīng)用程序。

在零售空間、食品配送、醫(yī)院、倉(cāng)庫(kù)、工廠車間和其他商業(yè)應(yīng)用中，人機(jī)交互正在增加。這些自主機(jī)器人必須同時(shí)執(zhí)行 3D 感知、自然語(yǔ)言理解、路徑規(guī)劃、避障、姿勢(shì)估計(jì)以及更多需要顯著計(jì)算性能和針對(duì)每個(gè)應(yīng)用程序的高度準(zhǔn)確訓(xùn)練的神經(jīng)模型的動(dòng)作。

NVIDIA Jetson AGX Orin 模塊是 NVIDIA Jetson 系列中性能最高的最新成員。這些模塊提供卓越的性能和一流的能效。它們運(yùn)行全面的 NVIDIA AI 軟件堆棧，為下一代要求嚴(yán)苛的邊緣 AI 應(yīng)用程序提供動(dòng)力。

Jetson AGX Orin 和 Jetson Orin NX 系列

在GTC 2022 春季大會(huì)上，我們宣布將在 2022 年第四季度推出四個(gè) Jetson Orin 模塊。憑借高達(dá) 275 tera 每秒操作 （TOPS） 的性能，Jetson Orin 模塊可以在邊緣運(yùn)行服務(wù)器級(jí) AI 模型，并提供端到端的服務(wù)。 -end 應(yīng)用程序管道加速。與 Jetson Xavier 模塊相比，Jetson Orin 為現(xiàn)代 AI 應(yīng)用程序帶來(lái)了更高的性能、能效和推理能力。

圖 2. Jetson Xavier 和 Jetson Orin 模塊 AI TOPS 性能比較

Jetson AGX Orin 系列包括 Jetson AGX Orin 64GB 和 Jetson AGX Orin 32GB 模塊。

Jetson AGX Orin 64GB 提供高達(dá) 275 TOPS 的功率，可配置在 15W 和 60W 之間。

Jetson AGX Orin 32GB 可提供多達(dá) 200 個(gè) TOP，功率可配置在 15W 和 40W 之間。

這些模塊具有相同的緊湊外形，并且與 Jetson AGX Xavier 系列模塊的引腳兼容，為您提供 8 倍的性能升級(jí)，或以相同的價(jià)格提升高達(dá) 6 倍的性能。

邊緣和嵌入式系統(tǒng)繼續(xù)受到越來(lái)越多的傳感器數(shù)量、性能和帶寬的驅(qū)動(dòng)。Jetson AGX Orin 系列不僅帶來(lái)了用于處理這些傳感器的額外計(jì)算，還帶來(lái)了額外的 I/O：

多達(dá) 22 個(gè) PCIe Gen4 通道

四個(gè) 10Gb 以太網(wǎng)

高速 CSI 車道

64GB eMMC 5.1 使存儲(chǔ)空間翻倍

1.5X 內(nèi)存帶寬

有關(guān)詳細(xì)信息，請(qǐng)參閱Jetson Orin產(chǎn)品頁(yè)面和Jetson AGX Orin 系列數(shù)據(jù)表。

圖 3. Jetson AGX Orin 系列模塊

USB 3.2、UFS、MGBE 和 PCIe 共享 UPHY 通道。有關(guān)支持的 UPHY 配置，請(qǐng)參閱設(shè)計(jì)指南。

NVIDIA Orin NX 系列包括具有高達(dá) 100 TOPS 的 AI 性能的 Jetson Orin NX 16GB 和高達(dá) 70 TOPS 的 Jetson Orin NX 8GB。在這個(gè)系列中，我們遵循了與 Jetson Xavier NX 類似的設(shè)計(jì)理念。我們帶來(lái)了 NVIDIA Orin 架構(gòu)，并將其帶到了最小的 Jetson 外形尺寸，260 針 SODIMM，功耗更低。

您可以將這種更高級(jí)別的性能帶入您的下一代小型產(chǎn)品，如無(wú)人機(jī)和手持設(shè)備。Jetson Orin NX 16GB 的功率可配置在 10W 和 25W 之間，Jetson Orin NX 8GB 的功率可配置在 10W 和 20W 之間。

Orin NX 系列的外形尺寸與 Jetson Xavier NX 系列兼容，可提供高達(dá) 5 倍的性能，或以相同的價(jià)格提供高達(dá) 3 倍的性能。Orin NX 系列還帶來(lái)了額外的高速 I/O 功能，多達(dá) 7 個(gè) PCIe 通道和三個(gè) 10Gbps USB 3.2 接口。對(duì)于存儲(chǔ)，您可以利用額外的 PCIe 通道連接到外部 NVMe。有關(guān)詳細(xì)信息，請(qǐng)參閱Jetson Orin產(chǎn)品頁(yè)面。

圖 4. Jetson Orin NX 系列模塊

Jetson AGX Xavier 是圍繞 NVIDIA Xavier SoC 設(shè)計(jì)的，這是我們?yōu)樽灾鳈C(jī)器從頭開(kāi)始開(kāi)發(fā)的第一個(gè)架構(gòu)。NVIDIA Orin 架構(gòu)將此類產(chǎn)品提升到一個(gè)新的水平。它繼續(xù)展示多種不同的片上處理器，但帶來(lái)了更強(qiáng)大的功能、更高的性能和更高的能效。

Jetson Orin 模塊包含以下內(nèi)容：

具有多達(dá) 2048 個(gè) CUDA 內(nèi)核和多達(dá) 64 個(gè)張量?jī)?nèi)核的 NVIDIA Ampere 架構(gòu) GPU

多達(dá) 12 個(gè) Arm A78AE CPU 內(nèi)核

兩個(gè)下一代深度學(xué)習(xí)加速器 （DLA）

計(jì)算機(jī)視覺(jué)加速器

用于卸載 GPU 和 CPU 的各種其他處理器：

視頻編碼器

視頻解碼器

視頻圖像合成器

圖像信號(hào)處理器

傳感器處理引擎

音頻處理引擎

與其他 Jetson 模塊一樣，Jetson Orin 是使用模塊上系統(tǒng) （SOM） 設(shè)計(jì)構(gòu)建的。所有處理、內(nèi)存和電源軌都包含在模塊上。所有高速 I/O 均可通過(guò) 699 針連接器（Jetson AGX Orin 系列）或 260 針 SODIMM 連接器（Jetson Orin NX 系列）獲得。這種 SOM 設(shè)計(jì)使您可以輕松地將模塊集成到您的系統(tǒng)設(shè)計(jì)中。

Jetson AGX Orin 開(kāi)發(fā)者套件

在GTC 2022上，NVIDIA 還宣布推出Jetson AGX Orin 開(kāi)發(fā)者套件。開(kāi)發(fā)人員工具包包含您快速啟動(dòng)和運(yùn)行所需的一切。它包括具有最高性能的 Jetson AGX Orin 模塊，并運(yùn)行世界上最先進(jìn)的深度學(xué)習(xí)軟件堆棧。該套件提供了在現(xiàn)在和未來(lái)創(chuàng)建復(fù)雜 AI 解決方案的靈活性。

緊湊的尺寸、高速接口和大量連接器使這款開(kāi)發(fā)工具包非常適合為制造、物流、零售、服務(wù)、農(nóng)業(yè)、智慧城市、醫(yī)療保健、生命科學(xué)等領(lǐng)域的先進(jìn)人工智能機(jī)器人和邊緣應(yīng)用進(jìn)行原型設(shè)計(jì)。

圖 5. Jetson AGX Orin 開(kāi)發(fā)者套件

Jetson AGX Orin 開(kāi)發(fā)者套件特點(diǎn)：

NVIDIA Ampere 架構(gòu) GPU 和 12 核 Arm Cortex-A78AE 64 位 CPU，以及下一代深度學(xué)習(xí)和視覺(jué)加速器

高速 I/O、204.8 GB/s 的內(nèi)存帶寬和 32 GB 的 DRAM，能夠支持多個(gè)并發(fā) AI 應(yīng)用程序管道

強(qiáng)大的 NVIDIA AI 軟件堆棧，支持 SDK 和軟件平臺(tái)，包括：

英偉達(dá)噴氣背包

英偉達(dá)里瓦

英偉達(dá) DeepStream

英偉達(dá)艾薩克

英偉達(dá)陶

Jetson AGX Orin 開(kāi)發(fā)套件運(yùn)行最新的 NVIDIA JetPack 5.0 軟件。NVIDIA JetPack 5.0 支持使用 Jetson AGX Orin 開(kāi)發(fā)工具包模擬 Jetson Orin NX 和 Jetson AGX Orin 系列模塊的性能和時(shí)鐘頻率。您可以立即開(kāi)始開(kāi)發(fā)這些模塊中的任何一個(gè)。

Jetson AGX Orin 開(kāi)發(fā)人員套件可通過(guò)全球 NVIDIA 授權(quán)經(jīng)銷商購(gòu)買。按照入門指南立即開(kāi)始。

開(kāi)發(fā)者工具包AGX 奧林 64GBAGX 奧林 32GB

人工智能性能275 個(gè) INT8 稀疏 TOP200 個(gè) INT8 稀疏 TOP

圖形處理器

具有 64 個(gè)張量核心 的 2048 核 NVIDIA 安培架構(gòu) GPU具有 56 個(gè)張量核心的 1792 核 NVIDIA Ampere 架構(gòu) GPU

中央處理器12 核 Arm Cortex-A78AE v8.2

64 位 CPU 3MB L2 + 6MB L38 核 Arm Cortex-A78AE v8.2

64 位 CPU 2MB L2 + 4MB L3

力量15W-60W15W-40W

記憶32 GB64 GB32GB

建議零售價(jià)1，999 美元1，599 美元899 美元

表 2. Jetson AGX Orin 系列模塊和 Developer Kit 的總結(jié)比較

一流的性能

Jetson Orin 為您的下一代應(yīng)用程序提供了巨大的飛躍。使用 Jetson AGX Orin 開(kāi)發(fā)人員套件，我們?yōu)槲覀兊母叨葴?zhǔn)確、生產(chǎn)就緒、預(yù)訓(xùn)練的計(jì)算機(jī)視覺(jué)和會(huì)話 AI 模型獲取了測(cè)量性能的幾何平均值。測(cè)試包括以下基準(zhǔn)：

用于人員檢測(cè)的NVIDIA PeopleNet

NVIDIA ActionRecognitionNet 2D 和 3D 模型

用于車牌識(shí)別的NVIDIA LPRNet

NVIDIA DashcamNet ， BodyPoseNet用于多人人體姿態(tài)估計(jì)

Citrinet-1024用于語(yǔ)音識(shí)別

BERT-base用于自然語(yǔ)言處理

用于文本到語(yǔ)音的FastPitchHifiGanE2E

借助 NVIDIA JetPack 5.0 開(kāi)發(fā)者預(yù)覽版，Jetson AGX Orin 與 Jetson AGX Xavier 相比，性能提升了 3.3 倍。隨著未來(lái)軟件的改進(jìn)，我們預(yù)計(jì)這將接近 5 倍的性能提升。自從 NVIDIA JetPack 4.1.1 開(kāi)發(fā)者預(yù)覽版（第一個(gè)支持它的軟件版本）以來(lái)，Jetson AGX Xavier 的性能提高了 1.5 倍。

圖 6. 預(yù)訓(xùn)練模型性能基準(zhǔn)圖表

基準(zhǔn)測(cè)試已在我們的 Jetson AGX Orin 開(kāi)發(fā)工具包上運(yùn)行。PeopleNet 和 DashcamNet 提供了可以在 GPU 和兩個(gè) DLA 上同時(shí)運(yùn)行的密集模型的示例。DLA 可用于從 GPU 卸載一些 AI 應(yīng)用程序，這種并發(fā)能力使它們能夠并行運(yùn)行。

PeopleNet、LPRNet、DashcamNet 和 BodyPoseNet 提供了在 Jetson 上運(yùn)行的密集 INT8 基準(zhǔn)測(cè)試的示例。ActionRecognitionNet 2D 和 3D 以及對(duì)話式 AI 基準(zhǔn)提供了密集 FP16 性能的示例。所有這些模型都可以在NVIDIA NGC上找到。

此外，Jetson Orin 繼續(xù)提高邊緣 AI 的標(biāo)準(zhǔn)，在最新的 MLPerf 行業(yè)推理基準(zhǔn)測(cè)試中進(jìn)一步提升了 NVIDIA 的整體排名。與之前在 Jetson AGX Xavier 上的結(jié)果相比，Jetson AGX Orin 在這些 MLPerf 基準(zhǔn)測(cè)試中的性能提升高達(dá) 5 倍，同時(shí)平均能效提高 2 倍。

圖 7. Jetson AGX Orin 性能

使用 Jetson 軟件加快上市時(shí)間

Jetson Orin 一流的性能和能效得到了同樣強(qiáng)大的 NVIDIA AI 軟件的支持，該軟件部署在 GPU 加速的數(shù)據(jù)中心、超大規(guī)模服務(wù)器和強(qiáng)大的 AI 工作站中。

圖 8. Jetson 軟件概覽

NVIDIA JetPack是 Jetson 平臺(tái)的基礎(chǔ) SDK。NVIDIA JetPack 為硬件加速的邊緣 AI 開(kāi)發(fā)提供了完整的開(kāi)發(fā)環(huán)境。Jetson Orin 受 NVIDIA JetPack 5.0 支持，其中包括：

LTS 內(nèi)核 5.10

基于 Ubuntu 20.04 的根文件系統(tǒng)

基于 UEFI 的引導(dǎo)加載程序

具有 CUDA 11.4、TensorRT 8.4 和 cuDNN 8.3 的最新計(jì)算堆棧

NVIDIA JetPack 5.0 還支持 Jetson Xavier 模塊。

為了您在 Jetson 平臺(tái)上快速開(kāi)發(fā)完全加速的應(yīng)用程序，NVIDIA 提供了適用于各種用例的應(yīng)用程序框架：

借助DeepStream，快速開(kāi)發(fā)和部署視覺(jué) AI 應(yīng)用程序和服務(wù)。DeepStream 提供了超越推理的硬件加速，因?yàn)樗峁┝擞糜诙说蕉?AI 管道加速的硬件加速插件。

NVIDIA Isaac提供硬件加速的 ROS 軟件包，使 ROS 開(kāi)發(fā)人員能夠更輕松地構(gòu)建高性能機(jī)器人解決方案。

由 Omniverse 提供支持的NVIDIA Isaac Sim是一種工具，它支持照片般逼真、物理上精確的虛擬環(huán)境，以開(kāi)發(fā)、測(cè)試和管理基于 AI 的機(jī)器人。

NVIDIA Riva為自動(dòng)語(yǔ)音識(shí)別 （ASR） 和文本轉(zhuǎn)語(yǔ)音 （TTS） 提供最先進(jìn)的預(yù)訓(xùn)練模型，這些模型可以輕松定制。這些模型使您能夠快速開(kāi)發(fā) GPU 加速的對(duì)話式 AI 應(yīng)用程序。

為了加快開(kāi)發(fā)可用于生產(chǎn)且高度準(zhǔn)確的 AI 模型的時(shí)間，NVIDIA 提供了各種工具來(lái)生成訓(xùn)練數(shù)據(jù)、訓(xùn)練和優(yōu)化模型，并快速創(chuàng)建可部署的 AI 模型。

用于合成數(shù)據(jù)生成的NVIDIA Omniverse Replicator有助于創(chuàng)建高質(zhì)量數(shù)據(jù)集以促進(jìn)模型訓(xùn)練。使用 Omniverse Replicator，您可以創(chuàng)建大型且多樣化的合成數(shù)據(jù)集，這不僅很難，而且有時(shí)在現(xiàn)實(shí)世界中是不可能創(chuàng)建的。使用合成數(shù)據(jù)和真實(shí)數(shù)據(jù)來(lái)訓(xùn)練模型，可以顯著提高模型的準(zhǔn)確性。

NGC 的NVIDIA 預(yù)訓(xùn)練模型為您提供適用于各種用例的高度準(zhǔn)確和優(yōu)化的模型和模型架構(gòu)。預(yù)訓(xùn)練模型可用于生產(chǎn)。您可以通過(guò)使用您自己的真實(shí)或合成數(shù)據(jù)進(jìn)行訓(xùn)練來(lái)進(jìn)一步自定義這些模型，使用NVIDIA TAO（訓(xùn)練-適應(yīng)-優(yōu)化）工作流程快速構(gòu)建準(zhǔn)確且可立即部署的模型。

關(guān)于作者

Leela Karumbunathan 是 NVIDIA 的硬件產(chǎn)品經(jīng)理，專注于 Jetson 和自主機(jī)器。她曾在半導(dǎo)體行業(yè)擔(dān)任過(guò)工程和產(chǎn)品相關(guān)職位。她在約翰霍普金斯大學(xué)獲得電氣工程學(xué)士學(xué)位。

Suhas Sheshadri 是 NVIDIA 的產(chǎn)品經(jīng)理，專注于 Jetson 軟件。他之前曾在 NVIDIA 的自動(dòng)駕駛團(tuán)隊(duì)工作，為 NVIDIA Drive 平臺(tái)優(yōu)化系統(tǒng)軟件。在空閑時(shí)間，Suhas 喜歡閱讀有關(guān)量子物理學(xué)和博弈論的書(shū)籍。

審核編輯：郭婷