NVIDIA Jetson Orin Nano開發(fā)者套件的新功能

生成式 AI 領(lǐng)域正在迅速發(fā)展，每天都有新的大語言模型（LLM）、視覺語言模型（VLM）和視覺語言動作模型（VLA）出現(xiàn)。為了在這一充滿變革的時代保持領(lǐng)先，開發(fā)者需要一個足夠強大的平臺將云端的最新模型無縫部署到邊緣，從而獲得基于 CUDA 的優(yōu)化推理性能和開放式機器學(xué)習(xí)（ML）框架。

為了支持機器人和多模態(tài)智能體領(lǐng)域的新興生成式 AI 工作負載應(yīng)用，NVIDIA 以軟件升級的方式對NVIDIA Jetson Orin Nano開發(fā)者套件進行了升級，其性能史無前例地提升至 1.7 倍。目前建議零售價僅為 2070 人民幣。鑒于 AI 性能和易訪問性的大幅提升，Jetson Orin Nano 開發(fā)者套件已更名為NVIDIA Jetson Orin Nano Super開發(fā)者套件。

Jetson Orin Nano 開發(fā)者套件只需通過軟件升級，即可升級為 Jetson Orin Nano Super 開發(fā)者套件。

本文將詳細介紹該開發(fā)者套件的新功能，以及開發(fā)者能夠如何充分利用這一更強大的性能。

全新 Jetson Orin Nano Super

開發(fā)者套件

全新 Jetson Orin Nano Super 開發(fā)者套件做出了以下改進：

生成式 AI 性能提升至 1.7 倍

稀疏計算性能從之前的 40 TOPS 大幅提升至 67 TOPS

內(nèi)存帶寬從之前的 65 GB/s 大幅提升至 102 GB/s

CPU 時鐘頻率從 1.5 GHz 提升至 1.7 GHz

目前建議零售價為 2070 人民幣

視頻 1. NVIDIA Jetson Orin Nano Super 介紹：

高性價比的生成式 AI 計算機

在保持硬件架構(gòu)不變的前提下，通過提高 GPU、內(nèi)存和 CPU 的時鐘頻率，即可實現(xiàn)性能提升。之前所有的 Jetson Orin Nano 開發(fā)者套件都可以通過升級到最新版本的JetPack，實現(xiàn)性能提升。

憑借這一性能升級，Jetson Orin Nano Super 開發(fā)者套件的生成式 AI 性能提升了 70%，能夠支持運行最新的基于 Transformer 的模型。這一套件尺寸小巧但是性能強大，可以輕松處理各種 LLM、VLM 和視覺 Transformer（ViT），無論是較小的模型還是參數(shù)多達 8B 的模型（例如 Llama-3.1-8B 模型）都不例外。

Jetson 所支持的 ML 框架和優(yōu)化推理基礎(chǔ)架構(gòu)與其他平臺相同，例如 HuggingFace Transformer、Ollama、llama.cpp、vLLM、MLC、NVIDIA TensorRT-LLM 等。因此，Jetson 非常適合用于在云、邊緣和 PC 之間快速調(diào)整和部署可擴展的理想解決方案。

Jetson Orin Nano Super

開發(fā)者套件配置

表 1. Jetson Orin Nano Super 開發(fā)者套件配置比較

運行各種 LLM、VLM 和 ViT

NVIDIA Jetson Orin Nano Super 開發(fā)者套件實現(xiàn)了性能的顛覆性突破，對于將生成式 AI 帶入嵌入式應(yīng)用，或者在高性價比的計算機中使用最前沿的生成式 AI 模型，它都將是理想的選擇。

LLM、VLM 和 視覺 Transformer（ViT）是推動各個領(lǐng)域創(chuàng)新的變革性 AI 架構(gòu)?；A(chǔ) LLM 擅長通用語言處理和類人文本生成，結(jié)合NVIDIA Riva等流式語音識別和合成管線，可實現(xiàn)自然的人機交互界面。

小語言模型（SLM）通過剪枝和蒸餾等技術(shù)迅速實現(xiàn)性能提升，發(fā)展到可與大模型媲美的程度。這些模型專門針對邊緣計算場景優(yōu)化，其參數(shù)規(guī)模一般不超過 7B。

如今，開放式 LLMs 和 SLMs 普遍被訓(xùn)練用于智能體工具的使用和結(jié)構(gòu)化 I/O 函數(shù)的調(diào)用，這使得 LLM 的解析和推理能力能夠接入現(xiàn)實系統(tǒng)。

包括NVIDIA NeMo在內(nèi)的許多 ML 框架對 LLM 的微調(diào)和內(nèi)存高效的 LoRAs 的支持也有所提升，這為特定應(yīng)用領(lǐng)域 SLMs 的對齊和專業(yè)化提供了明確的指導(dǎo)。

ViT 通過將像素片段標記化為嵌入式內(nèi)容，充分發(fā)揮出 Transformer 在視覺方面的強大功能。它們在各種基本任務(wù)中都具有領(lǐng)先的性能，包括：

特征提取

分類

檢測

分割

位姿估計

它們還可通過NVIDIA Cosmos標記器擴展到 3D 點云和視頻等更高維度的模式。ViT 推動了創(chuàng)造性的新型混合模型的發(fā)展，這些模型將定制的視覺功能與開放詞匯語言支持以及對各種主題和對象類別的動態(tài)運行時查詢相結(jié)合，而無需額外的微調(diào)。

VILA 等 VLM 通過融合各種視覺和文本模式的 ViT 和 LLM，使模型能夠理解和生成詳細的場景描述、檢測感興趣的對象并使用 OCR 提取文本。它們可以使用多模態(tài)推理響應(yīng)用戶對圖像或視頻序列的查詢。

在經(jīng)過了與 SLM 類似的微縮化處理后，VLM 在邊緣應(yīng)用中的作用越來越大，并且憑借靈活的事件觸發(fā)警報和摘要功能，而被用于遠程監(jiān)控攝像頭的數(shù)據(jù)流，比如在 Jetson 平臺服務(wù)的 VLM 參考工作流中。

這些技術(shù)共同推動著生成式 AI 和多模態(tài)系統(tǒng)以及現(xiàn)實應(yīng)用的進步。全新 NVIDIA Jetson Orin Nano Super 大幅提升了各種 LLM、SLM、ViT 和 VLM 的性能，并且大大降低了作為物理 AI 入口的最新 Transformer 模型的入門門檻。我們對一些常用的 LLM、VLM 和 ViT 進行了基準測試，并展示了 Jetson Orin Nano Super 開發(fā)者套件較前代產(chǎn)品所帶來的速度提升。

圖 1. LLM 在 Jetson Orin Nano Super

開發(fā)者套件上的性能提升情況

表 2. 常用 LLM 的基準測試性能（tokens/s）

*使用 MLC API 并經(jīng)過 INT4 量化的 LLM 生成性能（tokens/s）。

圖 2. VLM 在 NVIDIA Jetson Orin Nano Super

開發(fā)者套件上的性能提升情況

表 3. 常用 VLM 的基準測試性能（tokens/s）

*所有 VILA 和 LLAVA 模型均使用 MLC 以 INT4 精度運行，

其余模型使用 Hugging Face Transformer 以 FP4 精度運行。

圖 3. ViT 在 NVIDIA Jetson Orin Nano Super

開發(fā)者套件上的性能提升情況

表 4. 常用視覺 Transformer 的 基準測試性能（幀/秒）

*所有 ViT 模型均使用 NVIDIA TensorRT 以 FP16 精度運行（單位：幀/秒）。

開始使用

Jetson Orin Nano Super 開發(fā)者套件

如要升級性能，請在JetPack SDK頁面下載 SD 卡鏡像，并按照入門指南進行操作。

NVIDIA 發(fā)布了基于JetPack 6.1的 SD 卡鏡像以升級性能。您也可以使用 SDK 管理器為 Jetson Orin Nano 開發(fā)者套件安裝升級性能后的 JetPack 6.1。請確認已更新 SDK 管理器，并在安裝時選擇 JetPack 6.1 (rev. 1)。

啟動并運行 JetPack 后，使用以下命令更改性能模式以獲得超強性能。模式 2 是具有超強性能的 MAXN 模式。

sudo nvpmodel -m 2

您也可以使用 Ubuntu 桌面頂欄右側(cè)的性能模式選擇器更改性能模式。

圖 4. 性能模式選擇工具

在 Jetson Orin Nano Super

開發(fā)者套件上體驗生成式 AI

NVIDIA 在 Jetson AI Lab 中提供了一系列教程和預(yù)構(gòu)建容器，便于您在 Jetson Orin Nano 開發(fā)者套件上探索生成式 AI。如果您對機器人感興趣，可以瀏覽 LeRobot 教程。如果您想要創(chuàng)建生成式 AI 聊天機器人，我們也提供了專門的創(chuàng)建教程。

Hugging Face LeRobot

NVIDIA 與 Hugging Face 合作，共同加速 LeRobot 開放式 AI 平臺上的機器人研究。您可以在 Jetson Orin Nano Super 開發(fā)者套件上運行 HuggingFace LeRobot，該平臺所運行的生成式 AI 模型能夠根據(jù)視覺輸入和先前軌跡預(yù)測特定任務(wù)的行動。

圖 5. 在 Jetson Orin Nano 開發(fā)者套件上

運行的 HuggingFace LeRobot

使用 Ollama 構(gòu)建生成式 AI

驅(qū)動的聊天機器人

使用帶有 Open WebUI 的 Ollama 構(gòu)建一個生成式 AI 聊天機器人，并在 Jetson Orin Nano Super 開發(fā)者套件上運行。Open WebUI 是一個被廣泛使用的開源聊天機器人服務(wù)器接口，可對接本地運行的 LLM。這樣，該聊天機器人就可以使用檢索增強生成（RAG）進一步增強用戶體驗和功能。

圖 6. 在 Jetson Orin Nano Super 開發(fā)者套件上

運行的生成式 AI 聊天機器人

通過 Jetson AI Lab 推動

生成式 AI 的發(fā)展

Jetson AI Lab讓您能夠集中探索和嘗試專為邊緣設(shè)備優(yōu)化的最新生成式 AI 技術(shù)。

通過建立一個開放協(xié)作和社區(qū)引導(dǎo)的環(huán)境，NVIDIA 與開發(fā)者和合作伙伴攜手推進開源邊緣 AI 和機器人學(xué)習(xí)的發(fā)展。我們的 Jetson 設(shè)備全面支持常用的機器學(xué)習(xí)框架和經(jīng)過優(yōu)化的推理微服務(wù)，您可以在 Jetson 計算機上快速構(gòu)建和部署最新的創(chuàng)新研究成果和模型，跟上日新月異的創(chuàng)新步伐。

圖 7 所示的是 NanoOWL 開放詞匯實時對象檢測 ViT 的示例。

圖 8 所示的是具有交互式 txt2img 和 img2img 相似性搜索功能的 NanoDB 多模態(tài)矢量數(shù)據(jù)庫。

Jetson AI Lab 提供了近 50 個簡單易學(xué)的教程和預(yù)構(gòu)建容器，讓任何經(jīng)驗水平的開發(fā)者都能快速開始使用設(shè)備端的 LLM、SLM 和多模態(tài) VLM 以及各種 VLA、擴散策略和語音模型變體。雖然它們都部署在本地，但卻具有與云端相同的優(yōu)化推理基礎(chǔ)設(shè)施。

Jetson AI Lab 的協(xié)作式社區(qū)引導(dǎo)型教程和資源大大降低了在邊緣部署先進生成式 AI 的門檻。

所有 Jetson Orin Nano

和 Jetson Orin NX 系列模組

均可實現(xiàn)超強性能升級

NVIDIA 還升級了整個Jetson Orin Nano系列和Jetson Orin NX系列的性能。無論是小型 AI 攝像頭，還是大型自主機器，所有邊緣設(shè)備都需要算力來運行生成式 AI 模型。

在相同的模塊硬件上，您可以使用不同模塊實現(xiàn)最高 1.7 倍的性能提升。

Orin Nano系列：提高 GPU、CPU 和內(nèi)存上的頻率和性能。

Orin NX 系列：提高 GPU 和 DLA 的性能。

表 5. Jetson Orin Nano Super

和 Orin NX Super 模組規(guī)格

適用于 Jetson Orin Nano 和 Orin NX 模組的性能升級支持和文檔將于 1 月上半月隨JetPack 6.1.1一起發(fā)布。

由于客戶對 Orin 的需求日益增長，NVIDIA 最近還宣布將 Jetson Orin 的產(chǎn)品生命周期延長至 2032 年底。憑借此次超強性能升級，Orin Nano 系列和 Orin NX 系列已成為當(dāng)前和未來模型的理想平臺。

即刻開始您的生成式 AI 開發(fā)工作

Jetson Orin Nano Super 開發(fā)者套件是引領(lǐng)邊緣計算生成式 AI 開發(fā)的最佳平臺。即刻開始您的開發(fā)工作，加入這個由高級開發(fā)者和研究者所組成的充滿活力的多元化社區(qū)，和 NVIDIA 一起使用物理 AI 解決現(xiàn)實世界的挑戰(zhàn)。

現(xiàn)有 Jetson Orin Nano 開發(fā)者套件用戶，即刻就可以升級您的 JetPack SDK 以提升性能。