NVIDIA IGX平臺(tái)加速實(shí)時(shí)邊緣AI應(yīng)用

實(shí)時(shí)邊緣 AI 對(duì)于醫(yī)療、工業(yè)和科學(xué)計(jì)算至關(guān)重要，因?yàn)檫@些任務(wù)關(guān)鍵型應(yīng)用需要即時(shí)數(shù)據(jù)處理、低延遲和高可靠性，以確保作出及時(shí)準(zhǔn)確的決策。這些挑戰(zhàn)不僅涉及硬件平臺(tái)上的高帶寬傳感器處理和 AI 計(jì)算，還需要企業(yè)級(jí) AI 軟件來(lái)支持整個(gè)邊緣計(jì)算軟件堆棧。

NVIDIA IGX 專(zhuān)為工業(yè)和醫(yī)療環(huán)境而設(shè)計(jì)，可為企業(yè)提供邊緣 AI 所需的性能、耐用性、安全性和保密性。借助 NVIDIA AI Enterprise 上的 GPU 加速計(jì)算，IGX 加速了各行業(yè)先進(jìn)的 AI 解決方案的開(kāi)發(fā)，并大幅降低時(shí)間和成本，使企業(yè)無(wú)需花費(fèi)數(shù)年時(shí)間設(shè)計(jì)自定義系統(tǒng)和定制 AI 模型。

在 COMPUTEX 2024 上，IGX 進(jìn)行了一次重大更新，引入生產(chǎn)就緒型 NVIDIA AI Enterprise IGX 并擴(kuò)展了 IGX 系統(tǒng)。所有相關(guān)的改進(jìn)都提供長(zhǎng)達(dá) 10 年的硬件和軟件支持，使企業(yè)能夠提供安全可靠的 AI，以支持人機(jī)協(xié)作。

NVIDIA IGX 軟件堆棧現(xiàn)已生產(chǎn)就緒

隨著 NVIDIA IGX-SW 1.0 的公開(kāi)發(fā)布，NVIDIA IGX 上的軟件堆棧現(xiàn)已投入生產(chǎn)。您還可以獲得 NVIDIA AI Enterprise IGX 的長(zhǎng)期支持，并在 NVIDIA 的支持下放心地部署您的產(chǎn)品。

為滿足對(duì)多模態(tài)生成式 AI 部署和高帶寬信號(hào)處理日益增長(zhǎng)的需求，此版本將 AI 計(jì)算能力擴(kuò)展到 1705 TOPS。相比使用板上集成 iGPU，AI 性能提升了 7 倍。借助此類(lèi)高性能 AI 計(jì)算，您可以輕松運(yùn)行要求嚴(yán)苛的 AI 任務(wù)，并支持生成式 AI 應(yīng)用。

此版本還提供一個(gè)簡(jiǎn)單易用的 Web 界面來(lái)安裝所有固件，有效簡(jiǎn)化了安裝過(guò)程：只需選擇所需的固件，然后單擊安裝按鈕。

從下載中心下載 NVIDIA IGX-SW 1.0 公開(kāi)版本，所有軟件堆棧均可免費(fèi)用于開(kāi)發(fā)和評(píng)估。

在生產(chǎn)方面，軟件堆棧由 NVIDIA AI Enterprise IGX 提供支持，并通過(guò) NVIDIA 專(zhuān)家提供企業(yè)級(jí)長(zhǎng)期支持。訂閱 NVIDIA AI Enterprise IGX 后，您可以訪問(wèn)以下選項(xiàng)：

生產(chǎn)分支：使用最新的 NVIDIA AI 堆棧，并利用最新的技術(shù)和優(yōu)化。每 6 個(gè)月發(fā)布一次新的生產(chǎn)分支，每個(gè)分支維護(hù) 9 個(gè)月。這為零售和機(jī)器人等用例提供了一個(gè)理想選擇，確保您可以引入最新的 AI 模型和生成式 AI 任務(wù)。

長(zhǎng)期支持分支：版本鎖定，維護(hù)和支持長(zhǎng)達(dá) 10 年。新的長(zhǎng)期支持分支每 2.5 年發(fā)布一次，包含新版本的堆棧。這對(duì)于醫(yī)療和科學(xué)計(jì)算等受監(jiān)管行業(yè)來(lái)說(shuō)是理想的選擇。

這兩個(gè)分支均可提供對(duì)安全漏洞、API 穩(wěn)定性、錯(cuò)誤修復(fù)的持續(xù)監(jiān)控，并由 NVIDIA 專(zhuān)家和工程師提供技術(shù)支持和及時(shí)解決問(wèn)題。有關(guān)更多信息，請(qǐng)參閱如何使用 NVIDIA AI Enterprise IGX 支持任務(wù)關(guān)鍵型邊緣 AI。

首先，將固件、操作系統(tǒng)和計(jì)算堆棧下載到 NVIDIA IGX Orin 開(kāi)發(fā)者套件。有關(guān)安裝的更多信息，請(qǐng)參閱 NVIDIA IGX 用戶指南。

要開(kāi)始使用 NVIDIA AI Enterprise IGX，請(qǐng)申請(qǐng) NVIDIA AI Enterprise IGX 軟件試用版。

專(zhuān)為醫(yī)療、工業(yè)和機(jī)器人使用而設(shè)計(jì)的企業(yè)級(jí)應(yīng)用框架

NVIDIA IGX 支持 NVIDIA 提供的所有用于邊緣的 SDK、應(yīng)用框架和工具。

圖 . IGX Orin 硬件上的 NVIDIA 應(yīng)用框架

它包括以下應(yīng)用框架：

NVIDIA Holoscan 用于從邊緣到云端的實(shí)時(shí)傳感器處理

NVIDIA Metropolis 用于構(gòu)建、部署和擴(kuò)展視覺(jué) AI 應(yīng)用

NVIDIA Isaac 用于構(gòu)建高性能機(jī)器人應(yīng)用

使用 NGC 中的預(yù)訓(xùn)練模型縮短模型開(kāi)發(fā)時(shí)間，使用合成數(shù)據(jù)生成器來(lái)創(chuàng)建用于模型訓(xùn)練的合成數(shù)據(jù)，并使用 NVIDIA TAO 工具套件快速訓(xùn)練和優(yōu)化模型，以實(shí)現(xiàn)最佳模型性能。

多模態(tài) AI 和生成式 AI 在處理非結(jié)構(gòu)化數(shù)據(jù)和多樣化環(huán)境方面變得越來(lái)越重要。

在醫(yī)療領(lǐng)域，醫(yī)療診斷、用于外科手術(shù)的 AI copilot、AI 手術(shù)機(jī)器人和用于患者護(hù)理的 AI 智能體現(xiàn)已成為可能。

在制造儀器中，可以進(jìn)行實(shí)時(shí)晶圓檢測(cè)和高帶寬傳感器處理。

在科學(xué)計(jì)算領(lǐng)域，雷達(dá)處理和射電天文學(xué)將由 AI 提供動(dòng)力。

在工業(yè)機(jī)器人領(lǐng)域，AI 將為工廠自動(dòng)化和機(jī)器人協(xié)作提供安全防護(hù)。

您可以在 Omniverse 中找到許多此類(lèi)應(yīng)用示例和生成式 AI 模型，在 /nvidia-holohub GitHub 庫(kù)中也有相關(guān)資源。

通過(guò) NVIDIA 認(rèn)證系統(tǒng)擴(kuò)展 IGX 系列

NVIDIA IGX Orin 平臺(tái)引入了一款全新產(chǎn)品—— IGX Orin 500 系統(tǒng)模塊。它為 OEM 提供了設(shè)計(jì)載板和自定義配置的靈活性，以滿足客戶需求。在不犧牲企業(yè)軟件支持的情況下，IGX Orin 500 具有與 IGX Orin 700（此前名為 IGX Orin Boardkit）相同的 iGPU、CPU、內(nèi)存和存儲(chǔ)，并且能夠通過(guò)附加 sMCU 來(lái)實(shí)現(xiàn)功能安全，適用于機(jī)器人和智能農(nóng)業(yè)應(yīng)用。

表 1. 主要特性比較

* 1705 TOPS = 248 TOPS（GPU）+1457 TOPS（dGPU）

通過(guò)使用 NVIDIA IGX Orin 500 設(shè)計(jì)指南，OEM 和 ODM 合作伙伴可以開(kāi)始進(jìn)行定制載板設(shè)計(jì)。對(duì)于所有 IGX 系統(tǒng)，OEM 完整系統(tǒng)都需要通過(guò)相同的 NVIDIA 認(rèn)證流程，以確保獲得企業(yè)級(jí)軟件支持和最佳的 AI 軟件性能。這種嚴(yán)格的測(cè)試和驗(yàn)證降低了部署可支持復(fù)雜、計(jì)算密集型生成式 AI 任務(wù)的專(zhuān)用基礎(chǔ)設(shè)施所涉及的風(fēng)險(xiǎn)和時(shí)間。