使用 Kria SoM 部署基于邊緣的人工智能

支撐工業(yè) 4.0 的關(guān)鍵技術(shù)之一是在邊緣實施機(jī)器學(xué)習(xí)推理的能力。根據(jù)應(yīng)用程序的需要，機(jī)器學(xué)習(xí)推理可以分析遙測數(shù)據(jù)以對預(yù)測性維護(hù)進(jìn)行建模，以防止出現(xiàn)停線情況?；蛘?，應(yīng)用程序可以檢查生產(chǎn)線上制造或包裝的物品。

對生產(chǎn)線上的項目進(jìn)行目視檢查的能力需要一個能夠以高幀率（>30fps 幀/秒）運行圖像處理和機(jī)器學(xué)習(xí)算法的高性能系統(tǒng)。能夠?qū)嵤┠軌蜻M(jìn)行此類處理的解決方案也需要強(qiáng)大的功能。這正是 Xilinx 的 Xilinx ? Kria? K26 系統(tǒng)級模塊 (SoM) 和 KV260 Vision AI 入門套件等產(chǎn)品可以提供幫助的地方。

Xilinx ? Kria ? SoM 和 Vision AI 入門套件

Xilinx ? Kria ? K26 SoM及其 KV260 Vision AI 入門套件支持視覺和 AI 算法的快速原型設(shè)計。Kria K26 SoM 為設(shè)計工程師提供了一個高性能異構(gòu)系統(tǒng)，它結(jié)合了高性能 Arm ?處理器和高級可編程邏輯。這種組合允許應(yīng)用程序在處理系統(tǒng)或可編程邏輯中得到最佳實現(xiàn)。這種融合的結(jié)果是一個基于邊緣的解決方案，它提供了一個響應(yīng)迅速、確定性和節(jié)能的解決方案。

Kria 不同于傳統(tǒng)的 Xilinx 產(chǎn)品，因為它是作為 SoM 交付的。SoM 不僅結(jié)合了集成電路，還包括必要的支持易失性和非易失性存儲器、時鐘和電源。Kria K26 SoM 由 SoC (XCK26) 以及 4GB DDR4 內(nèi)存、16GB eMMC、512Mb QSPI、TPM 安全模塊和必要的電源基礎(chǔ)設(shè)施組成（圖 1）。雙 240 針連接器可分出 245 個 I/O，可輕松連接您的應(yīng)用程序。

圖 1：Xilinx Kria K26 SoM 允許設(shè)計工程師利用可編程邏輯的并行特性與高性能 Arm ?處理器內(nèi)核相結(jié)合。（來源：貿(mào)澤電子）

為幫助設(shè)計工程師著手開展工作，Xilinx提供了Kria KV260 Vision AI 入門套件。Kria KV260 Vision AI Starter Kit 包含一個用于 SoM 的載卡，它提供以下接口：

3個MIPI接口

USB 3

HDMI

顯示端口

國標(biāo)以太網(wǎng)

模式

這些接口使設(shè)計工程師能夠創(chuàng)建復(fù)雜的基于視覺的 AI 解決方案。這些解決方案可以支持從 MIPI 到 USB 攝像頭和以太網(wǎng)實時流協(xié)議 (RTSP) 以及傳統(tǒng) HDMI 和 DisplayPort 接收器的一系列視頻源和接收器。

該入門套件還附帶一系列應(yīng)用程序，展示了開始開發(fā)基于視覺的 AI 應(yīng)用程序是多么容易。這些應(yīng)用包括可以檢測人臉的智能相機(jī)；多流跟蹤和識別；缺陷檢測；和自然語言處理。Kria 開箱即用架構(gòu)的優(yōu)點之一是能夠重新編譯不同的網(wǎng)絡(luò)并替換示例網(wǎng)絡(luò)。

設(shè)計工程師可以使用 Vitis ? AI 來利用常用的 AI 開發(fā)框架，例如 Caffe、TensorFlow 和 Pytorch。Vitis AI 支持在邊緣和云端加速 AI 推理算法。Vitis AI 技術(shù)堆棧支持常用框架，并提供在 Xilinx 設(shè)備上開發(fā)和部署 ML/AI 算法所需的一切，包括 Kria K26 SoM。

Vitis AI 堆棧的核心是 Xilinx 深度學(xué)習(xí)處理器單元 (DPU)，它在可編程邏輯中實現(xiàn)，并針對卷積神經(jīng)網(wǎng)絡(luò)的實現(xiàn)進(jìn)行了優(yōu)化（圖 2）?？捎糜趯崿F(xiàn)VGG、ResNet、GoogLeNet、YOLO、SSD、MobileNet、FPN等網(wǎng)絡(luò)。

圖 2：Vitis AI Stack 工作流提供了在 Xilinx DPU 上部署深度學(xué)習(xí)推理應(yīng)用程序的過程。（來源：賽靈思）

為了利用可編程邏輯的并行特性，DPU 執(zhí)行已使用 AI 量化器量化為 int-8 的網(wǎng)絡(luò)。

在硬件中實現(xiàn) DPU 模型并使用 Vitis AI 訓(xùn)練和編譯網(wǎng)絡(luò)后，就可以使用 Vitis 開發(fā)軟件以創(chuàng)建完整的最終解決方案（圖 3）。

圖 3：Xilinx Vitis AI 部署模型圖（來源：Xilinx）

制造應(yīng)用用例

讓我們更深入地了解 Xilinx Kria SoM 如何用于制造應(yīng)用。創(chuàng)建制造應(yīng)用程序不一定需要任何可編程邏輯設(shè)計。但是，它需要軟件開發(fā)以及使用 Xilinx 的 Vitis AI 訓(xùn)練和編譯新機(jī)器學(xué)習(xí)模型的能力。

Kria K26 SoM 和 KV260 Vision 入門套件非常適合需要快速圖像處理的應(yīng)用，例如檢測標(biāo)簽是否已正確貼在生產(chǎn)線上的裝運箱上。在此示例中，設(shè)計工程師使用 Kria K26 SoM 在生產(chǎn)線上檢查包裹，并通過 Mobilenet 網(wǎng)絡(luò)正確識別盒子上標(biāo)簽的位置。可以從包含正確和錯誤標(biāo)簽位置的圖像數(shù)據(jù)集中訓(xùn)練該網(wǎng)絡(luò)（圖 4和圖 5）。

圖 4：使用 Mobilenet 網(wǎng)絡(luò)的正確標(biāo)簽位置示例（來源：貿(mào)澤電子）

圖 5：使用 Mobilenet 網(wǎng)絡(luò)的錯誤標(biāo)簽位置示例（來源：貿(mào)澤電子）

訓(xùn)練完成后，該網(wǎng)絡(luò)可以部署在 Kria K26 SoM 上，結(jié)合 Linux GStreamer 支持，實時檢查生產(chǎn)線上的包裹（圖 6）。如果檢測到貼錯標(biāo)簽的盒子，部署的應(yīng)用程序可以做出適當(dāng)?shù)捻憫?yīng)。

圖 6：Xilinx 正確識別正確標(biāo)簽的示例（來源：貿(mào)澤電子）

結(jié)論

生產(chǎn)線是快節(jié)奏的環(huán)境。在發(fā)貨前檢測制造或包裝缺陷的能力對于提高交付和客戶滿意度至關(guān)重要。然而，自動化檢測設(shè)備需要在不減慢生產(chǎn)線速度的情況下進(jìn)行處理和決策。Xilinx Kria K26 SoM 和 Kria KV260 Vision AI 入門套件等產(chǎn)品可以提供幫助。

設(shè)計工程師可以使用 Kria KV260 視覺 AI 入門套件快速開始開發(fā)視覺和 AI 原型設(shè)計解決方案并演示概念驗證。Kria K26 SoM 實現(xiàn)了設(shè)計的可移植性，從概念、原型設(shè)計到最終設(shè)計解決方案，所需的更改極少，除了與載卡的接口。

使用 Kria K26 SoM 可以降低與創(chuàng)建具有復(fù)雜異構(gòu) FPGA、存儲器和電源架構(gòu)的嵌入式系統(tǒng)解決方案相關(guān)的開發(fā)成本和風(fēng)險。通過結(jié)合 Vitis AI 堆棧和開箱即用的解決方案，Kria K26 SoM 使開發(fā)團(tuán)隊能夠通過利用可編程邏輯的高性能特性來創(chuàng)建復(fù)雜的視覺和基于 AI 的解決方案，而無需進(jìn)行可編程邏輯設(shè)計專家。

學(xué)到更多

如果您想了解有關(guān) Kria SOM 的更多信息并查看為工業(yè)應(yīng)用程序創(chuàng)建 AI 解決方案的分步演練，請參閱使用 KRIA SoM項目文章部署基于邊緣的 AI。

審核編輯黃昊宇