利用設(shè)計(jì)網(wǎng)關(guān)的 IP 內(nèi)核在 Xilinx VCK190 評(píng)估套件上加速人工智能應(yīng)用

Xilinx 的 Versal AI Core 系列器件旨在通過(guò)使用高計(jì)算效率的 ASIC 級(jí) AI 計(jì)算引擎和靈活的可編程結(jié)構(gòu)來(lái)解決 AI 推理的獨(dú)特和最困難的問(wèn)題，以構(gòu)建具有加速器的 AI 應(yīng)用程序，最大限度地提高任何給定的效率工作負(fù)載，同時(shí)提供低功耗和低延遲。

Versal AI Core 系列VCK190 評(píng)估套件采用VC1902 器件，該器件在產(chǎn)品組合中具有最佳的 AI 性能。該套件適用于需要高吞吐量 AI 推理和信號(hào)處理計(jì)算性能的設(shè)計(jì)。提供比當(dāng)前服務(wù)器級(jí) CPU 高 100 倍的計(jì)算能力并具有多種連接選項(xiàng)，使 VCK190 套件成為從云端到邊緣的各種應(yīng)用程序的理想評(píng)估和原型設(shè)計(jì)平臺(tái)。

圖 1：Xilinx Versal AI Core 系列 VCK190 評(píng)估套件。(圖片來(lái)源：AMD 公司)

VCK190 評(píng)估套件的主要特性

板載 Versal AI 核心系列設(shè)備

配備 Versal ACAP XCVC1902 量產(chǎn)芯片

AI 和 DSP 引擎提供比當(dāng)今服務(wù)器級(jí) CPU 高 100 倍的計(jì)算性能

用于快速原型制作的預(yù)建合作伙伴參考設(shè)計(jì)

用于前沿應(yīng)用程序開(kāi)發(fā)的最新連接技術(shù)

內(nèi)置 PCIe? Gen4 Hard IP，用于 NVMe SSD 和主機(jī)處理器等高性能設(shè)備接口

內(nèi)置 100G EMAC Hard IP，用于高速 100G 網(wǎng)絡(luò)接口

DDR4 和 LPDDR4 內(nèi)存接口

共同優(yōu)化的工具和調(diào)試方法

Vivado? ML、Vitis? 統(tǒng)一軟件平臺(tái)、Vitis AI、用于 AI 推理應(yīng)用程序開(kāi)發(fā)的 AI Engine 工具

使用 Xilinx 的 Versal AI Core 系列器件實(shí)現(xiàn) AI 接口加速

圖 2：Xilinx Versal AI Core VC1902 ACAP 器件框圖。(圖片來(lái)源：AMD 公司)

Versal? AI Core 自適應(yīng)計(jì)算加速平臺(tái) (ACAP) 是一款高度集成的多核異構(gòu)設(shè)備，可在硬件和軟件層面動(dòng)態(tài)適應(yīng)各種 AI 工作負(fù)載，是 AI 邊緣計(jì)算應(yīng)用或云加速器的理想選擇牌。該平臺(tái)集成了用于嵌入式計(jì)算的下一代標(biāo)量引擎、用于硬件靈活性的自適應(yīng)引擎，以及由 DSP 引擎和用于推理和信號(hào)處理的革命性 AI 引擎組成的智能引擎。其結(jié)果是一個(gè)適應(yīng)性強(qiáng)的加速器，在 AI/ML 工作負(fù)載方面超越了傳統(tǒng) FPGA 和 GPU 的性能、延遲和能效。

Versal ACAP 平臺(tái)亮點(diǎn)

自適應(yīng)引擎：

自定義內(nèi)存層次結(jié)構(gòu)優(yōu)化加速器內(nèi)核的數(shù)據(jù)移動(dòng)和管理

預(yù)處理和后處理功能，包括神經(jīng)網(wǎng)絡(luò) RT 壓縮和圖像縮放

人工智能引擎 (DPU)

向量處理器的平鋪陣列，XCVC1902 設(shè)備的性能高達(dá) 133 INT8 TOPS，稱為深度學(xué)習(xí)處理單元或 DPU

適用于 CNN、RNN 和 MLP 等神經(jīng)網(wǎng)絡(luò);硬件適用于優(yōu)化不斷發(fā)展的算法

標(biāo)量引擎

四核 ARM 處理子系統(tǒng)，用于安全、電源和比特流管理的平臺(tái)管理控制器

VCK190 AI推理性能

與當(dāng)前服務(wù)器級(jí) CPU 相比，VCK190 能夠提供超過(guò) 100 倍的計(jì)算性能。下面是基于 C32B6 DPU Core 的 AI Engine 實(shí)現(xiàn)的性能示例，batch = 6。請(qǐng)參閱下表了解 VCK190 上各種神經(jīng)網(wǎng)絡(luò)樣本的吞吐量性能(以幀/秒或 fps 為單位)，DPU 在 1250 下運(yùn)行兆赫茲。

表 1：VCK190 AI 推理性能示例。

查看 Vitis AI 庫(kù)用戶指南 (UG1354) r2.5.0 中的 VCK190 AI 性能的更多詳細(xì)信息，網(wǎng)址為https://docs.xilinx.com/r/en-US/ug1354-xilinx-ai-sdk/VCK190-Evaluation-Board

Design Gateway 的 IP 核如何加速 AI 應(yīng)用性能?

Design Gateway 的 IP 核旨在處理網(wǎng)絡(luò)和數(shù)據(jù)存儲(chǔ)協(xié)議，無(wú)需 CPU 干預(yù)。這使得完全卸載 CPU 系統(tǒng)的復(fù)雜協(xié)議處理成為理想之選，并使它們能夠?qū)⒋蟛糠钟?jì)算能力用于 AI 應(yīng)用程序，包括 AI 推理、前后數(shù)據(jù)處理、用戶界面、網(wǎng)絡(luò)通信和數(shù)據(jù)存儲(chǔ)訪問(wèn)，以實(shí)現(xiàn)最佳性能表現(xiàn)。

圖 3：具有 Design Gateway 的 IP 核的 AI 應(yīng)用示例框圖。(圖片來(lái)源：Design Gateway)

Design Gateway 的 TCP 卸載引擎 IP (TOExxG-IP) 性能

傳統(tǒng) CPU 系統(tǒng)處理超過(guò) 10GbE 或 25GbE 的高速、高吞吐量 TCP 數(shù)據(jù)流需要超過(guò) 50% 的 CPU 時(shí)間，這降低了 AI 應(yīng)用程序的整體性能。根據(jù) Xilinx 的 MPSoC Linux 系統(tǒng)上的 10G TCP 性能測(cè)試，10GbE TCP 傳輸期間的 CPU 使用率超過(guò) 50%，TCP 發(fā)送和接收數(shù)據(jù)傳輸速度可以達(dá)到 10GbE 速度的 40% 到 60% 或 400 MB/s 到600 兆字節(jié)/秒。

通過(guò)實(shí)施 Design Gateway 的TOExxG-IP 內(nèi)核，通過(guò) 10GbE 和 25GbE 進(jìn)行 TCP 傳輸?shù)?CPU 使用率可以降低到幾乎 0%，而以太網(wǎng)帶寬利用率可以達(dá)到接近 100%。這允許通過(guò)純硬件邏輯直接通過(guò) TCP 網(wǎng)絡(luò)發(fā)送和接收數(shù)據(jù)，并以最少的 CPU 使用率和盡可能低的延遲將數(shù)據(jù)饋送到 Versal AI 引擎。下面的圖 4 顯示了 TOExxG-IP 和 MPSoC Linux 系統(tǒng)之間的 CPU 使用率和 TCP 傳輸速度比較。

圖 4：MPSoC Linux 系統(tǒng)和 Design Gateway 的 TOExxG-IP 內(nèi)核的 10G/25G TCP 傳輸性能比較。(圖片來(lái)源：Design Gateway)

Design Gateway 用于 Versal 器件的 TOExxG-IP

圖 5：TOExxG-IP 系統(tǒng)概覽。(圖片來(lái)源：Design Gateway)

TOExxG-IP 內(nèi)核實(shí)現(xiàn)了 TCP/IP 堆棧(在硬線邏輯中)，并與 Xilinx 的 EMAC Hard IP 和以太網(wǎng)子系統(tǒng)模塊連接，用于具有 10G/25G/100G 以太網(wǎng)速度的下層硬件接口。TOExxG-IP 的用戶接口包括一個(gè)用于控制信號(hào)的寄存器接口和一個(gè)用于數(shù)據(jù)信號(hào)的 FIFO 接口。TOExxG-IP 旨在通過(guò) AXI4-ST 接口與 Xilinx 的以太網(wǎng)子系統(tǒng)連接。用戶界面的時(shí)鐘頻率取決于以太網(wǎng)接口速度(例如，156.625 MHz 或 322.266 MHz)。

TOExxG-IP 的特點(diǎn)

無(wú)需 CPU 即可實(shí)現(xiàn)完整的 TCP/IP 堆棧

支持一個(gè)會(huì)話與一個(gè) TOExxG-IP

可以通過(guò)使用多個(gè) TOExxG-IP 實(shí)例來(lái)實(shí)現(xiàn)多會(huì)話

支持服務(wù)器和客戶端模式(被動(dòng)/主動(dòng)打開(kāi)和關(guān)閉)

支持巨型幀

通過(guò)標(biāo)準(zhǔn) FIFO 接口的簡(jiǎn)單數(shù)據(jù)接口

通過(guò)單端口 RAM 接口的簡(jiǎn)單控制接口

XCVC1902-VSVA2197-2MP-ES FPGA 設(shè)備上的 FPGA 資源使用情況如下表 2 所示。

表 2：Versal 設(shè)備的實(shí)施統(tǒng)計(jì)示例。

TOExxG-IP 的更多詳細(xì)信息在其數(shù)據(jù)表中進(jìn)行了描述，該數(shù)據(jù)表可通過(guò)以下鏈接從 Design Gateway 網(wǎng)站下載：

TOE10G-IP 內(nèi)核 Xilinx 數(shù)據(jù)表

TOE25G-IP 內(nèi)核 Xilinx 數(shù)據(jù)表

TOE100G-IP 內(nèi)核 Xilinx 數(shù)據(jù)表

Design Gateway 的 NVMe 主機(jī)控制器 IP 性能

NVMe 存儲(chǔ)接口速度與 PCIe Gen3 x4 或 PCIe Gen4 x4 的數(shù)據(jù)速率高達(dá) 32 Gbps 和 64 Gbps。這比 10GbE 以太網(wǎng)速度高三到六倍。CPU 處理復(fù)雜的 NVMe 存儲(chǔ)協(xié)議以達(dá)到盡可能高的磁盤(pán)訪問(wèn)速度需要比 10GbE 以上的 TCP 協(xié)議更多的 CPU 時(shí)間。

Design Gateway 通過(guò)開(kāi)發(fā)能夠作為獨(dú)立 NVMe 主機(jī)控制器運(yùn)行的 NVMe IP 核解決了這個(gè)問(wèn)題，能夠在沒(méi)有 CPU 的情況下直接與 NVMe SSD 通信。這實(shí)現(xiàn)了 NVMe PCIe Gen3 和 Gen4 SSD 訪問(wèn)的高效率和性能，從而簡(jiǎn)化了用戶界面和標(biāo)準(zhǔn)功能，以便在無(wú)需了解 NVMe 協(xié)議的情況下易于使用。NVMe PCIe Gen4 SSD 性能可通過(guò) NVMe IP 實(shí)現(xiàn)高達(dá) 6 GB/s 的傳輸速度，如圖 6 所示。

圖 6：NVMe PCIe Gen3 和 Gen4 SSD 與 Design Gateway 的 NVMe-IP Core 的性能比較。(圖片來(lái)源：Design Gateway)

Design Gateway 的 NVMe-IP 用于 Versal 設(shè)備

圖 7：NVMe-IP 系統(tǒng)概覽。(圖片來(lái)源：Design Gateway)

NVMe-IP的特點(diǎn)

能夠?qū)崿F(xiàn)應(yīng)用層、事務(wù)層、數(shù)據(jù)鏈路層和部分物理層訪問(wèn)NVMe SSD，無(wú)需CPU或外部DDR內(nèi)存

與 Xilinx PCIe Gen3 和 Gen4 Hard IP 一起運(yùn)行

無(wú)需外部存儲(chǔ)器接口即可利用 BRAM 和 URAM 作為數(shù)據(jù)緩沖器的能力

支持六個(gè)命令：Identify、Shutdown、Write、Read、SMART 和 Flush(可選的附加命令支持)

XCVC1902-VSVA2197-2MP-ES FPGA 設(shè)備上的 FPGA 資源使用情況如表 2 所示。

表 3：Versal 設(shè)備的實(shí)施統(tǒng)計(jì)示例。

用于 Versal 設(shè)備的 NVMe-IP 的更多詳細(xì)信息在其數(shù)據(jù)表中進(jìn)行了描述

適用于 Gen4 Xilinx 數(shù)據(jù)表的 NVMe IP 核

結(jié)論

TOExxG-IP 和 NVMe-IP 內(nèi)核都可以通過(guò)完全卸載 CPU 系統(tǒng)從計(jì)算和內(nèi)存密集型協(xié)議(例如 TCP 和 NVMe 存儲(chǔ)協(xié)議)中卸載對(duì)實(shí)時(shí) AI 應(yīng)用程序至關(guān)重要的協(xié)議來(lái)幫助加速 AI 應(yīng)用程序性能。這使得 Xilinx 的 Versal AI Core 系列器件能夠執(zhí)行 AI 推理和高性能計(jì)算應(yīng)用，而不會(huì)出現(xiàn)網(wǎng)絡(luò)和數(shù)據(jù)存儲(chǔ)協(xié)議處理的瓶頸或延遲。

VCK190 評(píng)估套件和 Design Gateway 的網(wǎng)絡(luò)和存儲(chǔ) IP 解決方案可在賽靈思 Versal AI Core 設(shè)備上以盡可能低的 FPGA 資源使用率和極高的能效在 AI 應(yīng)用中實(shí)現(xiàn)最佳性能。

審核編輯 黃昊宇