嵌入式AI加速器DRP-AI 詳細(xì)介紹

深度神經(jīng)網(wǎng)絡(luò)中使用的人工智能（AI）已經(jīng)為IT領(lǐng)域提供了新的價(jià)值。雖然很多人期望用AI來(lái)實(shí)現(xiàn)嵌入式應(yīng)用，但AI處理需要很多計(jì)算，由于性能不足或功耗需求大，很難適應(yīng)使用CPU或GPU的傳統(tǒng)解決方案的嵌入式設(shè)備。此外，人工智能正在不斷發(fā)展，新的算法不時(shí)被開(kāi)發(fā)出來(lái)。

在人工智能快速發(fā)展的過(guò)程中，瑞薩開(kāi)發(fā)了人工智能加速器（DRP-AI）和軟件（DRP-AI翻譯器），既提供高性能又提供低功耗，并具有應(yīng)對(duì)演變的能力。結(jié)合DRP-AI和DRP-AI翻譯器，使AI推理成為可能，具有高功率效率，這是當(dāng)前AI技術(shù)無(wú)法支持的。

AI模型可以隨著DRP-AI翻譯器的不斷更新而擴(kuò)展。

DRP-AI的特點(diǎn)

DRP-AI由AI-MAC（multiply-accumulate processor）和DRP（reconfigurable processor）組成。通過(guò)為卷積層和全連接層上的操作分配AI-MAC，并為預(yù)處理和池化層等其他復(fù)雜處理分配DRP，可以高速執(zhí)行AI處理。

AI 加速器 DRP - AI 是瑞薩電子研發(fā)的一款動(dòng)態(tài)可重構(gòu)處理器（Dynamically Reconfigurable Processor），它將出色的能效與強(qiáng)大的靈活性集于一身，主要應(yīng)用于嵌入式系統(tǒng)的 AI 推理。下面為你詳細(xì)介紹其關(guān)鍵信息：

核心技術(shù)特性

1. 架構(gòu)設(shè)計(jì)
   • DRP - AI 由 AI - MAC（乘加處理器）和 DRP（可重構(gòu)處理器）兩部分構(gòu)成。AI - MAC 專門負(fù)責(zé)卷積層和全連接層的運(yùn)算，而 DRP 則承擔(dān)預(yù)處理、池化層等復(fù)雜處理任務(wù)。
   • 該架構(gòu)能夠?qū)崿F(xiàn)端到端的 AI 處理，把預(yù)處理、推理和后處理都集成到硬件中，從而降低了對(duì) CPU 的依賴，提升了整體處理效率。
2. 卓越性能與能效
   • 最新的 DRP - AI3 版本表現(xiàn)尤為突出，能效可達(dá) 10TOPS/W，推理性能最高能達(dá)到 15TOPS（如 RZ/V2N），相比前代產(chǎn)品，處理速度提升了 10 倍。
   • 以 RZ/V2L 為例，其能效為 1TOPS/W，能夠以每秒 28 幀的速度運(yùn)行 Tiny YOLOv2 模型。
3. 靈活適配能力
   • 借助 DRP - AI Translator 和 DRP - AI TVM 工具，DRP - AI 可以支持多種 AI 框架，包括 ONNX、PyTorch、TensorFlow 等，并且能夠動(dòng)態(tài)適配不斷更新的 AI 算法。
     

有關(guān)DRP-AI的更多詳細(xì)技術(shù)信息，
請(qǐng)參閱以下白色文件。白色白皮書：嵌入式AI加速器DRP-AI（PDF|中文（簡(jiǎn)體）*附件：嵌入式ai加速器DRP-AI.pdf

雖然大多數(shù)AI加速器只專注于AI推理，并依賴CPU進(jìn)行預(yù)處理和后處理，但DRP-AI將預(yù)處理和后處理以及AI推理集成到單個(gè)DRP-AI硬件中，以實(shí)現(xiàn)上級(jí)AI處理性能。

工具：DRP-AI TVM^* 一個(gè)^

DRP-AI TVM是一種工具，可用于將訓(xùn)練的AI模型轉(zhuǎn)換為可以在DRP-AI上運(yùn)行的格式。DRP-AI TVM將DRP-AI加速器應(yīng)用于經(jīng)過(guò)驗(yàn)證的ML編譯器框架Apache TVM*2。這支持多個(gè)AI框架（ONNX，PyTorch，TensorFlow等）。此外，它還可以與CPU一起運(yùn)行，允許運(yùn)行更多的AI模型。

DRP-AI TVM支持的AI模型格式和產(chǎn)品（MPU）如下。

• 輸入文件格式（訓(xùn)練的AI模型）：ONNX、PyTorch、TensorFlow
• 產(chǎn)品：RZ/V2 M，RZ/V2 MA，RZ/V2 L，RZ/V2 H，RZ/V2 N

下表顯示了DRP-AI TVM的下載站點(diǎn)、工具的簡(jiǎn)要描述和可交付成果的信息。

軟件：DRP-AI支持包

DRP-AI支持包提供了操作DRP-AI所需的驅(qū)動(dòng)程序和指南。立即下載DRP-AI，體驗(yàn)從開(kāi)放軟件到設(shè)備實(shí)現(xiàn)的無(wú)縫AI開(kāi)發(fā)。

（注1）DRP-AI TVM由EdgeCortix MERATM架構(gòu)提供支持（注2）有關(guān)Apache TVM的更多信息，請(qǐng)參閱https：//tvm.apache.org

軟件與工具

? RZ/V2H AI Software Development Kit

? RZ/V series AI Apps & AI SDK (GitHub)

? DRP-AI Extension Pack (Pruning Tool)

? DRP-AI Translator i8 [V1.04]

? DRP-AI TVM (GitHub)

? RZ/V2H ROS2 Support Package

? RZ/V2H ROS2 Sample Application Package

? RZ/V Multi-OS Package

下載

? RZ/V Getting Started with Flexible Software Package
? Setting GPIO with Flexible Software Package
? RZ/V FSP v3.1.0

? RZ MPU Graphics Library Evaluation Version for RZ/V2

? RZ MPU Security Package (Linux OS)

? AI Navigator: IDE for AI Applications

? RZ/V2H ISP Support Package