RK3562J正式支持NPU，性價(jià)比再提升！

RK3562J是瑞芯微最新推出的一款超高性價(jià)比工業(yè)處理器，四核Cortex-A53@1.8GHz + Cortex-M0@200MHz異構(gòu)多核架構(gòu)，并支持十路UART、兩路CAN、兩路網(wǎng)口、三種顯示、雙路Camera等，外設(shè)接口資源十分豐富，是RK3568J處理器降成本、降功耗的首選平臺(tái)，在工商業(yè)儲(chǔ)能EMS、通訊管理機(jī)、運(yùn)動(dòng)控制器、AGV機(jī)器人、車(chē)載數(shù)據(jù)網(wǎng)關(guān)等場(chǎng)景被廣泛應(yīng)用。

近期，瑞芯微在RK3562J處理器上正式開(kāi)放NPU功能，使RK3562J的應(yīng)用領(lǐng)域進(jìn)一步拓展到機(jī)器視覺(jué)、工業(yè)相機(jī)、目標(biāo)識(shí)別等領(lǐng)域，性價(jià)比得到進(jìn)一步提升。創(chuàng)龍科技RK3562核心板（商業(yè)級(jí)）含稅價(jià)格一片起僅168元，性價(jià)比還是蠻高的，并且此平臺(tái)目前已被超過(guò)500家工業(yè)客戶選用，得到了用戶的廣泛好評(píng)。

RK3562J NPU簡(jiǎn)介

瑞芯微RK3562J是一款超高性價(jià)比國(guó)產(chǎn)工業(yè)級(jí)處理器，內(nèi)置超強(qiáng)算力NPU，算力高達(dá)1TOPS，能夠?qū)崿F(xiàn)高效的神經(jīng)網(wǎng)絡(luò)推理計(jì)算。RK3562J的NPU支持多種數(shù)據(jù)類(lèi)型，包括INT4、INT8、INT16、FP16等，兼容TensorFlow、PyTorch、Caffe、MXNet等深度學(xué)習(xí)框架，能夠?yàn)?a target="_blank">開(kāi)發(fā)者提供豐富的工具和庫(kù)，使他們能夠方便地進(jìn)行模型訓(xùn)練和推理，可輕松應(yīng)對(duì)各種大數(shù)據(jù)運(yùn)算場(chǎng)景。

RK3562J NPU開(kāi)發(fā)流程

第一步：模型訓(xùn)練

首先需要收集并準(zhǔn)備訓(xùn)練數(shù)據(jù)，選擇適合的深度學(xué)習(xí)框架（如TensorFlow、PyTorch、Keras等）訓(xùn)練模型或使用官方提供的模型。

第二步：模型轉(zhuǎn)換

完成模型訓(xùn)練后，使用RKNN-Toolkit2將預(yù)訓(xùn)練模型轉(zhuǎn)換為RK3562J NPU可使用的RKNN模型。這通常涉及到將模型中的計(jì)算圖進(jìn)行適當(dāng)?shù)男薷暮蛢?yōu)化，以適應(yīng)NPU的硬件架構(gòu)和指令集。

第三步：應(yīng)用開(kāi)發(fā)

基于RKNN API開(kāi)發(fā)應(yīng)用程序。開(kāi)發(fā)階段需要根據(jù)具體需求，將轉(zhuǎn)換后的模型集成到應(yīng)用程序中。

圖 3

RK3562J NPU開(kāi)發(fā)案例

本文主要介紹基于RK3562J的NPU開(kāi)發(fā)案例，適用開(kāi)發(fā)環(huán)境如下。

Windows開(kāi)發(fā)環(huán)境：Windows 7 64bit、Windows 10 64bit

虛擬機(jī)：VMware16.2.5

開(kāi)發(fā)環(huán)境：Ubuntu20.04.6 64bit

U-Boot：U-Boot-2017.09

Kernel：Linux-5.10.198

LinuxSDK：LinuxSDK-[版本號(hào)]（基于RK3562_LINUX_SDK_RELEASE_V1.1.0_20231220）

硬件平臺(tái)：創(chuàng)龍科技TL3562-EVM工業(yè)評(píng)估板（基于RK3562J）

為了簡(jiǎn)化描述，本文僅摘錄部分方案功能描述與測(cè)試結(jié)果，詳細(xì)產(chǎn)品資料可以通過(guò)公眾號(hào)（Tronlong創(chuàng)龍科技）下載。

案例說(shuō)明

案例基于RKNN API實(shí)現(xiàn)對(duì)圖片中目標(biāo)對(duì)象的識(shí)別，并將識(shí)別結(jié)果以加水印的方式添加至圖像，然后保存成圖片文件。案例進(jìn)行10次循環(huán)測(cè)試，統(tǒng)計(jì)出推理的平均處理耗時(shí)。

程序處理流程圖如下：

圖 4

案例演示

通過(guò)網(wǎng)線將評(píng)估板千兆網(wǎng)口ETH0 RGMII連接至路由器。

圖 5

在可執(zhí)行文件所在目錄，執(zhí)行如下命令，對(duì)圖片bus.jpg目標(biāo)對(duì)象進(jìn)行模型推理。

備注：模型運(yùn)行的時(shí)間會(huì)有抖動(dòng)。

Target#./yolov5_object_detect yolov5s-640-640_rk3562.rknn bus.jpg

圖 6

從輸出信息可知，本案例程序識(shí)別出測(cè)試圖片bus.jpg中包含person、car、bus、truck對(duì)象，運(yùn)行1次模型耗時(shí)約為70.18ms；循環(huán)運(yùn)行10次模型平均耗時(shí)約為54.56ms。

案例程序?qū)y(cè)試圖片bus.jpg的目標(biāo)對(duì)象標(biāo)記成功后將輸出標(biāo)記圖片out.jpg至當(dāng)前目錄，將out.jpg文件拷貝至Windows下，并使用PC端相關(guān)軟件對(duì)比查看bus.jpg與out.jpg，結(jié)果如下所示。

圖 7 bus.jpg 圖 8 out.jpg

不難看出，圖8的案例程序是能夠清晰準(zhǔn)確地框選出人物、汽車(chē)、巴士、卡車(chē)，同時(shí)顯示person、car、bus、truck文字標(biāo)簽和置信度，標(biāo)記出對(duì)象的數(shù)量等信息。

到這里，簡(jiǎn)單的NPU開(kāi)發(fā)演示案例就結(jié)束了，想要查看更多RK3562J相關(guān)的案例演示，歡迎各位工程師關(guān)注公眾號(hào)（Tronlong創(chuàng)龍科技）并下載，快來(lái)試試吧！

審核編輯 黃宇