瑞芯微 RK3568J 視頻圖像處理框架全解析

瑞芯微RK3568J產(chǎn)品簡(jiǎn)介

RK3568J是瑞芯微四核ARM Cortex-A55@1.8GHz工業(yè)旗艦處理器。 創(chuàng)龍科技基于RK3568J所設(shè)計(jì)的工業(yè)核心板（SOM-TL3568）板載的CPU、ROM、RAM、電源、晶振、連接器等所有元器件均采用國(guó)產(chǎn)工業(yè)級(jí)方案，國(guó)產(chǎn)化率達(dá)100%！

圖 1

此外，這款國(guó)產(chǎn)工業(yè)評(píng)估板（TL3568-EVM）接口資源豐富，支持4K視頻解碼、1080P視頻編碼、多屏異顯，內(nèi)置1TOPS高性能NPU以及8M ISP，還支持3路Ethernet、3路CAN、5路USB3.0、3路RS485、SDIO等，憑借其出色的性能及豐富的外設(shè)接口成為國(guó)內(nèi)眾多工業(yè)客戶的不二之選！

RK3568J視頻圖像處理特點(diǎn)

多種視頻輸入：支持 MIPI RX CSI2 和 DVP 接口，兼容多種視頻輸入模式。

高性能ISP：支持Dual Pipe ISP，對(duì)4K分辨率的多路攝像頭輸入處理絲滑便捷。

強(qiáng)大多屏顯示：支持三個(gè)獨(dú)立顯示輸出，可實(shí)現(xiàn)多屏異顯。

高清視頻編解碼：支持 4K@60fps H.264/H.265 解碼及 1080P@60fps 編碼。

強(qiáng)悍圖形引擎：支持 2D/3D 圖形處理加速，支持 OpenGLES 1.1/2.0/3.2。

高效AI單元：高達(dá) 1 TOPS 算力 NPU，支持多種深度學(xué)習(xí)框架。

視頻圖像輸入

表 1

ISP圖像處理

Dual Pipe ISP，從DVP/CSI接收Camera圖像并進(jìn)行圖像處理。

（1）輸入接口：最多同時(shí)支持3路接入：MIPI CSI x2 + DVP x1。

（2）分辨率：最高支持4096x2304分辨率。

視頻圖像輸出

VOP簡(jiǎn)介

VOP2會(huì)從內(nèi)存中讀取視頻數(shù)據(jù)和UI數(shù)據(jù)進(jìn)行處理（縮放、裁剪、圖層疊加等），然后將數(shù)據(jù)發(fā)送到不同顯示接口進(jìn)行圖像的顯示。

RK3568處理器支持3個(gè)VOP，可同時(shí)支持三個(gè)顯示屏顯示功能，最高支持分辨率如下表所示。

表 2

視頻圖像輸出接口

VOP2及顯示輸出接口配置如下圖所示。

圖 3

TL3568-EVM評(píng)估板（基于RK3568J）有4個(gè)視頻輸出接口：HDMI OUT，TFT LCD，MIPI LCD，LVDS LCD。默認(rèn)提供以下配置的測(cè)試，其它配置需要修改Linux設(shè)備樹。

配置一：

表 3

配置二：

表 4

視頻圖像編解碼

視頻解碼

表 5

視頻編碼

表 6

JPEG解碼

（1）最高支持8176 x 8176分辨率；

（2）性能可達(dá)每秒7600萬像素。

JPEG編碼

（1）最高支持8192 x 8192分辨率；

（2）性能可達(dá)每秒9000萬像素。

圖形引擎

Mali-G52 1-Core-2EE

Mali-G52 1-Core-2EE支持2D/3D圖形處理加速。主要特性如下：

3D API支持：OpenGLES 1.1/2.0/3.2，Vulkan1.0/1.1。

RGA2-Enhance

（1）輸入：

ARGB/RGB888/RGB565/RGB4444/RGB5551/YUV420/YUV422/YVYU422/YVYU420/YUV422SP 10bit/YUV420SP 10bit，最大8192x8192；

（2）輸出：

ARGB/RGB888/RGB565/RGB4444/RGB5551/YUV420/YUV422/YUV400/Y4/YVYU422/YVYU420，最大4096x4096；

（3）旋轉(zhuǎn)：0/90/180/270度；

（4）Alpha Blending功能支持：per pixel alpha和fading。

神經(jīng)網(wǎng)絡(luò)處理單元

NPU(Neural Process Unit)

（1）算力1 TOPS；

（2）支持INT8，INT16，F(xiàn)P16和BFP16；

（3）支持的深度學(xué)習(xí)框架：TensorFlow，Caffe，Tflite，Pytorch，Onnx NN，MXNet，Keras、Darknet等。

瑞芯微RK3568J典型應(yīng)用領(lǐng)域

查看更多瑞芯微RK3568J相關(guān)的案例演示，各位工程師可以通過公眾號(hào)（Tronlong創(chuàng)龍科技）查看，快來試試吧！

審核編輯 黃宇