化腐朽為神奇！揭開ISP圖像處理的神秘面紗，基于瑞芯微RK3568J工業(yè)平臺！

ISP圖像處理前后圖像對比

化腐朽為神奇！經(jīng)過ISP圖像處理的圖片前后對比是如此驚人！從下圖中可以觀察到，未經(jīng)處理的原始圖像偏綠且暗淡，而經(jīng)ISP圖像處理的圖像能夠清晰地還原現(xiàn)場真實的顏色細節(jié)！

圖1原始圖像顯示效果

圖2經(jīng)ISP圖像處理后顯示效果

ISP說明

ISP簡介

ISP(Image Signal Processor)，即圖像信號處理，主要作用是處理前端圖像傳感器輸出的信號，主要功能有線性糾正、噪聲消除、自動白平衡、自動曝光控制等，能在不同的光學(xué)條件下很好地還原現(xiàn)場細節(jié)。

ISP優(yōu)勢

由于不同傳感器的差異以及拍攝環(huán)境的多樣性，傳感器輸出的原始數(shù)據(jù)和人們預(yù)期的圖像有一定差距，因此ISP就起到了相當(dāng)重要的作用。例如：夜間光照不足、大霧、沙塵等，均會使采集的圖像造成影響，存在成像模糊、噪聲污染及曝光不均等問題，而經(jīng)ISP圖像處理的圖像會有明顯的優(yōu)化。

RK3568J ISP功能介紹

RK3568J的ISP21模塊支持標(biāo)準(zhǔn)的Sensor圖像數(shù)據(jù)處理，包括自動白平衡，自動曝光，Demosaic，壞點矯正及鏡頭陰影矯正等基本功能，也支持HDR、去霧、降噪等高級處理功能。ISP21功能框圖如下圖所示。

圖3ISP21功能框圖

RK3568J的ISP圖像處理基于RKISP2.x Tuner工具對攝像頭采集的圖像進行標(biāo)定得到IQ參數(shù)文件，通過IQ參數(shù)文件將攝像頭采集的圖像進行優(yōu)化處理后發(fā)送至顯示設(shè)備。

RKISP2.x Tuner提供了一套便于用戶調(diào)試ISP參數(shù)的工具，用戶可以在RKISP2.x Tuner中對所有ISP模塊開展標(biāo)定(Calibration)、調(diào)試(Tuning)等工作。

圖4RKISP2.x Tuner工具界面

用戶可以使用RKISP2.x Tuner提供的抓圖工具(Capture Tool)來拍攝RAW圖，在標(biāo)定工具(Calibration Tool)中完成基礎(chǔ)模塊的標(biāo)定工作，在RKISP2.x Tuner中連接設(shè)備，在線進行ISP參數(shù)調(diào)試。

圖5RKISP2.x Tuner調(diào)試流程圖

ISP圖像處理開發(fā)案例

本章節(jié)主要介紹瑞芯微RK3568J的ISP圖像處理開發(fā)案例，使用的硬件平臺為：創(chuàng)龍科技TL3568-EVM工業(yè)評估板。

為了簡化描述，正文僅摘錄方案功能描述與測試結(jié)果，詳細產(chǎn)品資料請掃描文末二維碼下載。

功能說明

本案例基于RKISP2.x Tuner工具對攝像頭采集的圖像進行標(biāo)定得到IQ參數(shù)文件，通過IQ參數(shù)文件將攝像頭采集的圖像進行優(yōu)化處理后發(fā)送至顯示設(shè)備。

硬件連接

評估板默認已支持HDMI OUT顯示，請將評估板HDMI OUT接口連接至HDMI顯示屏，使用FFC軟排線將MIPI攝像頭模塊（型號為MCAM400）連接至評估板CAMERA接口，通過網(wǎng)線將評估板千兆網(wǎng)口ETH0 RGMII連接至路由器。硬件連接如下圖所示。

圖7

原始圖像顯示演示

評估板上電啟動，執(zhí)行如下命令將攝像頭采集的圖像實時顯示至HDMI顯示屏，該畫面是未經(jīng)過ISP圖像處理的原始畫面，如下圖所示。按"Ctrl + C"可退出程序。

Target#/rockchip-test/camera/camera_rkisp_test.sh

圖8

圖9原始圖像顯示效果

可以觀察到，HDMI顯示屏實時顯示攝像頭采集的原始圖像偏綠色且暗淡。

RKISP2.x Tuner工具調(diào)試演示

以下主要介紹使用RKISP2.x Tuner工具進行標(biāo)定處理。

打開RKISP2.x Tuner工具，導(dǎo)入原始圖像后，進入CCM標(biāo)定界面，然后設(shè)置飽和度，點擊"Calibrate"開始標(biāo)定。

圖10

標(biāo)定完成后，點擊"Result"頁面，可查看結(jié)果。

圖11

可點擊"Save"將新標(biāo)定數(shù)據(jù)保存至IQ參數(shù)文件ov4689_RK-CMK-8M-2-v1_CK8401.json中。

備注：如需了解通過RKISP2.x Tuner工具創(chuàng)建及配置IQ參數(shù)文件的詳細步驟，請參考我司提供的用戶手冊。

ISP圖像處理效果演示

評估板上電啟動，請將IQ參數(shù)文件ov4689_RK-CMK-8M-2-v1_CK8401.json拷貝至評估板文件系統(tǒng)"/etc/iqfiles/"目錄下，然后重新啟動評估板。

圖12

進入評估板文件系統(tǒng)，執(zhí)行如下命令，將攝像頭采集的圖像實時顯示至HDMI顯示屏，該畫面是經(jīng)ISP圖像處理的顯示效果，如下圖所示。按"Ctrl + C"可退出程序。

Target#/rockchip-test/camera/camera_rkisp_test.sh

圖13

圖14經(jīng)ISP圖像處理后顯示效果

可以觀察到，攝像頭實時采集的圖像經(jīng)過ISP圖像處理后，顯示效果相比原始圖像有明顯的優(yōu)化。顯示效果跟實際測試環(huán)境以及IQ參數(shù)文件配置有關(guān)，測試結(jié)果僅供參考。