關(guān)于成像核心——ISP的分析介紹

成像系統(tǒng)

——光學(xué)鏡片：把光聚焦到傳感器上

——傳感器：將光信號轉(zhuǎn)換成電信號

——ISP：將傳感器得到的信號進(jìn)行處理得到可視圖像

——其他影響圖像質(zhì)量的部件

成像過程

使用相機(jī)和手機(jī)等設(shè)備拍照時

ISP芯片是拍照過程中的運(yùn)算處理單元，其地位相當(dāng)于相機(jī)的“大腦”

ISP

ISP(Image Signal Processor)，即圖像信號處理器，用于處理圖像信號傳感器輸出的圖像信號。它在相機(jī)系統(tǒng)中占有核心主導(dǎo)的地位，是構(gòu)成相機(jī)的重要設(shè)備。

內(nèi)部結(jié)構(gòu)

?CPU

CPU 即中央處理器，可以運(yùn)行AF、LSC 等各種圖像處理算法，控制外圍設(shè)備

?SUBIP

SUBIP 是各種功能模塊的通稱，對圖像進(jìn)行各自專業(yè)的處理。常見的SUBIP 如DIS、CSC、VRA 等。

?圖像傳輸接口

圖像傳輸接口主要分兩種，并口ITU和串口 CSI。

?通用外圍設(shè)備

通用外圍設(shè)備指I2C、SPI、PWM、UART、WATCHDOG等。ISP 中包含 I2C 控制器，用于讀取OTP信息，控制VCM等。

ISP工作流程

ISP處理圖像數(shù)據(jù)基本流程圖

ISP主要功能

?DEMOSAIC（去馬賽克）

SENSOR 的像素點(diǎn)上覆蓋著 CFA，光線通過 CFA 后照射到像素上。CFA 由 R、G、B 三種顏色的遮光罩組成，每種遮光罩只允許一種顏色通過，因此每個像素輸出的信號只包含R、G、B 三者中的一種顏色信息。SENSOR 輸出的這種數(shù)據(jù)就是 BAYER 數(shù)據(jù)，即通常所說的 RAW 數(shù)據(jù)。顯而易見，RAW 數(shù)據(jù)所反映的顏色信息不是真實的顏色信息。DEMOSAIC 就是通過插值算法將每個像素所代表的真實顏色計算出來。Demosaic的目的就是有bayer數(shù)據(jù)恢復(fù)出完整的RGB數(shù)據(jù)。

?AF（Automatic focus）自動對焦

根據(jù)光學(xué)知識，景物在傳感器上成像最清晰時處于合焦平面上。通過更改LENS 的位置，使得景物在傳感器上清晰的成像，是 ISP FOCUS 功能所需完成的任務(wù)。FOCUS分為手動和自動兩種模式。

?AWB (Automatic white balance)自動白平衡

白平衡與色溫相關(guān)，用于衡量圖像的色彩真實性和準(zhǔn)確性。簡單的說，就是通過圖像調(diào)整，使在各種光學(xué)條件下拍攝出的照片色彩和人眼所看到的景物色彩完全相同。

?AE（Automatic exposure）自動曝光

ISP 需要實現(xiàn) AE 功能，通過控制曝光程度，使得圖像亮度適宜。

?Gamma Correction伽馬校正

傳感器對光線的響應(yīng)和人眼對光線的響應(yīng)是不同的。伽瑪校正就是使得圖像看起來符合人眼的特性。

?LSC(Lens shading correction)

用于消除圖像周邊和圖片中心的不一致性，包含亮度和色度兩方面。

?Noise Reduction噪聲去除

除去圖像中的噪點(diǎn)，使圖像更加清晰。

?Crop/Resize

圖像剪裁，即改變圖像的尺寸，用于輸出不同分辨率的圖像。

?MCT-CMX多色溫顏色矩陣矯正

讓色彩貼近現(xiàn)實、飽滿、細(xì)節(jié)突出、清晰度更好。

?VRA

視覺識別。用于識別特定的景物，例如人臉識別，車牌識別。

?DRC

動態(tài)范圍校正。動態(tài)范圍即圖像的明暗區(qū)間。

?CSC

顏色空間轉(zhuǎn)換。例如，ISP 會將 RGB 信號轉(zhuǎn)化為 YUV 信號輸出。

?IS

圖像穩(wěn)定。IS 的主要作用是使得圖像不要因為手持時輕微的抖動而模糊不清。

控制方式

這里所說的控制方式是 AP 對 ISP 的操控方式。

I2C/SPI

這一般是外置 ISP 的做法。SPI 一般用于下載固件、I2C 一般用于寄存器控制。在內(nèi)核的 ISP 驅(qū)動中，外置 ISP 一般是實現(xiàn)為 I2C 設(shè)備，然后封裝成 V4L2-SUBDEV。

MEM MAP

這一般是內(nèi)置 ISP 的做法。將 ISP 內(nèi)部的寄存器地址空間映射到內(nèi)核地址空間。

MEM SHARE

這也是內(nèi)置 ISP 的做法。AP 這邊分配內(nèi)存，然后將內(nèi)存地址傳給 ISP，二者實際上共享同一塊內(nèi)存。因此 AP 對這段共享內(nèi)存的操作會實時反饋到 ISP 端。

ISP 架構(gòu)方案

上文多次提到外置 ISP 和內(nèi)置 ISP，這實際上是 ISP 的架構(gòu)方案。

外置 ISP 架構(gòu)

外置 ISP 架構(gòu)是指在 AP 外部單獨(dú)布置 ISP 芯片用于圖像信號處理。外置 ISP 的架構(gòu)圖一般如下所示：

外置 ISP 架構(gòu)圖

外置 ISP 架構(gòu)的優(yōu)點(diǎn)主要有：

能夠提供更優(yōu)秀的圖像質(zhì)量

在激烈的市場競爭下，能夠存活到現(xiàn)在的外置 ISP 生產(chǎn)廠商在此領(lǐng)域一般都有很深的造詣，積累了豐富的影像質(zhì)量調(diào)試經(jīng)驗，能夠提供比內(nèi)置 ISP 更優(yōu)秀的性能和效果。因此，選用優(yōu)質(zhì)的外置 ISP 能提供專業(yè)而且優(yōu)秀的圖像質(zhì)量。

能夠支援更豐富的設(shè)計規(guī)劃

外置 ISP 的選型基本不受 AP 的影響，因此魅族可以從各個優(yōu)秀 ISP 芯片供應(yīng)商的眾多產(chǎn)品中甄選最合適的器件，從而設(shè)計出更多優(yōu)秀的產(chǎn)品。

能夠?qū)崿F(xiàn)產(chǎn)品的差異化

內(nèi)置 ISP 是封裝在 AP 內(nèi)部的，是和 AP 緊密的聯(lián)系在一起，如果 AP 相同，那么 ISP 也就是一樣的。因此基于同樣 AP 生產(chǎn)出來的手機(jī)，其 ISP 的性能也是一樣的，可供調(diào)教的條件也是固定的，這樣就不利于實現(xiàn)產(chǎn)品的差異化。而如果選擇外置 ISP，那么同一顆 AP，可以搭配不同型號的 ISP，這樣可以實現(xiàn)產(chǎn)品的差異化，為給用戶提供更豐富和優(yōu)質(zhì)的產(chǎn)品。

外置 ISP 架構(gòu)的缺點(diǎn)主要有：

成本價格高

外置 ISP 需要單獨(dú)購買，其售價往往不菲，而且某些特殊功能還需要額外支付費(fèi)用。使用外置 ISP，需要進(jìn)行額外的原理圖設(shè)計和 LAYOUT，需要使用額外的元器件。

開發(fā)周期長

外置 ISP 驅(qū)動的設(shè)計需要多費(fèi)精力和時間。使用外置 ISP 時，AP 供應(yīng)商提供的 ISP 驅(qū)動就無法使用，需要額外設(shè)計編寫外置 ISP 驅(qū)動。另外，為了和 AP 進(jìn)行完美的搭配，將效果最大化，也往往需要付出更多的調(diào)試精力。上文也提到，使用外置 ISP，需要進(jìn)行額外的原理圖設(shè)計和 LAYOUT，需要使用額外的元器件，這也是需要花費(fèi)時間進(jìn)行處理的。

內(nèi)置 ISP 架構(gòu)

內(nèi)置 ISP 架構(gòu)是指在 AP 內(nèi)部嵌入了 ISP IP，直接使用 AP 內(nèi)部的 ISP 進(jìn)行圖像信號處理。 內(nèi)置 ISP 的架構(gòu)圖一般如下所示：

內(nèi)置 ISP 架構(gòu)圖

內(nèi)置 ISP 架構(gòu)的優(yōu)點(diǎn)主要有：

能降低成本價格

內(nèi)置 ISP 內(nèi)嵌在 AP 內(nèi)部，因此無需像外置 ISP 一樣需要額外購買，且不占 PCB 空間，無需單獨(dú)為其設(shè)計外圍電路，這樣就能節(jié)省 BOM，降低成本。鑒于大多數(shù)用戶在選購手機(jī)時會將價格因素放在重要的位置，因此降低成本能有效的降低終端成品價格，有利于占領(lǐng)市場。

能提高產(chǎn)品的上市速度

內(nèi)置 ISP 和 AP 緊密結(jié)合，無需進(jìn)行原理圖設(shè)計和 LAYOUT 設(shè)計，因此可以減小開發(fā)周期，加快產(chǎn)品上市的速度。

能降低開發(fā)難度

如果使用內(nèi)置 ISP，那么 AP 供應(yīng)商能在前期提供相關(guān)資料，驅(qū)動開發(fā)人員可以有充足的時間熟悉相關(guān)資料，而且不會存在軟件版本適配問題，也不存在平臺架構(gòu)兼容性問題。但是，如果使用外置 ISP，那么 ISP 供應(yīng)商往往都不能提供針對某個平臺的代碼/資料，而且一般都存在軟件版本兼容問題，這就需要驅(qū)動開發(fā)人員付出額的經(jīng)歷和時間。