如何使用RGB格式圖像傳感器去構(gòu)建一個通用馬賽克算法

Bayer 格式的圖像傳感器在每個像素位置上只采樣紅綠藍三原色中的一種。在某些應(yīng)用中，Bayer 顏色濾光片陣列（colour filter array）的一個 G（綠色）濾光片會被其他濾光片代替，如 W（白色） 濾光片或 IR（紅外） 濾光片等。而絕大多數(shù)發(fā)表的去馬賽克算法都是基于經(jīng)典的Bayer 格式。文中提出了一種通用的去馬賽克算法，不僅可以適用于所有以 2x2 為最小采樣周期的圖像傳感器而且該方法在顏色峰值信噪比（CPSNR）方面也達到了很高的指標(biāo)。

1 引言

Bayer 格式的圖像傳感器在每個像素位置上只采樣紅綠藍三原色中的一種[1-5]。為了提升去馬賽克后輸出圖像的分辨率， Bayer 格式圖像傳感器在其 2×2 的最小采樣周期的對角線位置上采樣綠色。某些應(yīng)用要求成像設(shè)備能夠同時提供被攝場景的 RGB 圖像和紅外圖像[6]，從降低成本的角度考慮，這就需要圖像傳感器在采樣紅綠藍三原色的同時也采集紅外光。在現(xiàn)有 Bayer 格式傳感器基礎(chǔ)上最簡單的一種改進方法是將現(xiàn)有 2×2 最小采樣周期對角線上的一個綠色濾鏡換成紅外濾鏡。業(yè)內(nèi)稱這種圖像傳感器為RGBIR 格式。

S.Süsstrunk 和 C.Fredembach 也在文[7]中提出了 RGBIR 傳感器的許多其他應(yīng)用，包括去霧和皮膚平滑。而另外一些應(yīng)用要求圖像傳感器在采集彩色圖像的同時可以提供更好的低光性能，會將現(xiàn)有 Bayer 格式的一個綠色濾鏡直接拿掉，這樣該通道就可以采集各種波長的光線。業(yè)內(nèi)稱這種圖像傳感器為 RGBW 格式[8]。后續(xù)為了說明的方便，統(tǒng)一稱這種改進型圖像傳感器為 RGBX 傳感器。

為了滿足上述應(yīng)用，文獻[9,10]中討論了彩色濾鏡的其他排列組合方法。然而，考慮到傳感器的制造成本，本文只關(guān)注以 2×2 為最小采樣周期的非 bayer CFA 模式。如圖 1 所示，這是一種改進型的圖像傳感器。

圖 2 是這種改進型圖像傳感器對應(yīng)的一個典型的量化響應(yīng)曲線，橫坐標(biāo)是入射光波長，縱坐標(biāo)是不同波長對應(yīng)的量化效率

由于 X 通道和綠色通道對入射光的量化響應(yīng)曲線形狀存在極大差異，導(dǎo)致了對角線位置上綠色和紅外的采樣值一般也差異較大。而傳統(tǒng)針對 Bayer 格式的去馬賽克方法的處理流程一般是首先利用 Bayer采樣對角線上的兩個綠色通道的相關(guān)性，內(nèi)插出全分辨率的綠色通道，然后再基于局部色差一致性的假設(shè)，內(nèi)插出全分辨率的紅色和藍色通道。不難看出，將一個綠色通道替換成了 X 通道之后，四個通道的采樣率一致，所以這種先內(nèi)插高采樣率的綠色通道的去馬賽克方法顯然不再適用于改進型的圖像傳感器。

雖然，將雙線性（bilinearity）、雙三次（bicubic）等普通的內(nèi)插方法分別作用于 RGBX 傳感器的四個通道可以完成 RGBX 的去馬賽克操作，輸出四個全分辨率的圖像。但是這類將每個通道獨立內(nèi)插的做法完全沒有利用通道間的信息，去馬賽克后輸出圖像的效果會存在分辨率低、亮色混疊嚴(yán)重等問題。就我們學(xué)術(shù)查新的結(jié)果來看，目前學(xué)術(shù)界還沒有公布高性能的完全兼容 Bayer 格式的 RGBX 去馬賽克算法。

2 本文提出的算法

由于我們假設(shè) RGBX 圖像傳感器中所有通道都具有相同的采樣頻率（Bayer 格式可以認(rèn)為是一種RGBX 圖像傳感器的特殊格式），因此本文提出的算法不需要遵循先內(nèi)插 G 通道傳統(tǒng)去馬賽克算法流程框架。具體算法流程如下所述。

我們將原始的 RAW 圖像看成是四個全幅面的RGBX 圖像經(jīng)過采樣函數(shù)相加后的輸出結(jié)果。表示為式（1）。

（1）

其中 f 代表全幅面圖像，如 fCFA 代表全幅面的 RAW 圖像， fR 代表全幅面的 R 圖像，以此類推。

n1 = [1,2,...H]，n2 = [1,2,...W] 分別代表圖像垂直和水平方向像素位置，H 為全幅面圖像高度，W 為全幅面圖像寬度。

定義亮度分量L，色度分量C1，C2，C3 和 RGBX 的轉(zhuǎn)換關(guān)系用矩陣表示如式（2）。

（2）

因此全幅面的 RAW 圖像（CFA）也可以看成是四個全幅面的亮度和色度分量經(jīng)過采樣函數(shù)相加后的輸出結(jié)果如式（3）。

（3）

其中 ，-1 = ejπ 則色度分量 C1 可以看成是調(diào)制到中心頻率為（0.5，0）上的高頻信號，色度分量C2 可以看成是調(diào)制到中心頻率為（0，0.5）上的高頻信號，色度分量 C3 可以看成是調(diào)制到中心頻率為（0.5，0.5）上的高頻信號，而亮度分量可以看成一個基頻信號。

圖 3 是將頻率零點位移到中心點之后的亮度和色度分量在頻域上的能量分布示意圖。橫坐標(biāo)代表水平方向上的頻率，縱坐標(biāo)代表垂直方向上的頻率。由圖 3 可見，亮度信號 L 主要分布在二維坐標(biāo)系的低頻區(qū)域。色度信號 C1 到 C3 分布在二維坐標(biāo)系的高頻區(qū)域，其中 C3 分布在上圖的四角，代表色度在對角線方向上的高頻信號。C1 分布在上圖的水平兩側(cè)，代表色度在水平方向上的高頻信號。C2 分布在上圖的垂直兩側(cè)，代表色度在垂直方向上的高頻信號。去馬賽克的思想可以是通過低通濾波器恢復(fù)出亮度信號，高通濾波器恢復(fù)出色度信號，然后通過矩陣變換轉(zhuǎn)換到 RGBX 上。

在開始去馬賽克運算之前，需要先對第四通道進行預(yù)校正運算。第四通道指的是四個通道中 RGB 通道外的通道，如果是 RGBIR 圖像傳感器，第四通道則為紅外通道，如果是 RGBW 圖像傳感器，W 代表無色的濾鏡，即這個通路響應(yīng)從可見光到紅外光的全部波長光線，第四通道則為 W 通道。

這里仍以 RGBIR 圖像傳感器為例，具體地說，在進行上述亮度和色度的卷積運算之前，最好對紅外通道進行預(yù)校正運算，這是由于紅外通道的量化相應(yīng)曲線和 RGB 通道的量化相應(yīng)曲線存在較大差異，在某些場景可能導(dǎo)致即使在相鄰區(qū)域紅外和可見光通道的信號也存在較大差距。而濾波器設(shè)計時受到階數(shù)的限制，會有波紋現(xiàn)象。

經(jīng)過卷積運算之后，RAW 圖像上相鄰區(qū)域輸入信號的差異可能會被放大，那么在平坦區(qū)域上去馬賽克輸出可能會出現(xiàn)“網(wǎng)格”現(xiàn)象。紅外通道預(yù)校正的目的是為了弱化當(dāng)前像素鄰近區(qū)域尤其是平坦區(qū)域上紅外通道和可見光（RGB）通道的差異。

紅外通道（第四通道）的預(yù)校正運算由校正因子和紅外分量相乘完成。校正因子包括全局校正因子和局部校正因子。全局校正因子由輸入的 RAW 圖像中 RGB 通道的平均值和紅外通道平均值相除獲得。局部校正因子由當(dāng)前紅外通道鄰域內(nèi)的 RGB 通道的平均值和紅外通道平均值相除獲得。全局校正因子和局部校正因子通過加權(quán)系數(shù)融合得到。加權(quán)系數(shù)由當(dāng)前紅外通道鄰近的 RGB 通道的梯度值通過查表計算得到。梯度值越大，局部校正因子的加權(quán)系數(shù)越小，反之則越大。

經(jīng)過預(yù)校正處理之后可以開始內(nèi)插運算。亮度分量去馬賽克運算可以通過一個亮度濾波器和輸入的全幅面的 RAW 數(shù)據(jù)進行卷積運算從 RAW 數(shù)據(jù)中恢復(fù)出亮度信號。這里亮度濾波器的參數(shù)可以預(yù)先設(shè)定，也可以根據(jù) RAW 圖像中當(dāng)前像素的局部特征動態(tài)調(diào)整。

根據(jù) RAW 圖像中當(dāng)前像素的局部特征動態(tài)調(diào)整亮度濾波器參數(shù)，具體是指先通過計算以當(dāng)前像素為中心的 n×n（為獲得較好的處理效果，n 最好大于或等于 3）鄰域在各方向上的梯度或其他等效信息，然后利用梯度值或其他等效信息作為檢索值查找預(yù)定義查找表得到對應(yīng)的濾波器參數(shù)?；蛘咄ㄟ^計算不同方向之間梯度差或比值并與預(yù)定義閾值比較，從而判斷當(dāng)前像素處于平坦區(qū)域還是邊界區(qū)域或者是細(xì)節(jié)區(qū)域。

若當(dāng)前像素處于平坦區(qū)域，則選用對低頻區(qū)域響應(yīng)較好的亮度濾波器參數(shù)。若當(dāng)前像素處于邊界區(qū)域，則需要判斷當(dāng)前像素所在邊界方向，并選用在此方向上響應(yīng)較好的亮度濾波器參數(shù)。若當(dāng)前像素處于細(xì)節(jié)區(qū)域時，則需要判斷當(dāng)前像素所在頻段，并選用在此頻段上響應(yīng)較好的亮度濾波器參數(shù)。

對于平坦區(qū)域的判定，是指計算各方向間的梯度差或比值并與預(yù)定義閾值比較，當(dāng)結(jié)果小于預(yù)定義閾值且各方向的梯度絕對值也小于預(yù)定義閾值時，認(rèn)為是平坦區(qū)域。

對于邊界區(qū)域的判定，是指計算各方向間的梯度差或比值并與預(yù)定義閾值比較，當(dāng)結(jié)果大于預(yù)定義閾值且被減或被除梯度所示方向的梯度絕對值也大于預(yù)定義閾值時，認(rèn)為是邊界區(qū)域。一般可以認(rèn)為，若當(dāng)前像素既不在平坦區(qū)域，也不在邊界區(qū)域，則該像素處于細(xì)節(jié)區(qū)域。當(dāng)判斷當(dāng)前像素處于細(xì)節(jié)區(qū)域時，需要判斷當(dāng)前像素所在頻段。當(dāng)前像素所在頻段由以下方法近似得到：預(yù)定義幾組通過頻率不同的帶通濾波器和當(dāng)前像素所在鄰域做卷積運算后取最大值，其對應(yīng)的帶通濾波器通過頻率即為當(dāng)前像素所在頻段。

色度分量去馬賽克的運算可以通過三個高通濾波器分別和輸入的全幅面的 RAW 數(shù)據(jù)進行卷積運算，從 RAW 數(shù)據(jù)中分別恢復(fù)出色度信號。這里高通濾波器的參數(shù)可以預(yù)先設(shè)定，也可以利用上述梯度值（即以當(dāng)前像素為中心的n×n鄰域在各方向上的梯度）或其他等效信息作為檢索值查找預(yù)定義查找表得到對應(yīng)的濾波器參數(shù)?；蛘吒鶕?jù)RAW圖像中當(dāng)前像素的局部特征以及前述亮度濾波器參數(shù)動態(tài)調(diào)整。

上述根據(jù) RAW 圖像中當(dāng)前像素的局部特征以及上述亮度濾波器參數(shù)動態(tài)調(diào)整色度濾波器參數(shù)，其思想是降低亮度和色度在高頻部分的混疊（假色）現(xiàn)象。具體是指當(dāng)前像素對應(yīng)的亮度濾波器的通帶接近默認(rèn)色度濾波器的通帶時，抑制色度濾波器的幅值。反之，則保留色度濾波器的幅值。

具體地，若亮度濾波器在水平方向上的通過頻率較高時，則抑制當(dāng)前像素對應(yīng)的色度 C1 濾波器的幅值；若亮度濾波器在垂直方向上的通過頻率較高時，則抑制當(dāng)前像素對應(yīng)的色度 C2 濾波器的幅值；若亮度濾波器在對角線方向上的通過頻率較高時，則抑制當(dāng)前像素對應(yīng)的色度 C3 濾波器的幅值。抑制色度濾波器的幅值是指通過動態(tài)計算調(diào)整因子 ，點乘至色度濾波器參數(shù)上完成。

上述色度濾波器的參數(shù)調(diào)整也可以通過調(diào)整色度濾波器的截止頻率來實現(xiàn)。具體是指當(dāng)前像素對應(yīng)的亮度濾波器的通帶接近默認(rèn)色度濾波器的通帶時，提升色度濾波器的截止頻率。具體地，若亮度濾波器在水平方向上的通過頻率較高時，則提升當(dāng)前像素對應(yīng)的色度 C1 濾波器的截止頻率。若亮度濾波器在垂直方向上的通過頻率較高時，則提升當(dāng)前像素對應(yīng)的色度 C2 濾波器的截止頻率。若亮度濾波器在對角線方向上的通過頻率較高時，則提升當(dāng)前像素對應(yīng)的色度C3濾波器的截止頻率。

需要說明的是，上述亮度分量的去馬賽克輸出也可以在 3 個色度分量都完成去馬賽克運算之后由原始 RAW 數(shù)據(jù)和全幅面的色度分量之和相減獲得。類似地，某一個色度分量的去馬賽克輸出也可以在亮度和其他 2 個色度分量完成去馬賽克運算之后由原始 RAW 數(shù)據(jù)和上述全幅面的亮度和 2 個色度分量之和相減獲得。

最后，利用式（4）中定義的亮度色度和 RGBX 的轉(zhuǎn)換矩陣計算得出內(nèi)插后的 RGBX 四個通道像素值。

（4）

3 測試結(jié)果

由于目前學(xué)術(shù)界和工業(yè)界都還沒有標(biāo)準(zhǔn)的RGBX 測試集，因此在客觀測試中本文采用了測試Bayer 格式去馬賽克性能最常用的測試集 Kodak 的24 張 RGB 圖像。

鑒于本文算法可以完全兼容 Bayer 格式，在我們的實驗中，直接用 Bayer CFA 模式對圖像進行采樣，得到 raw 圖像然后對下采樣后的圖像進行去馬賽克插值，以評價插值結(jié)果。

我們將顏色峰值信噪比 CPSNR 作為客觀評測性能指標(biāo)。表 1 記錄了 CPSNR 比較結(jié)果。從表中可以看出，本文提出的去馬賽克算法以平均將近 0.8 dB 優(yōu)于文獻[11]中的算法，高于文獻[12]中的 EIG 內(nèi)插算法超過 1 dB，高于文獻[13-15]中的線性插值法超過 4 dB。

4 結(jié)語

本文的主要貢獻是建立了一個通用的去馬賽克算法架，該算法適用于所有以 2×2 為最小采樣周期的 Bayer 以及非 Bayer 模式圖像傳感器。實驗結(jié)果表明，該方法對比其他算法具有較好的 CPSNR。經(jīng)過少量修改后該方法也可用于其他以 4×4 為最小采樣周期的 raw 信號。