圖像處理之動態(tài)范圍擴展定義與方法

1、動態(tài)范圍擴展定義

動態(tài)范圍(Dynamic Range)是物理學(xué)中常見的概念，表示某一物理量最大值與最小值的比率，通常以對數(shù)表示，單位為dB。對于真實場景，它指場景中最明亮處與最黑暗處的亮度之比。自然景觀的亮度范圍覆蓋非常之廣，最大動態(tài)范圍能達到160db，而人眼可以感知的亮度范圍高達10個數(shù)量級。

現(xiàn)實中8比特量化的數(shù)字相機輸出的圖像只能記錄有限范圍的灰階與顏色數(shù)，其動態(tài)范圍只有兩個數(shù)量級，遠(yuǎn)遠(yuǎn)小于常見的自然場景的動態(tài)范圍及人眼所能感知的動態(tài)范圍，數(shù)碼相機動態(tài)范圍不足的問題對其應(yīng)用造成了較大的影響。鑒于該問題，需要我們進行動態(tài)范圍擴展，從而讓電子顯示設(shè)備能夠輸出更寬動態(tài)范圍的圖像。

擴展數(shù)字成像系統(tǒng)的動態(tài)范圍，即高動態(tài)范圍成像技術(shù)(HDR)，指利用硬件或者軟件的方法，使系統(tǒng)輸出的圖像包涵盡可能大的場景亮度范圍，并準(zhǔn)確地再現(xiàn)場景真實的細(xì)節(jié)信息。目前實現(xiàn)該技術(shù)的主要方法：軟件擴展方法和硬件擴展方法。其中軟件擴展方法主要分為輻照度重建法和直接融合法。

2、動態(tài)范圍擴展方法

2.1 硬件擴展方法

硬件上限制數(shù)字成像系統(tǒng)動態(tài)范圍的主要元件是圖像傳感器(sensor)，CCD／CMOS傳感器的動態(tài)范圍定義為飽和電荷量Qs與最小可探測電荷量Qd的比值如下。sensor動態(tài)范圍主要受光敏器件的靈敏度、滿阱容量和噪聲水平等因素限制，而且傳感器面積一定的條件下，提高像素數(shù)目與提高動態(tài)范圍相互矛盾。因此在不減少圖像傳感器像素數(shù)目的條件下，提高動態(tài)范圍需要增大圖像傳感器的面積，成本將會增加，成像系統(tǒng)的結(jié)構(gòu)也可能受到影響。

硬件擴展的另一方案是通過改變光學(xué)系統(tǒng)結(jié)構(gòu)或添加其他元件改變圖像傳感器接收光能量，經(jīng)后期處理實現(xiàn)動態(tài)范圍擴展。如利用分光棱鏡使入射光線在不同的靶面成像，采用不同靈敏度的傳感器接收或設(shè)置不同的電路增益，再利用多個傳感器獲得的不同圖像生成一幅高動態(tài)范圍圖像。

沒有成熟可靠的方案。而且上述方法需要對相機或圖像傳感器進行改造，甚至重新設(shè)計，在硬件設(shè)備上花費了大量精力，制造成本也大大提高，不宜在一般的科研項目中采用。

2.2 軟件擴展方法

軟件擴展方法原理：對被攝場景進行多次曝光成像，通過設(shè)置不同的曝光時間，改變系統(tǒng)探測的亮度范圍，獲取多幅不同曝光度的圖像，最后通過軟件方法將它們合成一幅高動態(tài)范圍圖像，恢復(fù)場景的細(xì)節(jié)信息。如下圖：

目前軟件擴展方法主要有兩種：基于相機響應(yīng)函數(shù)(CRF)的輻照度重建和多曝光圖像融合。

2.2.1 輻照度重建方法

輻照度重建方法處理過程：靜態(tài)場景拍攝多幅不同曝光度的低動態(tài)范圍圖像，利用圖像信息推算成像系統(tǒng)的響應(yīng)函數(shù)，再通過響應(yīng)函數(shù)逆運算得到場景的相對輻照度，用以合成高動態(tài)范圍圖像，并以浮點數(shù)保存。其中，相機響應(yīng)函數(shù)求解是關(guān)鍵的步驟 。

(1) 設(shè)相機和拍攝場景均處于靜態(tài)，且曝光時間足夠短，從而可以忽略拍攝過程場景的亮度變化 在多次曝光成像中，假設(shè)j次曝光時間為△t(j)。第i個像素接收的場景輻照度為E(i)，在獲得的第j幅圖像中，其像素值為Z(i,j)，公式如下：

(2) 假設(shè)相機響應(yīng)函數(shù)是一定區(qū)間下單調(diào)連續(xù)，即f函數(shù)可逆：

(3) 上述函數(shù)左右取對數(shù)，可得到：

(4) 設(shè)置函數(shù)g = lnf-1，可簡化為：

Delta t(j)和Z(i,j)為已知，函數(shù)g(z)和輻照度E(i)未知，其中Z(i,j)取值為離散且有限的，因此我們并不需要求解g(z)的完整解析式，只需在Z的取值范圍中恢復(fù)g(Z)的有限個取值即可。假設(shè)像素值的最大值和最小值分別為Zmax和Zmin。像素采樣點為N，曝光次數(shù)為P。為了確定(Zmax-Zmin+1)個g(z)和N個E(i)的值，使之滿足上述公式，定義如下目標(biāo)函數(shù)：

目標(biāo)函數(shù)第一項是為了使所求得的解具有最小的方差，第二項則是對函數(shù)g進行平滑約束，其中r為平滑約束權(quán)重。此外，在過度曝光和曝光不足的區(qū)域，受傳感器動態(tài)范圍及噪聲影響，像素點的輸出值往往不夠穩(wěn)定。為此，引入權(quán)重函數(shù)W(z)，衡量像素值的可信程度，減小邊界采樣對求解函數(shù)g的影響。

此時目標(biāo)函數(shù)修改為：

至此，函數(shù)g的求解變?yōu)槟繕?biāo)函數(shù)的最小化問題。由于甙z)的取值有限，只要選取足夠的采樣點，就可以將目標(biāo)函數(shù)轉(zhuǎn)化為一個超定方程組，可以通過奇異值分解求得甙z)的最小二乘解，進而利用單調(diào)性計算出相機響應(yīng)函數(shù)。如下一組多曝光LDR圖計算后的相機響應(yīng)函數(shù)如下：

(5) 根據(jù)上述步驟即可得到相機的響應(yīng)函數(shù)，則場景相對輻照度計算較為容易，如下式：

通常，為了降低圖像噪聲及飽和像素值的影響，在計算第i個像素對應(yīng)的輻照度時，盡可能地利用其在所有輸入圖像中的像素值，并再次引入權(quán)重函數(shù)w(z)。通過如下公式計算：

在獲得場景的相對輻照度數(shù)據(jù)后，將其以特定的圖像格式存儲，一就得到了場景的高動態(tài)范圍圖像。在處理彩色圖像時，可以有兩種方法。一種方法是分R、G、B三個顏色通道計算相機響應(yīng)函數(shù)，求出各通道對應(yīng)的相對輻照度，最后調(diào)節(jié)比例參數(shù)進行白平衡處理。另一種方法是，將RGB圖像轉(zhuǎn)換至HSV空間，恢復(fù)V通道的高動態(tài)范圍數(shù)據(jù)。

2.2.2 多曝光圖像融合

輻照度重建法合成的HDR圖像質(zhì)量十分地依賴于相機響應(yīng)函數(shù)的計算精度，拍攝過程相機抖動或景物微小移動會對計算結(jié)果造成較大影響，因此最新提出了多曝光融合方法。從圖像融合的角度出發(fā)，從曝光度不同的LDR圖像序列提取信息合成一幅高質(zhì)量LDR圖像，其視覺效果相當(dāng)于一幅局部自適應(yīng)曝光的“高動態(tài)范圍圖像”。常見的多曝光融合方法可以分為像素級融合、特征級融合 、決策級融合。

像素級融合主要針對原始圖像數(shù)據(jù)進行融合，融合前未進行圖像綜合分析與處理。這一層次的融合數(shù)據(jù)準(zhǔn)確性最高，能夠提供豐富、可靠的細(xì)節(jié)信息，應(yīng)用最為廣泛 。

特征級融合則針對圖像特征信息進行融合。首先從原始數(shù)據(jù)中提出特征信息，如邊緣、紋理、運動方向、視覺顯著性等，然后進行特征分析與綜合處理。相比于像素級融合，特征級融合能夠降低噪聲影響，提高魯棒性。

決策級融合是層次最高的信息融合，模擬人類學(xué)習(xí)與思考過程，對圖像信息進行邏輯推理與統(tǒng)計分析，設(shè)定一定規(guī)則對信息進行融合。

本文描述的是基于曝光適度評價的快速融合，屬于特征級融合范圍。曝光適度評價的快速融合是指使用權(quán)值圖對不同曝光度圖像序列進行加權(quán)融合，因此，高效確定融合權(quán)重值的成像質(zhì)量評價標(biāo)準(zhǔn)是算法研究的關(guān)鍵。算法流程如下：

(1) 曝光適度評價

早期曝光適度評價方法：以像素的歸一化像素值與O，5的接近程度評價曝光適度，其評價數(shù)值體現(xiàn)為像素的融合權(quán)重分量，并利用高斯模型進行計算，權(quán)重值計算如下：

該權(quán)重公式可以盡可能地保留每幅輸入圖像中像素值在0.5附近的像素信息，這樣容易丟失場景灰暗和明亮處的細(xì)節(jié)。因為以固定值0.5作為最佳像素值不能顯著區(qū)分這些區(qū)域內(nèi)不同像素間的差異，不利于提取區(qū)域內(nèi)的細(xì)節(jié)信息。 因此為了保證圖像信息沒有丟失，將0.5修改為像素均值方式。對于同一場景的N幅不同曝光度圖像，以I(i,x，Y)表示第i幅圖像中坐標(biāo)為(x，Y)處的像素，其曝光適度評價指標(biāo)為：

其中：

從上述公式中，一方面，為保證較為理想的人眼視覺感受，u(x，y)的取值應(yīng)在0.5附近；另一方面，為體現(xiàn)場景真實的亮暗對比信息，需從場景有限次數(shù)的采樣中近似地獲取其亮度信息。u(x,y)取O．5與該均值的加權(quán)和，權(quán)重因子p為細(xì)節(jié)信息與亮暗對比信息平衡參數(shù)。

(2) 分塊處理

根據(jù)實驗測試驗證，若使用上述曝光適度評價方法獲得的權(quán)重值對輸入圖像直接進行加權(quán)融合，生成圖像會出現(xiàn)像素值變化過快、顏色異常的現(xiàn)象 ，如下圖：

基于圖像區(qū)域分析的融合算法具有較高的魯棒性，將圖像劃分為不同區(qū)域，并將上述曝光適度評價方法應(yīng)用于圖像分塊區(qū)域，既能保留景物的局部特性，又能避免隨機噪聲影響，同時還可以大幅度提高計算效率。將圖像分割為均勻大小的矩形分塊。將每幅輸入圖像分割為b×b大小的M個矩形分塊，以B(i,j)表示第i幅圖像的第j個分塊。為了綜合圖像的局部特性，計算每個分塊的像素值均值 ：

利用上述曝光適度評價方法對分塊圖像的成像質(zhì)量進行衡量，以分塊均值作為該分塊區(qū)域的“像素值”，并將分塊區(qū)域視為單個“像素"，利用權(quán)重公司計算得到每個分塊對應(yīng)的曝光適度評價值。若分塊內(nèi)的像素直接以該評價值作為權(quán)重值，進行融合，融合圖像會在分塊邊界處出現(xiàn)明顯的不連續(xù)現(xiàn)象，需要進一步處理融合圖像以消除圖像塊效應(yīng)。

因此，需要基于分塊模式優(yōu)化權(quán)重圖，考慮塊內(nèi)部像素分布，針對分塊B(i,j)內(nèi)位置坐標(biāo)為(x，y)的像素，利用B(i,j)的8鄰域內(nèi)的分塊曝光適度評價值聯(lián)合確定該像素的權(quán)重值：

其中融合函數(shù)G(x，y)為峰值位于分塊中心的二維高斯函數(shù)，高斯標(biāo)準(zhǔn)差、 的取值與分塊寬度b有關(guān)：

(3) 圖像融合

將前面得到各輸入圖像的權(quán)值圖，對其做歸一化處理使得融合結(jié)果連續(xù)而自然，公式如下：

歸一化權(quán)值圖形，(x，Y)與對應(yīng)曝光度圖像加權(quán)疊加即可得到最終的融合圖像：

在處理彩色圖像時，算法注重場景的亮度信息，因此將輸入圖像轉(zhuǎn)換到Y(jié)CbCr空間，對亮度信息和顏色信息分別進行處理。此外，在計算Cb、Cr色差通道數(shù)據(jù)時，將曝光適度評價中的u(x,y)設(shè)置為固定值0.5，并省略公式分塊權(quán)重值融合的步驟，結(jié)果表明，仍可得到良好的融合效果，進一步減少了算法的運算量，提高了計算效率。