基于多曝光圖像生成的低照度圖像增強(qiáng)方法

低照度圖像會(huì)使很多計(jì)算機(jī)視覺算法的魯棒性降低，嚴(yán)重影響機(jī)器人領(lǐng)域的許多視覺任務(wù)，如自動(dòng)駕駛、圖像識(shí)別以及目標(biāo)追蹤等。為獲取具有更多細(xì)節(jié)信息以及更大動(dòng)態(tài)范圍的增強(qiáng)圖像，提出了一種基于多曝光圖像生成的低照度圖像增強(qiáng)方法。該方法通過分析真實(shí)拍攝的多曝光圖像，發(fā)現(xiàn)不同曝光時(shí)長(zhǎng)的圖像的像素值之間存在線性關(guān)系，使得正交分解的思想可以應(yīng)用于多曝光圖像生成。多曝光圖像是根據(jù)物理成像機(jī)制生成的，與真實(shí)拍攝圖像更為相近。在將原圖分解得到光照不變量和光照分量后，通過設(shè)計(jì)自適應(yīng)算法生成不同的光照分量，再與光照不變量合成可以得到多曝光圖像。最后利用多曝光圖像融合方法獲取具有更大動(dòng)態(tài)范圍的增強(qiáng)圖像。該融合結(jié)果與輸入圖像保持一致，最終的增強(qiáng)圖像可有效保留原始圖像的色彩，自然度高。在真實(shí)拍攝的低照度圖像公開數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)并與現(xiàn)有先進(jìn)算法進(jìn)行對(duì)比，結(jié)果表明，本文方法得到的增強(qiáng)圖像與參考圖像之間的結(jié)構(gòu)相似性提高了2.1%，特征相似性提高了4.6%，增強(qiáng)圖像與參考圖像更接近且自然度更高。

在低光照條件下或相機(jī)曝光時(shí)間不足的情況下拍攝的圖像稱為低照度圖像。低照度圖像通常具有低亮度、低對(duì)比度以及結(jié)構(gòu)信息模糊的特點(diǎn)，這給很多機(jī)器人視覺任務(wù)帶來了困難，如低照度圖像的人臉識(shí)別、目標(biāo)跟蹤[1]、自動(dòng)駕駛[2]、特征提取[3]等任務(wù)。低照度圖像的增強(qiáng)方法不僅可以改善圖像的視覺效果，還可以提高后續(xù)機(jī)器人視覺任務(wù)算法的魯棒性，具有重要的實(shí)際應(yīng)用價(jià)值。

根據(jù)是否需要依賴大量的數(shù)據(jù)進(jìn)行訓(xùn)練，目前已有的低照度圖像增強(qiáng)算法可以分為傳統(tǒng)方法和基于深度學(xué)習(xí)的方法兩類。在傳統(tǒng)的低照度圖像增強(qiáng)方法中，基于直方圖的方法[4-5]通過調(diào)整圖像的直方圖來提高圖像的對(duì)比度，達(dá)到增強(qiáng)低照度圖像的目的，這類方法簡(jiǎn)單高效，但缺乏物理機(jī)制，常常導(dǎo)致圖像的過增強(qiáng)或欠增強(qiáng)，并且圖像的噪聲也會(huì)被明顯地放大。基于Retinex理論[6]的方法先通過將圖像分解得到光照分量和反射分量，再分別進(jìn)行增強(qiáng)。Wang等[7]設(shè)計(jì)了一個(gè)低通濾波器將圖像分解為反射圖像和光照?qǐng)D像，并使用一個(gè)雙對(duì)數(shù)變換對(duì)圖像進(jìn)行增強(qiáng)來平衡自然度和圖像細(xì)節(jié)。Guo等[8]先對(duì)低照度圖像的RGB三通道取最大值得到一個(gè)初始的光照?qǐng)D像，再通過結(jié)構(gòu)先驗(yàn)信息來修正初始光照，使用伽馬校正法調(diào)整圖像亮度，再將調(diào)整后的光照?qǐng)D像與反射圖像合成得到最終的增強(qiáng)結(jié)果。Ren等[9]提出了一種抑制噪聲的序列評(píng)估模型來分別估計(jì)光照分量和反射分量，在這種噪聲抑制的序列分解過程中，對(duì)每個(gè)分量進(jìn)行空間平滑并巧妙地利用權(quán)重矩陣來抑制噪聲和提高對(duì)比度，最后將估計(jì)得到的反射分量與伽馬校正后的光照分量合并得到增強(qiáng)圖像，最終達(dá)到低照度增強(qiáng)聯(lián)合去噪的目的。

基于深度學(xué)習(xí)的方法[10-13]通過對(duì)大量數(shù)據(jù)的訓(xùn)練，在低照度圖像增強(qiáng)上取得了很好的效果。Lore等[10]最先提出了一個(gè)用于對(duì)比度增強(qiáng)和噪聲消除的深度自動(dòng)編碼器來增強(qiáng)低照度圖像。Wei等[11]將Retinex模型和深度神經(jīng)網(wǎng)絡(luò)結(jié)合用于低照度圖像增強(qiáng)中。Jiang等[12]利用生成式對(duì)抗網(wǎng)絡(luò)實(shí)現(xiàn)了低照度圖像增強(qiáng)模型，該模型無(wú)需使用配對(duì)的訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練。Guo等[13]將低照度圖像增強(qiáng)任務(wù)轉(zhuǎn)換為一項(xiàng)具有深度網(wǎng)絡(luò)的特定曲線估計(jì)任務(wù)。這些基于深度學(xué)習(xí)的方法的訓(xùn)練過程通常需要耗費(fèi)大量的時(shí)間和計(jì)算資源。并且這些方法的效果在很大程度上取決于訓(xùn)練數(shù)據(jù)，不準(zhǔn)確的參考圖像會(huì)影響訓(xùn)練結(jié)果，比如在真實(shí)拍攝的正常光照?qǐng)D像中，由于光照不均勻可能存在局部高光照區(qū)域過曝光或局部低光照區(qū)域欠曝光的問題。

在低照度圖像增強(qiáng)中，不均勻的光照也是一個(gè)需要解決的問題。對(duì)于局部低照度圖像來說，將圖像亮度提升過高會(huì)導(dǎo)致圖像的高光照區(qū)域過曝光，而亮度提升不足又無(wú)法將低光照區(qū)域的圖像細(xì)節(jié)信息展示出來。得益于拍照設(shè)備的進(jìn)步，可以固定拍照設(shè)備并在短時(shí)間內(nèi)獲取不同曝光時(shí)長(zhǎng)的圖像，并將拍攝所得的一組圖像融合得到具有更大動(dòng)態(tài)范圍的圖像。Wang等[14]在YUV色彩空間中設(shè)計(jì)了一種基于邊緣信息保留的平滑多尺度曝光融合算法，可以同時(shí)保留場(chǎng)景中高光照區(qū)域和低光照區(qū)域中的細(xì)節(jié)，為了彌補(bǔ)融合過程中丟失的細(xì)節(jié)信息，設(shè)計(jì)了一個(gè)矢量場(chǎng)構(gòu)造算法從矢量字段中提取可見的圖像細(xì)節(jié)，且該方法可避免圖像融合過程中出現(xiàn)的顏色失真。圖像融合的方法雖然可以有效地提高圖像動(dòng)態(tài)范圍，但需要預(yù)先獲取一組不同曝光時(shí)長(zhǎng)的圖像，無(wú)法對(duì)單張低照度圖像增強(qiáng)。拍攝動(dòng)態(tài)場(chǎng)景或拍攝時(shí)相機(jī)發(fā)生抖動(dòng)都會(huì)使得所拍攝的圖像對(duì)準(zhǔn)困難，進(jìn)而導(dǎo)致融合結(jié)果中存在偽影。

為了將圖像融合的方法應(yīng)用到低照度圖像增強(qiáng)中達(dá)到提高圖像動(dòng)態(tài)范圍的目的，需要先根據(jù)單張圖像生成一組用于融合的信息。目前已有一些方法將圖像融合的思想用于低照度圖像增強(qiáng)。其中，F(xiàn)u等[15]先通過一種基于形態(tài)學(xué)閉合的光照估計(jì)算法將圖像分解得到光照?qǐng)D像和反射圖像，再分別使用Sigmoid函數(shù)和自適應(yīng)直方圖均衡化算法對(duì)照明圖像進(jìn)行處理得到亮度提升后的光照?qǐng)D像和對(duì)比度增強(qiáng)的光照?qǐng)D像，將兩個(gè)增強(qiáng)后的光照?qǐng)D像進(jìn)行融合再與反射圖像合成得到最終的增強(qiáng)圖像。Cai等[16]采集了589組多曝光圖像，并用13種已有的方法對(duì)多曝光圖像進(jìn)行融合，選取最優(yōu)結(jié)果作為參考圖像，設(shè)計(jì)了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)在這個(gè)數(shù)據(jù)集上進(jìn)行訓(xùn)練，最終得到一個(gè)低照度圖像增強(qiáng)器?；趫D像融合的單張低照度圖像增強(qiáng)方法有效解決了圖像融合需要多張曝光圖像作為輸入圖像的問題，但Fu等[15]和Cai等[16]的方法仍然存在缺乏物理機(jī)制的問題。

針對(duì)目前方法存在的問題，本文提出了一個(gè)基于多曝光圖像生成的低照度圖像增強(qiáng)方法。首先從物理成像機(jī)制出發(fā)，分析了曝光圖像之間的關(guān)系，發(fā)現(xiàn)不同曝光時(shí)長(zhǎng)的圖像之間存在與陰影和非陰影圖像之間相似形式的關(guān)系?；诖?，首次提出將正交分解方法[17]用于多曝光圖像融合，即使用正交分解的方法將圖像分解得到光照分量與光照不變量，通過改變光照分量生成具有不同曝光時(shí)長(zhǎng)的圖像。再利用圖像融合的方法將生成圖像融合得到具有高動(dòng)態(tài)范圍的圖像。由于生成的圖像與真實(shí)拍攝的圖像比較接近，融合所得的增強(qiáng)圖像自然度也保持得很好。同時(shí)，由單張圖像生成的多曝光圖像是逐像素對(duì)應(yīng)的，融合結(jié)果不存在偽影，也解決了拍攝多曝光圖像時(shí)相機(jī)需要固定的問題。并且，本文方法無(wú)需依賴大量的數(shù)據(jù)進(jìn)行訓(xùn)練，具有很好的通用性。

2 多曝光圖像的生成與低照度圖像增強(qiáng)

本文方法主要包含3個(gè)部分：(1)圖像正交分解。將原圖分解得到一個(gè)光照分量和一個(gè)光照不變量。(2)多曝光圖像生成。通過改變光照分量的大小生成多曝光光照分量，并將其與原始光照不變量合成，得到多曝光圖像；(3)多曝光圖像融合。將多曝光圖像融合，得到最終增強(qiáng)后的圖像。圖 1所示為本文算法框架。

圖 1算法框架

2.1

多曝光圖像之間的線性關(guān)系

通過實(shí)驗(yàn)發(fā)現(xiàn)，在光照和相機(jī)參數(shù)固定的情況下所拍攝的不同曝光度的圖像之間存在線性關(guān)系，如圖 2所示，圖 2(a)為一組不同曝光時(shí)長(zhǎng)下拍攝的色板圖像，圖 2(b)分別展示了RGB三通道在不同曝光度下色板中24個(gè)顏色的真實(shí)像素值與擬合線，綠色圓圈代表了真實(shí)像素值，紅色實(shí)線代表擬合線，像素值均為伽馬校正前的RGB像素值，橫坐標(biāo)代表前4張色板圖像的像素值，縱坐標(biāo)代表第5張色板圖像的像素值。

圖 2實(shí)拍多曝光圖像的像素間的線性關(guān)系

圖 2中所示的線性關(guān)系可以表達(dá)為

(1)

其中E 和e 分別代表長(zhǎng)曝光時(shí)間和短曝光時(shí)間的像素值，H 代表R、G、B三個(gè)通道，L代表伽馬校正前的情形，KH為不同曝光下的像素之間的比值。由于3個(gè)通道的KH的擬合值大小近似，故在本文中，設(shè)置KR=KG=KB。

2.2

圖像正交分解

對(duì)式(1)中的進(jìn)行伽馬校正后可以得到：

(2)

這與同一物體在陰影區(qū)域和非陰影區(qū)域中的像素所展示出的RGB三通道之間的關(guān)系[18]有相似的表達(dá)形式。

與文[17]中相似，由式(1)可以得到：

(3)

其中

C可以由像素值計(jì)算得到。

對(duì)圖像中任一像素，像素值為，由式(3)可得：

(4)

本課題組首次在文[17]中提出正交分解方法，如式(5)所示：

(5)

其中u0為方程(4)的自由解，滿足Au0=0 ，∥u0∥=1 ，up是方程(4)滿足up⊥u0的唯一特解。圖像的任意一個(gè)像素所對(duì)應(yīng)的up與α 均可通過圖像的像素值計(jì)算得到。圖 3所示為陰影圖像中與多曝光圖像中正交分解的示意圖。通過線性代數(shù)可知自由解u0只與KH相關(guān)：在陰影圖像中，KH為只受光照條件影響的參數(shù)；在多曝光圖像中，KH為只受不同曝光時(shí)間下入射光影響的參數(shù)。而特解up垂直于自由解u0意味著特解up與自由解u0互相獨(dú)立正交，即特解up具有光照不變性質(zhì)。這意味著，對(duì)于一個(gè)給定的像素，無(wú)論該像素點(diǎn)在何種曝光時(shí)間下拍攝，在對(duì)該點(diǎn)的像素值進(jìn)行正交分解后都可得到一個(gè)垂直于自由解且不受不同曝光時(shí)間下入射光影響的唯一特解up，而α 的大小則體現(xiàn)了光照的變化。整張圖像的up組成了光照不變量，整張圖像的α 組成了光照分量。

圖 3陰影圖像與多曝光圖像中的正交分解示意圖

2.3

自適應(yīng)生成多曝光圖像

在得到原圖的光照不變量與光照分量后，對(duì)光照分量進(jìn)行增強(qiáng)或減弱即可得到具有不同曝光時(shí)長(zhǎng)的光照分量：

(6)

其中Δα 為光照增量，通過控制Δα 的大小，即可得到不同曝光時(shí)長(zhǎng)的光照分量。再通過式(7)即可生成不同曝光時(shí)長(zhǎng)的圖像：

(7)

最后根據(jù)式(8)對(duì)u′ 變換得到相應(yīng)RGB空間內(nèi)的像素值，其中13×1表示3×1 維的全1矩陣。

(8)

圖 4所示為一組真實(shí)拍攝的多曝光圖像和通過控制Δα 的大小生成的多曝光圖像，生成圖像均為通過將實(shí)拍圖 1作為原始圖像生成所得。從圖中可以看出，生成圖像與實(shí)拍圖像之間的差異隨著生成圖像與原始圖像之間的亮度差的增大而增大。

圖 4一組實(shí)拍多曝光圖像與生成的多曝光圖像

為了自動(dòng)地生成具有不同曝光時(shí)長(zhǎng)的多曝光圖像，設(shè)計(jì)了自適應(yīng)生成多曝光圖像的算法，可以根據(jù)原圖的亮度自動(dòng)選擇光照增量Δα 的大小，并生成N 張不同曝光時(shí)長(zhǎng)的圖像。

將圖像中任一像素（像素值v=[vR,vG,vB]T的亮度定義如下：

(9)

整張圖像的亮度L如下：

(10)

其中p 代表整個(gè)圖像的像素總數(shù)。

記N張生成圖像所對(duì)應(yīng)的光照增量為Δαi，i= 1,2,?,N ，首先確定其中最小的光照增量Δα1和最大的光照增量ΔαN，之后在Δα1到ΔαN之間根據(jù)式(11)均勻生成N個(gè)光照增量：

(11)

當(dāng)L<0.3 時(shí)，只生成光照分量增大的圖像，即令最小的光照增量Δα1=0 。根據(jù)式(12)求最大的光照增量ΔαN?：

(12)

其中，

(13)

其中，分別代表原像素在光照分量增加了ΔαN?之后的R、G、B三通道的像素值。

由于生成圖像與原圖之間的光照增量越大，所生成的圖像與真實(shí)的不同曝光圖像之間的誤差越大，故當(dāng)ΔαN>1.2 時(shí)，令ΔαN=1.2 。

當(dāng)L>0.3 時(shí)，既生成光照分量增大的圖像，也生成光照分量減小的圖像。ΔαN的獲取方式與當(dāng)L<0.3 時(shí)的方式相同。根據(jù)式(14)求Δα1?：

(14)

其中，

(15)

其中分別代表原像素在光照分量增加了Δα1之后的R、G、B三通道的像素值。當(dāng)Δα1

本文中設(shè)置N= 5，圖 5所示為一組自適應(yīng)生成的多曝光圖像。從圖中可以看出，生成圖 5在低光照區(qū)域的雕塑上得到了顯著增強(qiáng)，但在高光照區(qū)域（即窗外場(chǎng)景中）過曝光；而在生成圖 3中，高光照區(qū)域得到了合適的曝光，但低光照區(qū)域欠曝光。上述現(xiàn)象說明模擬自然拍攝生成的不同曝光圖像無(wú)法同時(shí)恰當(dāng)?shù)卣故境龈吖庹諈^(qū)域和低光照區(qū)域的圖像信息。

圖 5一組自適應(yīng)生成的多曝光圖像

2.4

多曝光圖像融合

為了得到更大動(dòng)態(tài)范圍的增強(qiáng)圖像，本文采用多尺度曝光融合方法[14]將多曝光圖像融合生成最終的增強(qiáng)圖像。與該方法利用拍攝所得的一組多曝光圖像進(jìn)行融合不同，本文將單張圖像自適應(yīng)生成的N 張不同曝光圖像用于融合，實(shí)現(xiàn)了對(duì)單張低照度圖像的增強(qiáng)，并且可以有效避免拍攝動(dòng)態(tài)場(chǎng)景或相機(jī)抖動(dòng)所帶來的偽影問題。具體算法如下：

(1) 根據(jù)原圖通過2.3節(jié)中的方法生成N 張多曝光圖像Qk（k=1,2,?,N ），本文中設(shè)置 N= 5。

(2) 將Qk（k=1,2,?,N ），從RGB顏色空間轉(zhuǎn)換到Y(jié)UV顏色空間得到 Ik（k=1,2,?,N ）。

(3) 根據(jù)式(16)計(jì)算多曝光圖像的加權(quán)圖：

(16)

其中i,j 代表像素位置，C、S、E和B分別代表根據(jù)對(duì)比度、飽和度、曝光時(shí)長(zhǎng)以及圖像亮度計(jì)算得到的權(quán)重，具體計(jì)算方法參考文[14]。為使得權(quán)重的和為1，對(duì)Wij,k歸一化得到。

(4) 對(duì)Ik和分別建立拉普拉斯金字塔和高斯金字塔得到，n 代表金字塔的層數(shù)，與文[14]相同，n=?log2min(h,w)??2 ，h 和w 分別代表圖像的行數(shù)和列數(shù)，??? 為向下取整符號(hào)。

(5) 對(duì)1到n?1 層金字塔根據(jù)式(17)進(jìn)行融合：

(17)

(6) 對(duì)第n層金字塔根據(jù)式(18)進(jìn)行融合：

(18)

代表高斯濾波器，用于平滑，當(dāng)k= 1,2時(shí)，令β=1.5 ；當(dāng)k=3,4,5 時(shí)，令β=0 。

(7) 由下式得到最終的低照度圖像增強(qiáng)結(jié)果：

(19)

3 實(shí)驗(yàn)結(jié)果與分析

3.1

參數(shù)設(shè)置

為了確定生成多曝光圖像張數(shù)N與算法性能之間的關(guān)系，在LOL數(shù)據(jù)集[11]的500張圖像上對(duì)本文算法進(jìn)行測(cè)試，并采用3個(gè)評(píng)價(jià)指標(biāo)對(duì)N取不同值時(shí)的增強(qiáng)結(jié)果進(jìn)行評(píng)價(jià)，如圖 6所示。

圖 6參數(shù)N的選擇與LOL數(shù)據(jù)集上的評(píng)價(jià)結(jié)果

峰值信噪比（PSNR）、結(jié)構(gòu)相似性（SSIM）和特征相似性（FSIM）[19]這3個(gè)全參考的評(píng)價(jià)指標(biāo)，均為值越大說明增強(qiáng)效果越好。從圖 6中可以看出，指標(biāo)PSNR先是隨著N的增大而提高，在 N= 4時(shí)達(dá)到最大，之后隨著N的增大而降低，這是因?yàn)楫?dāng) N太小時(shí)輸入信息不足，而當(dāng)N太大時(shí)融合結(jié)果中的噪聲會(huì)被放大，指標(biāo)PSNR反而會(huì)降低；指標(biāo)SSIM隨著 N的增大而提高，這是因?yàn)楫?dāng)輸入圖像增多，提供的信息也隨之增多，融合所得結(jié)果的結(jié)構(gòu)也越清晰；指標(biāo)FSIM在N= 2時(shí)較低，在N> 2時(shí)N的取值對(duì)指標(biāo)FSIM影響不大。綜合考慮這3個(gè)指標(biāo)，本文中將N設(shè)置為5。

3.2

公開數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)

本節(jié)分別從主觀恢復(fù)效果和客觀評(píng)價(jià)指標(biāo)2個(gè)方面，對(duì)本文方法與5個(gè)代表性的低照度增強(qiáng)方法在2個(gè)公開數(shù)據(jù)集的測(cè)試集上進(jìn)行對(duì)比。其中，NPE方法[7]、LIME方法[8]、JED方法[9]為傳統(tǒng)方法，RetinexNet方法[11]和ZeroDCE++方法[13]為基于深度學(xué)習(xí)的方法。LOL數(shù)據(jù)集[11]的測(cè)試集包含15組圖像，其中低照度圖像和參考圖像均為相機(jī)拍攝所得。MIT數(shù)據(jù)集[20]的測(cè)試集包含500組圖像，其中低照度圖像為相機(jī)拍攝所得，參考圖像為由5位攝影師（A/B/C/D/E）利用軟件手動(dòng)調(diào)整所得，本文采用攝影師C的調(diào)整結(jié)果作為參考圖像，并將圖像轉(zhuǎn)為400×400像素大小的PNG格式圖像用于測(cè)試。圖 7展示了LOL測(cè)試集[11]上的低照度圖像增強(qiáng)結(jié)果，圖 8和圖 9分別展示了MIT測(cè)試集[20]上的室外和室內(nèi)低照度圖像增強(qiáng)結(jié)果。從圖 7可以看出，本文方法的增強(qiáng)結(jié)果與參考圖像最為接近，說明本文方法的增強(qiáng)結(jié)果最接近真實(shí)拍攝圖像。NPE方法[7]成功提升了圖像的亮度，且增強(qiáng)了圖像的飽和度，使得圖像色彩更鮮明，但是在一些情況下會(huì)存在顏色失真的問題，如在圖 9(a)的恢復(fù)結(jié)果中臉部皮膚泛紅，在圖 9(b)的恢復(fù)結(jié)果中黑色衣服發(fā)白。

LIME方法[8]同樣成功提升了圖像的亮度，且圖像的對(duì)比度得到了增強(qiáng)，但存在局部高光照區(qū)域過增強(qiáng)的問題，如在圖 9(e)的恢復(fù)結(jié)果中，臉部由于過增強(qiáng)得到了過曝光的增強(qiáng)結(jié)果。JED方法[9]的增強(qiáng)結(jié)果中圖像亮度略低于其他方法，且去噪算法導(dǎo)致恢復(fù)圖像存在過平滑現(xiàn)象而缺失細(xì)節(jié)紋理信息。RetinexNet方法[11]的增強(qiáng)結(jié)果很好地突出了圖像的結(jié)構(gòu)信息，但是增強(qiáng)圖像與真實(shí)拍攝圖像的風(fēng)格差異較大，存在不自然的問題。ZeroDCE++方法[13]同樣存在增強(qiáng)結(jié)果的風(fēng)格變化問題，如圖 8(b)和圖 9中所示，ZeroDCE++方法[13]的增強(qiáng)結(jié)果發(fā)白。與以上方法相比，本文方法的增強(qiáng)結(jié)果對(duì)原始色彩的保持更好，與真實(shí)拍攝圖像的顏色更接近，且能夠成功地將高光照區(qū)域和低光照區(qū)域的圖像信息同時(shí)展現(xiàn)在增強(qiáng)結(jié)果中，沒有對(duì)高光照區(qū)域過增強(qiáng)導(dǎo)致過曝光。

圖 7LOL測(cè)試數(shù)據(jù)集[11]上低照度圖像的增強(qiáng)結(jié)果

圖 8MIT測(cè)試數(shù)據(jù)集[20]上室外低照度圖像的增強(qiáng)結(jié)果

圖 9MIT測(cè)試數(shù)據(jù)集[20]上室內(nèi)低照度圖像的增強(qiáng)結(jié)果

為了定量評(píng)價(jià)本文方法的增強(qiáng)效果，采用全參考的評(píng)價(jià)指標(biāo)PSNR、SSIM和FSIM[19]對(duì)各個(gè)方法的增強(qiáng)結(jié)果進(jìn)行評(píng)價(jià)。其中PSNR越大，說明增強(qiáng)結(jié)果與參考圖像在像素值上越接近；SSIM越大，說明增強(qiáng)結(jié)果與參考圖像在結(jié)構(gòu)上越接近；FSIM越大，說明增強(qiáng)結(jié)果與參考圖像在特征上越接近。

表 1給出了LOL測(cè)試集[11]上不同方法的定量評(píng)價(jià)結(jié)果，表 2給出了MIT測(cè)試集[20]上不同方法的定量評(píng)價(jià)結(jié)果。其中最優(yōu)的指標(biāo)值以紅色表示，次優(yōu)的指標(biāo)值以藍(lán)色表示。從表 1可以看出，本文方法在LOL測(cè)試集[11]上3個(gè)評(píng)價(jià)指標(biāo)均最優(yōu)，即本文方法得到了與真實(shí)拍攝圖像最為接近的增強(qiáng)結(jié)果。從表 2可以看出，本文方法在MIT測(cè)試集[20]上SSIM和FSIM均取得最優(yōu)結(jié)果，PSNR取得了次優(yōu)的結(jié)果，說明本文方法的增強(qiáng)結(jié)果與手工調(diào)整的參考圖像在結(jié)構(gòu)和特征上最為接近。

表 1LOL測(cè)試集[11]上的定量評(píng)價(jià)結(jié)果

表 2MIT測(cè)試集[20]上的定量評(píng)價(jià)結(jié)果

3.3

多曝光融合實(shí)驗(yàn)分析

本節(jié)首先對(duì)本文所生成的多曝光圖像與固定相機(jī)拍攝的多曝光圖像在融合增強(qiáng)性能方面進(jìn)行了對(duì)比，效果如圖 10所示。其中圖 10(a)(b)為固定相機(jī)后拍攝的具有不同曝光時(shí)長(zhǎng)的圖像，圖 10(c)為本文方法將圖 10(a)作為輸入圖像得到的增強(qiáng)結(jié)果，圖 10(d)為將圖 10(a)(b)作為輸入圖像融合得到的結(jié)果。從圖中可以看出，本文方法增強(qiáng)結(jié)果圖 10(c)的對(duì)比度好于實(shí)拍多曝光圖像的融合結(jié)果圖 10(d)，并且從紅框放大區(qū)域可以看出，本文方法結(jié)果的清晰度要更高。從圖 10(d)的黃框中可以看到，由于拍攝到動(dòng)態(tài)場(chǎng)景（騎摩托車的人）而在融合中產(chǎn)生了偽影，但此問題在本文方法的結(jié)果中則不存在。

圖 10本文方法與實(shí)拍多曝光圖像融合結(jié)果對(duì)比

其次，對(duì)本文生成的多曝光圖像融合結(jié)果與單一增加曝光結(jié)果進(jìn)行了圖像增強(qiáng)效果對(duì)比，如圖 11所示。在僅僅增加曝光量的實(shí)驗(yàn)結(jié)果中，原圖像中光照低的部分（如建筑）得到了明顯的增強(qiáng)，但原圖像中光照高的部分（如天空和燈）則由于過曝光而丟失了原有圖像的信息，在多曝光融合的結(jié)果中，則成功將低光照和高光照部分的信息同時(shí)保留，說明本文方法可以在有效提高圖像亮度的同時(shí)得到具有更大動(dòng)態(tài)范圍的增強(qiáng)結(jié)果。

圖 11多曝光融合結(jié)果與增加曝光結(jié)果對(duì)比

4 結(jié)論

提出了一個(gè)基于多曝光圖像生成的低照度圖像增強(qiáng)方法。該方法基于物理機(jī)制，根據(jù)單張低照度圖像生成多曝光圖像，實(shí)現(xiàn)了單張圖像的低照度增強(qiáng)，其效果優(yōu)于一些現(xiàn)有的單張低照度圖像增強(qiáng)方法以及多張曝光圖像融合的方法。本文提出的根據(jù)單張低照度圖像進(jìn)行增強(qiáng)的方式，可有效避免偽影的產(chǎn)生，與使用多張曝光圖像進(jìn)行融合的方式相比具有更好的通用性。

審核編輯：劉清