去噪效果對(duì)比的主觀表現(xiàn)

一種基于 Bayer 型圖像數(shù)據(jù)的自適應(yīng)非局部均值濾波算法

針對(duì)非局部均值降噪算法在 Bayer 型圖像數(shù)據(jù)上的應(yīng)用優(yōu)化，提出一種自適應(yīng)平滑系數(shù)優(yōu)化算法?；诋?dāng)前局部均方差以及均值的比值確定噪聲系數(shù)，根據(jù)噪聲系數(shù)確定劃分區(qū)域，自適應(yīng)調(diào)整非局部均值降噪的平滑系數(shù)，提高紋理區(qū)域的細(xì)節(jié)表現(xiàn)。同時(shí)融合 LOG 變換之后的降噪優(yōu)化數(shù)據(jù)，提高圖像中暗部區(qū)域的降噪表現(xiàn)。此優(yōu)化算法較傳統(tǒng)的非局部均值算法在主觀體驗(yàn)上有較大的改善。

一種基于Bayer型圖像數(shù)據(jù)的自適應(yīng)非局部均值濾波算法。集成電路應(yīng)用， 2020， 37（04）： 13-15.

An Adaptive Non-local Mean Filtering Algorithm

Based on Bayer Image Data

WANG Yong， LI Yunsheng

Abstract — In order to optimize the application of non-local means denoising algorithm in Bayer image data， propose an adaptive smoothing coefficient optimization algorithm.Based on the ratio of the local mean square deviation and the mean value to determine the noise coefficient and the partition area determined by the noise coefficient， the smoothing coefficient of non-local mean noise reduction is adaptively adjusted to improve the detail performance of the texture region.At the same time， the optimized data of noise reduction after log transform is fused to improve the performance of noise reduction in the dark area of the image.Compared with the traditional non-local mean algorithm， this optimization algorithm has a greater improvement in subjective experience.

Index Terms — image denoising， bayer image data， non-local mean， adaptive.

圖像降噪技術(shù)是數(shù)字圖像處理領(lǐng)域的基礎(chǔ)技術(shù)之一。在整個(gè)圖像信號(hào)處理（Image Signal Processing，ISP）流程中，在后端處理降噪，圖像噪聲的性質(zhì)會(huì)變得更加復(fù)雜，增加更多的結(jié)構(gòu)性、彩色噪聲以及給噪聲帶來(lái)非線性的變化，所以越來(lái)越傾向于在 ISP 前端進(jìn)行降噪處理。經(jīng)典的降噪方法包含：均值濾波、中值濾波、高斯濾波、維納濾波等，傳統(tǒng)的空域去噪算法是基于單個(gè)像素的相似性例如雙邊濾波，不能很好地保留邊緣和紋理細(xì)節(jié)，后來(lái) 2005 年 Buades 等根據(jù)圖像局部的相似性，提出了 NLM 降噪算法（Non-local Means Denoising Algorithm），相對(duì)于單個(gè)像素更好的表達(dá)了圖像的結(jié)構(gòu)。之后學(xué)者們還有提出基于圖像塊的相似性匹配然后進(jìn)行 3D 濾波概念的 BM3D 算法（Block-Matching and 3D filtering），但是由于 BM3D 算法所需要的資源特別龐大，在實(shí)時(shí)處理上會(huì)有一定的難度，所以在視頻流的 Bayer 型圖像數(shù)據(jù)降噪處理上還是以 NLM 算法為主。

NLM 算法雖然取得了不錯(cuò)的降噪效果，但是在參數(shù)h的設(shè)定上不明確，當(dāng)噪聲水平較強(qiáng)時(shí)，對(duì)于同一參數(shù) h 可能會(huì)存在某些部分過(guò)于模糊的情況，對(duì)于 ISP 后期的處理帶來(lái)不便。本文根據(jù)圖像局部的噪聲系數(shù)，并結(jié)合噪聲域非局部均值算法中濾波參數(shù)的關(guān)系，自適應(yīng)地獲取濾波參數(shù)，同時(shí)與 LOG 域算法相結(jié)合，提高了算法效果。

1 非局部圖像算法

假定噪聲圖像為式（1）。

F＝{ F（i）│i∈A } （1）

其中，A 為區(qū)域，F(xiàn)（i）為當(dāng)前圖像的像素值，f（i）為濾波后的像素值，NLM 算法表示為式（2）～式（4）。

其中，a 為高斯核函數(shù)的標(biāo)準(zhǔn)差；N（i）為以 i 為中心的圖像；d（i，j） 為以 i 為中心和以 j 為中心兩個(gè)圖像塊的相似距離，一般是表示為歐氏距離；w（i，j） 為兩個(gè)圖像塊之間的融合權(quán)重，表示兩個(gè)圖像塊之間的相似程度；I 代表以 i 為中心的搜索范圍; h 為平滑參數(shù)，控制降噪程度的系數(shù)；h 越大，越平滑。

2 改進(jìn)的非局部均值濾波算法

針對(duì)非局部均值濾波算法的不足，本文提出一種自適應(yīng)的且與 LOG 域算法相結(jié)合的非局部均值濾波算法。首先圖像轉(zhuǎn)化為 LOG 域，根據(jù)搜索框內(nèi)的局部方差判斷出原始圖像以及 LOG 變換后圖像的降噪系數(shù)h的選擇范圍，同時(shí)對(duì) h 有所限制。然后調(diào)整完之后根據(jù)降噪的平滑程度來(lái)進(jìn)行原始圖像降噪以及 LOG 變換后降噪的權(quán)重融合，此方法能夠有效地改善圖像質(zhì)量。

2.1 LOG 變換

LOG 變換主要用于將圖像的低灰度值部分?jǐn)U展，將其高灰度值部分壓縮，以達(dá)到強(qiáng)調(diào)圖像低灰度部分的目的，如式（5）。

s＝log（1＋F（i））/z（5）

這里的 F（i） 代表的是 Bayer 型圖像數(shù)據(jù)的像素值，如果是 12 bit 像素位寬，則 F（i）∈［0，4 095］；z 是歸一化系數(shù)，對(duì)于 12 bit 數(shù)據(jù)，z 的值為8.3178。

將原始 Bayer 型圖像 LOG 變換之后能夠凸顯暗部的噪聲，再進(jìn)行降噪處理后，與原始 Bayer 型圖像融合的同時(shí)能夠兼顧暗部的噪聲水平以及紋理表現(xiàn)。

2.2 平滑參數(shù)h的自適應(yīng)變化

平滑參數(shù)的自適應(yīng)變化主要依據(jù)局部的噪聲系數(shù)來(lái)確定。

局部的噪聲系數(shù)主要是依靠局部的均方差與均值的比值確定，注意局部評(píng)估是不區(qū)分 Bayer R/G/B 通道情況，整體評(píng)估，如式（6）。

CoefNoise 是噪聲系數(shù)，I 是領(lǐng)域搜索框，Num 是搜索框中的參與的數(shù)目個(gè)數(shù)。F（j）是位置為 j 的點(diǎn)的像素值，a 是噪聲系數(shù)的調(diào)整幅度。

根據(jù)文獻(xiàn)［6］可以得到平滑系數(shù) h＝3.3×σ2，σ是圖像的標(biāo)準(zhǔn)差。在 Bayer 域因?yàn)樵肼暤谋憩F(xiàn)與圖像的亮度相關(guān)，所以 CoefNoise 的大小是用局部的均方差以及亮度均值的比值來(lái)確定，劃分出平緩區(qū)域，過(guò)渡區(qū)域以及高頻區(qū)域，如式（7）。

sigmaMax 以及 sigmaMin 是給自適應(yīng)平滑系數(shù)規(guī)定的最大與最小值；sigmaMax 大于等于sigmaMin；sigmaMax 是影響高頻部分清晰度，sigmaMax 增大，高頻部分越平滑；sigmaMin 是影響平坦區(qū)域的降噪程度，sigmaMin 增大，平坦區(qū)域降噪程度越高。當(dāng) sigmaMax 以及 sigmaMin 為固定值時(shí)，a 影響整體降噪強(qiáng)度，a 增大，高頻區(qū)域增多， a 減小，高頻區(qū)域減少。

2.3 融合系數(shù)

LOG 域變換降噪之后需要與原始 Bayer 型圖像進(jìn)行融合，由于 LOG 變化之后主要對(duì)暗部區(qū)域進(jìn)行處理，對(duì)于亮部區(qū)域的經(jīng)過(guò) LOG 變換之后像素區(qū)域都接近飽和，局部標(biāo)準(zhǔn)差比較小，所以只有 LOG 變換之后只有在條件 CofNoise＞beta×sigmaMax 下才進(jìn)行融合，beta 作為確定暗部區(qū)域的系數(shù)，一般選取 0.95。融合過(guò)程為式（8）。

其中，output（i） 是輸出像素值，betaMix 是融合系數(shù)，一般是 0.5；f（i） 是正常 Bayer 圖像降噪之后的像素值，flog（i） 是經(jīng)過(guò) LOG 變換之后降噪的像素值。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)過(guò)程中，由于考慮到在實(shí)際應(yīng)用上運(yùn)算量的問(wèn)題，采用相似窗大小為 9×9，搜索框大小 3×3。實(shí)驗(yàn)中選取的測(cè)試圖片為采集得到的真實(shí)帶噪聲的 Bayer 數(shù)據(jù)圖片，圖像大小為 496×728。由于 NLM 是業(yè)內(nèi)公認(rèn)效果較好的降噪算法，所以對(duì)比的圖像測(cè)試效果是與常規(guī) NLM 以及優(yōu)化后的算法效果對(duì)比。

為原始 Bayer 型圖像帶噪聲數(shù)據(jù)與經(jīng)過(guò) Demosaic/AWB/Gamma 之后的 RGB 圖像， 為原始 Bayer 型圖像 GroudTruth 數(shù)據(jù)（不帶噪聲）與 為經(jīng)過(guò)Demosaic/AWB/Gamma之后的RGB圖像。為了更直觀地展現(xiàn)效果，接著的圖片是展現(xiàn)經(jīng)過(guò) Demosaic/AWB/Gamma 之后的效果。

3.1 去噪效果對(duì)比的主觀表現(xiàn)

為場(chǎng)景一的主觀效果圖， 為場(chǎng)景二的主觀效果圖。優(yōu)化后的算法較之前常規(guī) NLM 的算法有較好的視覺(jué)效果，在暗部區(qū)域以及紋理區(qū)域能夠較好地保持細(xì)節(jié)，為了能夠更好地展示效果，以及 把局部細(xì)節(jié)放大后顯示。

由于優(yōu)化后的算法根據(jù)局部的噪聲系數(shù)確定不同區(qū)間的平滑參數(shù)，通過(guò)最小噪聲系數(shù)限制平滑區(qū)域的降噪強(qiáng)度，避免平滑區(qū)域雖然噪聲較多，但是噪聲系數(shù)仍然較低降噪不完全的情況；通過(guò)最大噪聲系數(shù)限制強(qiáng)邊緣區(qū)域的降噪強(qiáng)度，避免強(qiáng)邊緣區(qū)域降噪強(qiáng)度過(guò)高，過(guò)渡區(qū)域（最小噪聲系數(shù)和最大噪聲系數(shù)之間）能夠自適應(yīng)調(diào)節(jié)平滑系數(shù)。同時(shí)由于 Bayer 數(shù)據(jù)像素亮度較低，通過(guò) LOG 變換后的降噪處理與變換前的降噪處理數(shù)據(jù)融合，能夠優(yōu)化暗部區(qū)域的噪聲水平，為后端的 Gamma 變換/色調(diào)映射等算法提供支持。從以及 可以看出平坦區(qū)域和強(qiáng)邊緣區(qū)域基本保持一致，從 中能夠明顯看出細(xì)節(jié)部分有明顯的增強(qiáng)，符合在 Bayer 型圖像數(shù)據(jù)降噪的時(shí)候保持住足夠的紋理信息，為后端算法處理留有空間的目的。

3.2 去噪效果對(duì)比的數(shù)據(jù)表現(xiàn)（峰值信噪比 PSNR 與信噪比 SNR）

為了進(jìn)一步確認(rèn)優(yōu)化后算法優(yōu)勢(shì)，本文增加兩組數(shù)據(jù)的峰值信噪比（PSNR）和信噪比（SNR）對(duì)比來(lái)說(shuō)明去噪效果，即采集同一場(chǎng)景的 60 幀數(shù)據(jù)，取平均合成了 GroundTruth 圖片作為無(wú)噪聲圖像，進(jìn)行對(duì)比。

可以看出，優(yōu)化后的算法在 PSNR、SNR 上都優(yōu)于經(jīng)典的 NLM 算法。由于主要的優(yōu)化區(qū)域是噪聲系數(shù)過(guò)渡區(qū)域（最小噪聲系數(shù)和最大噪聲系數(shù)之間）以及暗部區(qū)域，SNR 以及 PSNR 是整幅圖像對(duì)比計(jì)算，所以在主觀上有明顯優(yōu)化，但是從 SNR 以及 PSNR 的數(shù)值上不是很明顯。

4 結(jié)語(yǔ)

本文提出對(duì)于 Bayer 型圖像數(shù)據(jù) NLM 降噪算法優(yōu)化方法，將原來(lái)固定的平滑系數(shù)值自適應(yīng)化，結(jié)合局部的均方差以及亮度信息，以及 LOG 變換之后對(duì)于暗部區(qū)域的調(diào)整，能夠在原有 NLM 算法基礎(chǔ)上提高細(xì)節(jié)結(jié)構(gòu)的表現(xiàn)。通過(guò)根據(jù)真實(shí)噪聲的降噪效果展示，優(yōu)化后的 NLM 降噪算法在細(xì)節(jié)紋理上有明顯的提升。
責(zé)任編輯:pj