視頻圖像去模糊常用處理方法 - opencv二值化圖像去噪學(xué)習(xí)總結(jié)

　　視頻圖像去模糊常用處理方法

　　隨著“平安城市”的廣泛建設(shè)，各大城市已經(jīng)建有大量的視頻監(jiān)控系統(tǒng)，雖然監(jiān)控系統(tǒng)己經(jīng)廣泛地存在于銀行、商場、車站和交通路口等公共場所，但是在公安工作中，由于設(shè)備或者其他條件的限制，案情發(fā)生后的圖像回放都存在圖像不清晰，數(shù)據(jù)不完整的問題，無法為案件的及時偵破提供有效線索。經(jīng)常出現(xiàn)嫌疑人面部特征不清晰，難以辨認(rèn)，嫌疑車輛車牌模糊無法辨認(rèn)等問題。這給公安部門破案、法院的取證都帶來了極大的麻煩。隨著平安城市的推廣、各地各類監(jiān)控系統(tǒng)建設(shè)的進(jìn)一步推進(jìn)，此類問題會越來越突出。

　　一．模糊圖像產(chǎn)生的原因

　　1. 系統(tǒng)自身因素

　?。?）鏡頭聚焦不當(dāng)、攝像機故障等。

　?。?）傳輸太遠(yuǎn)、視頻線老化

　?。?）光學(xué)鏡頭的極限分辨率和攝像機不匹配導(dǎo)致的模糊;

　?。?）相機分辨率低，欠采樣成像。

　　2.　自然環(huán)境

　?。?）攝像機罩或鏡頭受臟污、受遮擋等。

　　（2）大霧，沙塵、雨雪等環(huán)境影響等。

　　3. 人為環(huán)境

　?。?）環(huán)境電磁干擾;

　?。?）視頻壓縮算法、傳輸帶寬導(dǎo)致的模糊。

　?。?）運動目標(biāo)高速運動導(dǎo)致的運動模糊等;

　　二。　模糊圖像常用的處理方法

　　對于模糊圖像處理技術(shù)，國內(nèi)大學(xué)和科研機構(gòu)在多年以前就在研究這些理論和應(yīng)用，相關(guān)文獻(xiàn)也發(fā)布了不少，已經(jīng)取得了一些很好的應(yīng)用。當(dāng)前有很多軟件已經(jīng)有了相當(dāng)成熟的一套模糊圖像恢復(fù)方法，在美國FBI及其他執(zhí)法機構(gòu)中已有多年實際應(yīng)用，其恢復(fù)出的圖像可以直接當(dāng)作法庭證據(jù)使用，可見模糊圖像處理技術(shù)已經(jīng)取得了相當(dāng)?shù)膶嶋H應(yīng)用。從技術(shù)方面來向，模糊圖像處理方法主要分為三大類，分別是圖像增強、圖像復(fù)原和超分辨率重構(gòu)。

　　2.1 圖像增強

　　增強圖象中的有用信息，它可以是一個失真的過程，其目的是要改善圖像的視覺效果，針對給定圖像的應(yīng)用場合，有目的地強調(diào)圖像的整體或局部特性，將原來不清晰的圖像變得清晰或強調(diào)某些感興趣的特征，擴(kuò)大圖像中不同物體特征之間的差別，抑制不感興趣的特征，使之改善圖像質(zhì)量、豐富信息量，加強圖像判讀和識別效果，滿足某些特殊分析的需要。圖像增強技術(shù)根據(jù)增強處理過程所在的空間不同，可分為基于空域的算法和基于頻域的算法兩大類。

　　前者把圖像看成一種二維信號，對其進(jìn)行基于二維傅里葉變換的信號增強。采用低通濾波（即只讓低頻信號通過）法，可去掉圖中的噪聲；采用高通濾波法，則可增強邊緣等高頻信號，使模糊的圖片變得清晰。具有代表性的空間域算法有局部求平均值法和中值濾波（取局部鄰域中的中間像素值）法等，它們可用于去除或減弱噪聲。

　　基于空域的算法分為點運算算法和鄰域去噪算法。點運算算法即灰度級校正、灰度變換和直方圖修正等，目的或使圖像成像均勻，或擴(kuò)大圖像動態(tài)范圍，擴(kuò)展對比度。鄰域增強算法分為圖像平滑和銳化兩種。平滑一般用于消除圖像噪聲，但是也容易引起邊緣的模糊。常用算法有均值濾波、中值濾波。銳化的目的在于突出物體的邊緣輪廓，便于目標(biāo)識別。常用算法有梯度法、算子、高通濾波、掩模匹配法、統(tǒng)計差值法等。

　　2.1.1 圖像增強的幾個方面及方法

　　1.對比度變換：線性變換、非線性變換

　　2.空間濾波：圖像卷積運算、平滑、銳化

　　3.彩色變換：單波段彩色變換、多波段彩色運算、HIS

　　4.多光譜變換：K-L變換、K-T變換

　　5.圖像運算：插值運算、比值運算

　　2.1.2 圖像增強的應(yīng)用概況

　　圖像增強的方法分為空域法和頻域法兩種，空域法是對圖像中的像素點進(jìn)行操作，用公式描述

　　如下：

　　g（x，y）=f（x，y）*h（x，y）

　　其中是f（x，y）原圖像；h（x，y）為空間轉(zhuǎn)換函數(shù)；g（x，y）表示進(jìn)行處理后的圖像。頻域法是間接的處理方法，是先在圖像的頻域中對圖像的變換值進(jìn)行操作，然后變回空域。例如，先對圖像進(jìn)行傅里葉變化到頻域，再對圖像的頻譜進(jìn)行某種濾波修正，最后將修正后的圖像進(jìn)行傅里葉反變化到空域，以此增強圖像。

　　很多傳統(tǒng)圖像算法都可以減輕圖像的模糊程度， 比如圖像濾波、幾何變換、對比度拉伸、直方圖均衡、空間域銳化、亮度均勻化、形態(tài)學(xué)、顏色處理等。單個來講，這些算法比較成熟，相對簡單。但是對于一個具體的模糊圖像，往往需要上面的一種或者多種算法組合，配合不同的參數(shù)才能達(dá)到理想的效果。

　　這些算法和參數(shù)的組合進(jìn)一步發(fā)展為具體的增強算法，比如“圖像去霧”算法（可參考何愷明經(jīng)典去霧算法）、“圖像去噪”算法、“圖像銳化”算法、“圖像暗細(xì)節(jié)增強”算法等。

　　2.2 圖像復(fù)原

　　2.2.1 圖像復(fù)原概述

　　在圖像的獲取、傳輸以及保存過程中，由于各種因素，如大氣的湍流效應(yīng)、攝像設(shè)備中光學(xué)系統(tǒng)的衍射、傳感器特性的非線性、光學(xué)系統(tǒng)的像差、成像設(shè)備與物體之間的相對運動、感光膠卷的非線性及膠片顆粒噪聲以及電視攝像掃描的非線性等所引起的幾何失真，都難免會造成圖像的畸變和失真。通常，稱由于這些因素引起的質(zhì)量下降為圖像退化。早期的圖像復(fù)原是利用光學(xué)的方法對失真的觀測圖像進(jìn)行校正，而數(shù)字圖像復(fù)原技術(shù)最早則是從對天文觀測圖像的后期處理中逐步發(fā)展起來的。其中一個成功例子是NASA的噴氣推進(jìn)實驗室在1964年用計算機處理有關(guān)月球的照片。照片是在空間飛行器上用電視攝像機拍攝的，圖像的復(fù)原包括消除干擾和噪聲，校正幾何失真和對比度損失以及反卷積。另一個典型的例子是對肯尼迪遇刺事件現(xiàn)場照片的處理。

? ? ? ?由于事發(fā)突然，照片是在相機移動過程中拍攝的，圖像復(fù)原的主要目的就是消除移動造成的失真。早期的復(fù)原方法有：非鄰域濾波法，最近鄰域濾波法以及效果較好的維納濾波和最小二乘濾波等。目前國內(nèi)外圖像復(fù)原技術(shù)的研究和應(yīng)用主要集中于諸如空間探索、天文觀測、物質(zhì)研究、遙感遙測、軍事科學(xué)、生物科學(xué)、醫(yī)學(xué)影象、交通監(jiān)控、刑事偵察等領(lǐng)域。如生物方面，主要是用于生物活體細(xì)胞內(nèi)部組織的三維再現(xiàn)和重構(gòu)，通過復(fù)原熒光顯微鏡所采集的細(xì)胞內(nèi)部逐層切片圖，來重現(xiàn)細(xì)胞內(nèi)部構(gòu)成；醫(yī)學(xué)方面，如對腫瘤周圍組織進(jìn)行顯微觀察，以獲取腫瘤安全切緣與癌腫原發(fā)部位之間關(guān)系的定量數(shù)據(jù)；天文方面，如采用迭代盲反卷積進(jìn)行氣動光學(xué)效應(yīng)圖像復(fù)原研究等。

　　2.2.2 圖像退化模型

　　圖像復(fù)原問題的有效性關(guān)鍵之一取決于描述圖像退化過程模型的精確性。要建立圖像的退化模型，則首先必須了解、分析圖像退化的機理并用數(shù)學(xué)模型表現(xiàn)出來。在實際的圖像處理過程中，圖像均需以數(shù)字離散函數(shù)表示，所以必須將退化模型離散化。

　　2.2.3 幾種較經(jīng)典的復(fù)原方法介紹

　　圖像復(fù)原算法有線性和非線性兩類。線性算法通過對圖像進(jìn)行逆濾波來實現(xiàn)反卷積，這類方法方便快捷，無需循環(huán)或迭代，直接可以得到反卷積結(jié)果，然而，它有一些局限性，比如無法保證圖像的非負(fù)性。而非線性方法通過連續(xù)的迭代過程不斷提高復(fù)原質(zhì)量，直到滿足預(yù)先設(shè)定的終止條件，結(jié)果往往令人滿意。但是迭代程序?qū)е掠嬎懔亢艽螅瑘D像復(fù)原時耗較長，有時甚至需要幾個小時。所以實際應(yīng)用中還需要對兩種處理方法綜合考慮，進(jìn)行選擇。

　　1）維納濾波法

　　維納濾波法是由Wiener首先提出的，應(yīng)用于一維信號處理，取得了很好的效果。之后，維納濾波法被用于二維信號處理，也取得了不錯的效果，尤其在圖像復(fù)原領(lǐng)域，由于維納濾波計算量小，復(fù)原效果好，從而得到了廣泛的應(yīng)用和發(fā)展。

　　2）正則濾波法

　　另一個容易實現(xiàn)線性復(fù)原的方法稱為約束的最小二乘方濾波，在IPT中稱為正則濾波，并且通過函數(shù)deconvreg來實現(xiàn)。

　　3）Lucy-Richardson算法

　　L-R算法是一種迭代非線性復(fù)原算法，它是從最大似然公式印出來的，圖像用泊松分布加以模型化的。當(dāng)?shù)諗繒r模型的最大似然函數(shù)就可以得到一個令人滿意的方程。

　　4）盲去卷積

　　在圖像復(fù)原過程中，最困難的問題之一是，如何獲得PSF的恰當(dāng)估計。那些不以PSF為基礎(chǔ)的圖像復(fù)原方法統(tǒng)稱為盲區(qū)卷積。它以MLE為基礎(chǔ)的，即一種用被隨機噪聲所干擾的量進(jìn)行估計的最優(yōu)化策略。工具箱通過函數(shù)deconvblind來執(zhí)行盲區(qū)卷積。

　　2.2.4 圖像復(fù)原與圖像增強

　　圖像復(fù)原與圖像增強技術(shù)一樣，也是一種改善圖像質(zhì)量的技術(shù)。圖像復(fù)原是根據(jù)圖像退化的先驗知識建立一個退化模型，以此模型為基礎(chǔ)，采用各種逆退化處理方法進(jìn)行恢復(fù)，改善圖像質(zhì)量。圖像復(fù)原和圖像增強是有區(qū)別的，二者的目的都是為了改善圖像的質(zhì)量。但圖像增強不考慮圖像是如何退化的，只有通過試探各種技術(shù)來增強圖像的視覺效果，而圖像復(fù)原就完全不同，需知道圖像退化過程的先驗知識，據(jù)此找出一種相應(yīng)的逆過程方法，從而得到復(fù)原的圖像。圖像復(fù)原主要取決于對圖像退化過程的先驗知識所掌握的精確程度。對由于離焦、運動、大氣湍流等原因引起的圖像模糊，圖像復(fù)原的方法效果較好，常用的算法包括維納濾波算法、小波算法、基于訓(xùn)練的方法等。在知道退化模型的情況下，相對圖像增強來說，圖像復(fù)原可以取得更好的效果。

　　2.3 圖像超分辨率重構(gòu)

　　現(xiàn)有的監(jiān)控系統(tǒng)主要目標(biāo)為宏觀場景的監(jiān)視，一個攝像機，覆蓋很大的一個范圍，導(dǎo)致畫面中目標(biāo)太小，人眼很難直接辨認(rèn)。這類由于欠采樣導(dǎo)致的模糊占很大比例，對于由欠采樣導(dǎo)致的模糊需要使用超分辨率重構(gòu)的方法。超分辨率復(fù)原是通過信號處理的方法，在提高圖像的分辨率的同時改善采集圖像質(zhì)量。其核心思想是通過對成像系統(tǒng)截止頻率之外的信號高頻成分估計來提高圖像的分辨率。超分辨率復(fù)原技術(shù)最初只對單幅圖像進(jìn)行處理，這種方法由于可利用的信息只有單幅圖像，圖像復(fù)原效果有著固有的局限。序列圖像的超分辨率復(fù)原技術(shù)旨在采用信號處理方法通過對序列低分辨率退化圖像的處理來獲得一幅或者多幅高分辨率復(fù)原圖像。由于序列圖像復(fù)原可利用幀間的額外信息，比單幅復(fù)原效果更好，是當(dāng)前的研究熱點。

　　序列圖像的超分辨率復(fù)原主要分為頻域法和空域法兩大類，頻域方法的優(yōu)點是：理論簡單，運算復(fù)雜度低，缺點是：只局限于全局平移運動和線性空間不變降質(zhì)模型，包含空域先驗知識的能理有限.空域方法所采用的觀測模型涉及全局和局部運動、空間可變模糊點擴(kuò)散函數(shù)、非理想亞采樣等，而且具有很強的包含空域先驗約束的能力。常用的空域法有非均勻插值法、迭代反投影方法（IBP）、凸集投影法（POCS）、最大后驗估計法（MAP）、最大似然估計法（ML）、濾波器法等，其中，MAP和POCS法研究較多，發(fā)展空間很大。

　　三：模糊圖像處理的關(guān)鍵和不足

　　雖然很多模糊圖像的處理方法在實際應(yīng)用中取得了很好的效果，但是當(dāng)前仍然有一些因素制約著模糊圖像處理的進(jìn)一步發(fā)展，主要如下：

　　1、 算法的高度針對性;

　　絕大部分的模糊圖像處理算法只適用于特定圖像，而算法本身無法智能決定某個算法模塊的開啟還是關(guān)閉。舉例來說，對于有霧的圖像，“去霧算法”可以取得很好的處理效果，但是作用于正常圖像，反而導(dǎo)致圖像效果下降，“去霧算法”模塊的打開或者關(guān)閉需要人工介入。

　　2、 算法參數(shù)復(fù)雜性;

　　模糊圖像處理里面所有的算法都會包含大量的參數(shù)，這些參數(shù)的選擇需要和實際的圖像表現(xiàn)相結(jié)合，直接決定最終的處理效果。目前算法還沒有辦法智能選擇這些最優(yōu)參數(shù)。

　　3、 算法流程的經(jīng)驗性;

　　由于實際圖像很復(fù)雜，需要處理多種情況，這就需要一個算法處理流程，對于一個具體的模糊視頻，采用什么樣的處理流程很難做到自動選擇，需要人工選擇一個合適的方法，只能靠人的經(jīng)驗。

　　四：實踐和總結(jié)

　　由于環(huán)境、線路、鏡頭、攝像機等影響，監(jiān)控系統(tǒng)建成運營一段時間后，都會出現(xiàn)一部分的視頻模糊不清的問題。前面提到了針對模糊圖像的各種處理算法，雖然這些算法都取得了一些較好的處理效果，但是再好的算法都是一種后期的補救措施。如果能及時發(fā)現(xiàn)監(jiān)控系統(tǒng)中圖像的各種問題，并及時維修，必然會起到事半功倍的效果。利用先進(jìn)的視頻診斷技術(shù)，開發(fā)出適用于各種需求場景的視頻質(zhì)量診斷系統(tǒng)。它能夠?qū)σ曨l圖像出現(xiàn)的模糊、噪聲、亮度異常和視頻丟失等低質(zhì)視頻以及常見攝像機故障問題進(jìn)行診斷，有效預(yù)防因硬件問題導(dǎo)致的圖像質(zhì)量低下所帶來的損失。從幾路視頻到幾百上千、上萬路視頻，均可高效的進(jìn)行檢測，自動生成檢測報告，提供及時且精準(zhǔn)的維護(hù)信息，第一時間從根源上解決圖像模糊的問題。

? ? ? ? 總體來說，對于不同種類的模糊問題，要區(qū)別對待。對于由鏡頭離焦、灰塵遮擋、線路老化、攝像機故障等造成的模糊或者圖像質(zhì)量下降，在視頻診斷系統(tǒng)的幫助下，一定要及時維修，從源頭上解決問題。對于低光照等優(yōu)先選擇日夜兩用型高感光度攝像機，對于雨霧、運動和前采樣等造成的圖像質(zhì)量下降，可以借助于“視頻增強服務(wù)器”包含的各種模糊圖像處理算法，提升圖像質(zhì)量。

　　后記

　　Single-Image Super-Resolution for anime/fan-art using Deep Convolutional NeuralNetworks.waifu2x是采用了最新銳的人工智能技術(shù)“Deep Convolutional Neural Networks”開發(fā)的網(wǎng)絡(luò)服務(wù)。名字來源于海外的動畫粉絲們將喜歡的角色稱作“waifu（即‘我老婆’）”。把縮小的鋸齒狀圖傳到waifu2x的話，“現(xiàn)在給你的圖是某張圖縮小一半的圖。求縮小前的圖哦”，人工智能就會將噪點和鋸齒的部分進(jìn)行補充，生成新的圖。于是“擴(kuò)大時的圖”將不存在了，小的圖變成了擴(kuò)大了的圖，同時還可以去除噪點。

　　========