摘要:針對(duì)光路中前景遮擋物影響感興趣信息采集的問題,本文對(duì)應(yīng)用相機(jī)陣列的遮擋物移除算法進(jìn)行實(shí)驗(yàn)研究。用陣列型光場相機(jī)采集四維光場數(shù)據(jù),然后用數(shù)字重聚焦技術(shù)進(jìn)行不同深度的重聚焦,突出目標(biāo)物細(xì)節(jié)特征。利用圖像重構(gòu)技術(shù)合成子圖像陣列,選擇最小誤差閾值分割法標(biāo)記遮擋物區(qū)域并復(fù)現(xiàn)原圖像的細(xì)節(jié)特征。實(shí)驗(yàn)結(jié)果證明了應(yīng)用陣列型光場相機(jī)移除遮擋物的可行性,及其改善圖像質(zhì)量、復(fù)現(xiàn)遮擋區(qū)域圖像、提高圖像可讀性、降低噪聲影響的能力。依據(jù)無參考的圖像質(zhì)量評(píng)價(jià)指標(biāo),本文算法在重構(gòu)圖像質(zhì)量上SNR與PSNR分別提升了17.3%與77.6%。
? ? ? ? 01 引言
? 在計(jì)算機(jī)視覺領(lǐng)域中,目標(biāo)物前出現(xiàn)遮擋與目標(biāo)物出現(xiàn)混疊時(shí)都會(huì)對(duì)數(shù)據(jù)采集造成影響。多數(shù)傳統(tǒng)相機(jī)設(shè)備采集數(shù)據(jù)時(shí)僅可以記錄場景的二維信息,當(dāng)目標(biāo)物前出現(xiàn)遮擋時(shí),單視角成像設(shè)備在數(shù)據(jù)采集時(shí)由于遮擋物的影響,會(huì)造成信息的大量丟失。多視角的合成孔徑技術(shù)則可以同時(shí)記錄空間中光線的四維信息,包括方向信息與角度信息[1],利用更高維度的信息量減少遮擋物帶來的影響。相機(jī)陣列法以斯坦福大學(xué)提出的 128 臺(tái)相機(jī)陣列為代表,相機(jī)采用不同的排列方式,獲得多種不同角度的子圖像陣列,同時(shí)利用相機(jī)陣列的景深特點(diǎn),通過數(shù)字重聚焦技術(shù)與合成孔徑技術(shù)可實(shí)現(xiàn)類似“透視”的效果[2]。相機(jī)陣列相比于傳統(tǒng)相機(jī)多記錄了兩個(gè)維度的信息,為后續(xù)有效地移除遮擋物、獲得高還原度的目標(biāo)信息提供了理論基礎(chǔ)。
? 近年來,去遮擋物算法被國內(nèi)外眾多學(xué)者廣泛研究,并提出了具有高參考價(jià)值的理論。劉嚴(yán)羊碩等[3]提出一種先利用EPI的邊緣特征估計(jì)景深范圍,再進(jìn)行光場重建的算法。此方法需要遮擋物與目標(biāo)物存在明顯不同的深度特性,否則影響遮擋物的識(shí)別與移除。張世輝等[4]提出一種利用隨機(jī)森林檢測深度圖像中遮擋物的方法。其方法是基于機(jī)器學(xué)習(xí)思想,在圖像檢測時(shí)需要選擇通用性較好的夾角特性。陳先鋒等[5]提出一種基于先驗(yàn)信息的去遮擋物算法。該方法對(duì)遮擋區(qū)域具有低敏感度,對(duì)于非遮擋區(qū)域具有高敏感度的特性。劉潤興等[6]提出一種聚焦式光場去混疊的方法移除遮擋。此方法對(duì)圖像合成有較為良好的改善,但計(jì)算量大,實(shí)時(shí)性還有待提高。Bobick等[7]提出了加入順序約束條件的動(dòng)態(tài)規(guī)劃算法。該方法受限于物體的大小,無法有效處理孔狀和窄物體區(qū)域。Egnal等[8]基于唯一性約束條件提出交叉驗(yàn)證算法,受限于唯一性約束,該方法無法使用在水平傾斜表面。
? 遮擋物移除算法大多著重于遮擋物移除的完全性和精確性,忽略了重構(gòu)圖像的質(zhì)量,不利于圖像細(xì)節(jié)部分的還原。本文提出一種應(yīng)用相機(jī)陣列系統(tǒng),基于光場數(shù)據(jù)采集與數(shù)字重聚焦技術(shù),并通過SEEQ圖像質(zhì)量評(píng)價(jià)算法評(píng)估圖像質(zhì)量從而選擇最佳的傾斜因子,并利用最小誤差法分割遮擋物,最后通過圖像增強(qiáng)與形態(tài)學(xué)處理還原完整的目標(biāo)圖像的方法。遮擋物移除技術(shù)在國防軍事、公共安全、航天遙感等領(lǐng)域都有著很好的發(fā)展前景。
? 02 基于相機(jī)陣列的遮擋物移除算法
? 本文首先利用數(shù)字重聚焦技術(shù),根據(jù)遮擋物與目標(biāo)物體深度上的不同選擇合適的深度重聚焦,突出目標(biāo)物體細(xì)節(jié)信息。根據(jù)子圖像陣列與相機(jī)陣列的位置關(guān)系,利用幾何特征連續(xù)迭代選擇效果最佳的傾斜因子,得到重構(gòu)圖像。利用最小誤差法選擇合理的閾值進(jìn)行遮擋區(qū)域的分割。最后移除遮擋區(qū)域像素,恢復(fù)目標(biāo)物圖像的細(xì)節(jié)信息,具體流程如圖1所示。
?2.1光場成像與數(shù)字重聚焦
? 如圖2所示,本文采用雙平面參數(shù)法來表征光場。該方法依據(jù)Levoy等[1]提出的光場渲染理論,分別在主透鏡與傳感器處建立兩個(gè)二維平面,設(shè)一條同時(shí)穿過兩個(gè)平面的光線,分別交兩個(gè)平面于(u,v)和(s,t)兩點(diǎn),由(u,v)和(s,t)描述這條光線的二維位置信息與二維方向信息,光線與主透鏡平面和傳感器平面相交的兩坐標(biāo)點(diǎn)共同構(gòu)成了光場的四維函數(shù)L(u,v,s,t),其中函數(shù)值L是光線的輻射通量。?
應(yīng)用光場數(shù)字重聚焦技術(shù)可以做到先利用陣列相機(jī)采集信息,再根據(jù)目標(biāo)物與遮擋物的深度特性進(jìn)行數(shù)據(jù)重聚焦,利用相機(jī)的景深特性可以有效突出目標(biāo)物的細(xì)節(jié)信息,減小障礙物帶來的影響[9]。這里將光場成像系統(tǒng)中的光線用四維光場函數(shù) L(u,v,s,t)表征[10],其中u-v面是光學(xué)系統(tǒng)主平面,s-t面是探測器所在平面,L(u,v,s,t)代表給定光線的光輻射量,下標(biāo)F代表上述兩平面間的距離,像面上接受到的輻射量可表示為
?
? 在此基礎(chǔ)上,通過積分求解可以得到一幅數(shù)字圖像。由于透鏡平面和探測器平面定義的光場函數(shù)與透鏡平面和重聚焦平面定義的光場函數(shù)之間的關(guān)系可以通過構(gòu)建相似三角形的幾何變換得到,四維光場函數(shù)在空間中的傳播可以表示為
? 在這里α為兩相似三角形的比例系數(shù),調(diào)整比例系數(shù)的大小控制重聚焦的深度。
? 2.2傾斜因子的確定
? 單視角相機(jī)僅記錄二維信息,在面對(duì)感興趣區(qū)域被遮擋時(shí)具有較大的局限性[12],面對(duì)動(dòng)態(tài)的目標(biāo)物時(shí)可采用連續(xù)多次拍攝的方式來復(fù)現(xiàn)目標(biāo)物,但面對(duì)目標(biāo)物與遮擋物都為靜態(tài)的情況,應(yīng)用單視角相機(jī)移除遮擋物則十分困難。然而使用多視角合成孔徑技術(shù)可以利用光場成像獲得豐富的四維信息,為遮擋物的移除提供基礎(chǔ)。通過相機(jī)陣列采集子孔徑圖像集,選取中心圖像并使其他圖形根據(jù)視差的幾何關(guān)系進(jìn)行平移。根據(jù)幾何關(guān)系選擇合適的傾斜因子重構(gòu)圖像,當(dāng)子圖像經(jīng)過聯(lián)合位移后,選擇不同傾斜因子的狀態(tài)會(huì)有所不同,導(dǎo)致重構(gòu)圖像輪廓不清晰。
? 如圖3所示,本文假設(shè)同一排陣列相機(jī)鏡頭間距為Δm,其中第i的相機(jī)相對(duì)坐標(biāo)原點(diǎn)的位置為mi并建立坐標(biāo)系表征傾斜因子,根據(jù)幾何關(guān)系有
? 其中:θ為傾斜因子,Δθ為兩圖像沿n軸方向的間距,這里定義則有Δn=1,tanθn=Δm。
? 其中:σ為修正因子,本文中取σ=0.008多次迭代尋找重構(gòu)效果最好的傾斜因子。
?
2.3圖像重構(gòu)及其質(zhì)量分析
? 劉利雄等[11]提出了一個(gè)有效的通用無參考(NR)圖像質(zhì)量評(píng)估(IQA)模型,該模型利用畸變圖像的局部空間和光譜熵特征。采用一個(gè)基于失真分類和質(zhì)量評(píng)估的兩階段框架,利用支持向量機(jī)(SVM)訓(xùn)練圖像失真和質(zhì)量預(yù)測引擎。被稱為基于空間光譜熵的質(zhì)量指數(shù)(SSEQ),能夠跨多個(gè)失真類別評(píng)估失真圖像的質(zhì)量。其中空間熵為
? 其中:x是塊內(nèi)的像素值,p(x)為經(jīng)驗(yàn)概率密度。失真的引入會(huì)導(dǎo)致空間熵的變化,噪聲導(dǎo)致局部空間熵的降低,通過研究空間熵的變化特征可以反應(yīng)出圖像扭曲的類型。該模型利用下采樣響應(yīng)作為輸入,從輸入中提取12維局部熵特征向量,并從這些特征中學(xué)習(xí)預(yù)測圖像質(zhì)量分?jǐn)?shù)。
? 按照如圖4所示的裝置圖進(jìn)行數(shù)據(jù)采集,該實(shí)驗(yàn)選擇室內(nèi)場景拍攝目標(biāo)物飛機(jī)模型,遮擋物為樹枝,構(gòu)建10×10的相機(jī)陣列,單次拍攝采集不同角度及不同位置子圖像100張。如圖5所示,本文選擇子圖像陣列中一行圖像進(jìn)行圖像重構(gòu),以第5張圖像為中心其余圖像分別向兩側(cè)平移。利用修正因子進(jìn)行多次迭代,每次迭代后應(yīng)用SEEQ圖像質(zhì)量評(píng)估模型進(jìn)行質(zhì)量評(píng)估,從而確定最適合此相機(jī)陣列的傾斜因子。觀察重構(gòu)圖像,雖然重構(gòu)后遮擋范圍變大,但經(jīng)過加權(quán)平均后,原被遮擋物完全覆蓋住的部分已經(jīng)被很好地復(fù)現(xiàn)與還原。
2.4遮擋物區(qū)域標(biāo)記
? 在計(jì)算機(jī)視覺中,圖像分割一直是一個(gè)熱門的研究方向,同時(shí)也是多數(shù)圖像處理問題的關(guān)鍵步驟。其中經(jīng)典的閾值分割算法有最小誤差法、最大熵法和最大類間方差法[12-14]等,本文應(yīng)用的是龍建武等提出的一種自適應(yīng)最小誤差閾值分割算法[19]。假設(shè)轉(zhuǎn)換為灰度圖像后由暗遮擋物和亮目標(biāo)物組成,且遮擋物與目標(biāo)物滿足高斯分布。其中,P0和P1分別為遮擋物C0和C1各自分布的先驗(yàn)概率,且C0C1各自分布均服從均值為μj和方差為σJ2的正態(tài)分布,則有
? 其中:J(t)為最小誤差函數(shù),最佳閾值在其取最小值時(shí)獲得。圖6所示為利用最小誤差閾值分割法,經(jīng)過圖像增強(qiáng)、形態(tài)學(xué)處理后得到的遮擋物標(biāo)記圖像。
? 2.5遮擋物區(qū)域移除與還原
? 如圖7所示,應(yīng)用相機(jī)陣列采集數(shù)據(jù)后進(jìn)行圖像重構(gòu),移除目標(biāo)圖像前被標(biāo)記的圖像,并用重構(gòu)圖像進(jìn)行還原。按本文2.3節(jié)所提出的重構(gòu)方式得到的重構(gòu)圖像整體質(zhì)量不高,因?yàn)槲覀冎豢紤]了感興趣區(qū)域的重構(gòu)質(zhì)量。本文將2.4節(jié)所標(biāo)記的前景區(qū)域作為重點(diǎn),只保留此區(qū)域重構(gòu)質(zhì)量優(yōu)秀的圖像組成新的子圖像陣列,提取相機(jī)陣列中心相機(jī)所拍攝的圖像并標(biāo)記前景區(qū)域。同時(shí)保留未被標(biāo)記區(qū)域的全部元素,只對(duì)被遮擋區(qū)域進(jìn)行計(jì)算,本文提出的方法只對(duì)遮擋區(qū)域進(jìn)行相關(guān)計(jì)算,在最大程度上保證了圖像質(zhì)量。將感興趣區(qū)域中每一個(gè)像素點(diǎn)進(jìn)行替換,得到遮擋物移除后的重構(gòu)圖像。
? ? 03 實(shí)驗(yàn)結(jié)果分析
? 本文實(shí)驗(yàn)所使用的相機(jī)陣列中單相機(jī)型號(hào)為Canon EOS 6D型,搭載了一個(gè)2020萬像素的CMOS感光組件與DIGIC5+圖像處理器核心,圖像感應(yīng)器尺寸為35.8mm×23.9mm,采集圖像最大尺寸為5472×3648。鏡頭型號(hào)為EF24~105mmf/4。
? 如圖8所示,本文提出的應(yīng)用陣列型相機(jī)實(shí)現(xiàn)遮擋物移除的方法,對(duì)于不涉及目標(biāo)物細(xì)節(jié)處的圖像有較強(qiáng)的移除遮擋物的能力,并在移除后不會(huì)造成明顯的圖像重影與分辨率丟失。對(duì)于目標(biāo)物細(xì)節(jié)處的還原,利用基于相機(jī)陣列采集的大量數(shù)據(jù)有較強(qiáng)的還原細(xì)節(jié)能力。圖8(a)為未處理的原始圖像,部分細(xì)節(jié)信息完全被遮住且無法辨認(rèn)。圖8(b)為文獻(xiàn)[3]所提出的算法經(jīng)處理后則可以復(fù)現(xiàn)被遮擋部分細(xì)節(jié)信息,使得字體可以辨認(rèn),但重構(gòu)圖像較為模糊,部分細(xì)節(jié)無法辨認(rèn)。圖8(c)為本文提出的遮擋物移除算法,通過合理的傾斜因子選擇很好地根據(jù)幾何關(guān)系消除了圖像的扭曲,同時(shí)還原了圖像的細(xì)節(jié)信息,保證了圖像質(zhì)量。
? 如表1所示,為證實(shí)本文所提出算法的優(yōu)勢(shì),本文選取有參考的客觀評(píng)價(jià)指標(biāo)MSE、SNR、PSNR、MAE進(jìn)行比較。在數(shù)值上,本文算法的MSE與MAE均小于文獻(xiàn)[3]的結(jié)果,在SNR與PSNR上分別提升了17.3%與77.6%。實(shí)驗(yàn)證實(shí)了本文提出的算法在細(xì)節(jié)的還原度上優(yōu)于其他算法,同時(shí)有效提升的重構(gòu)圖像的信噪比。為了應(yīng)對(duì)實(shí)際應(yīng)用中無參考圖像的情況,我們對(duì)比了6組無參考的評(píng)級(jí)指標(biāo),分別為EOG、Brenner、Robters算子與劉利雄等提出的基于空間光譜熵的質(zhì)量評(píng)價(jià)方法(SSEQ),Wang等提出的無參考的彩色圖像質(zhì)量評(píng)價(jià)方法(CCF)[16]以及Anush?Krishna Moorthy等提出的構(gòu)造盲圖像質(zhì)量指數(shù)的兩步框架(BIQI)[18]方法對(duì)3幅圖像進(jìn)行質(zhì)量評(píng)價(jià)。其中分?jǐn)?shù)區(qū)間為0~50,0分為質(zhì)量最佳。對(duì)比10種客觀評(píng)價(jià)標(biāo)準(zhǔn),本文算法相對(duì)文獻(xiàn)[3]在細(xì)節(jié)復(fù)現(xiàn)與圖像質(zhì)量上都有明顯改善,獲得了輪廓清晰、可信度高的重構(gòu)圖像。
? 此外,同時(shí)采集圖像與光場數(shù)據(jù)的方案很好地解決了目標(biāo)物或遮擋物為動(dòng)態(tài)物體的情況,但是應(yīng)用陣列型光場相機(jī)的遮擋物移除算法需要反復(fù)計(jì)算得到最佳的傾斜因子,這種方法的計(jì)算量較大,無法做到實(shí)時(shí)移除遮擋物。
? 04 結(jié)論
? 本文提出一種應(yīng)用陣列型光場相機(jī)的遮擋物移除算法。實(shí)驗(yàn)結(jié)果證明該方法與文獻(xiàn)[3]提出的前景移除算法相比,不需要目標(biāo)物與遮擋物之間存在較為明顯的深度區(qū)別,而且僅對(duì)遮擋區(qū)域進(jìn)行計(jì)算,減少了圖像重構(gòu)導(dǎo)致未被遮擋區(qū)域的像素?fù)p失。本算法應(yīng)用范圍更廣,實(shí)用性更強(qiáng)。在圖像重構(gòu)中選擇合理的傾斜因子,可以有效降低目標(biāo)區(qū)域的模糊與噪聲的引入,細(xì)節(jié)上目標(biāo)物邊緣輪廓也有較為明顯的改善。依據(jù)無參考的圖像質(zhì)量評(píng)價(jià)指標(biāo),本文算法在重構(gòu)圖像質(zhì)量上SNR與PSNR分別提升了17.3%與77.6%。本文提出的算法仍具有一定的局限性,在遮擋物分割方面采用最小誤差的閾值分割法,面對(duì)目標(biāo)物與遮擋物灰度范圍較為接近有可能產(chǎn)生分割區(qū)域不準(zhǔn)確而過度復(fù)現(xiàn)原圖導(dǎo)致圖像模糊的現(xiàn)象,今后將針對(duì)上述問題做進(jìn)一步研究。
? 參考文獻(xiàn):
? [1]LEVOY MH,ANRAHAN P. Light field rendering[C]//Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques. New Orleans:ACM,1996:31-42.
? [2]WILBURN B,JOSHI N,VAISH V,et al. High performance imaging using large camera arrays[J]. ACM Transactions on Graphics,2005,24(3):765-776.
? [3]劉嚴(yán)羊碩,劉賓,潘晉孝基于前景移除的合成孔徑成像算法[J]光學(xué)學(xué)報(bào),2018,38(6):0611002.
? LIU Y Y S,LIU B,PAN J X. Synthetic aperture imaging algorithm via foreground removing[J]. Acta Optica Sinica,2018,38(6):0611002.(in Chinese)
? [4]張世輝,劉建新,孔令富.基于深度圖像利用隨機(jī)森林實(shí)現(xiàn)遮擋檢測[J].光學(xué)學(xué)報(bào),2014,34(9):0915003.ZHANG S H,LIU J X,KONG L F. Using random forest for occlusion detection based on depth image[J]. ActaOptica Sinica,2014,34(9):0915003.(in Chinese)
? [5]陳先鋒,郭正華,伍俊龍,等.基于區(qū)域先驗(yàn)信息的去遮擋立體匹配算法[J].激光與光電子學(xué)進(jìn)展,2019,56(19):191001.
? CHEN X F,GUO Z H,WU J L,et al. De-occlusion stereo matching algorithm based on regional prior informa?tion[J]. Laser & Optoelectronics Progress,2019,56(19):191001.(in Chinese) [6]劉潤興,任明俊,肖高博.一種聚焦式光場成像去混疊方法[J]光學(xué)學(xué)報(bào),2018,38(6):0611001.
? LIU R X,REN M J,XIAO G B. A method of eliminating artifacts in focused light field imagin[J].ActaOptica Sinica,2018,38(6):0611001.(in Chinese)
? [7]BOBICK A F,INTILLE S S. Large occlusion stereo[J]. International Journal of Computer Vision,1999,33(3):181-200.
? [8]EGNAL G,WILDES R P. Detecting binocular half-occlusions:empirical comparisons of four approaches[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Hilton Head:IEEE,2000:466-473.
? [9]張春萍,王慶.光場相機(jī)成像模型及參數(shù)標(biāo)定方法綜述[J].中國激光,2016,43(6):0609004.
? ZHANG C P,WANG Q. Survey on imaging model and calibration of light field camera[J]. Chinese Journal of Lasers,2016,43(6):0609004.(in Chinese)
? [10]聶云峰,相里斌,周志良.光場成像技術(shù)進(jìn)展[J].中國科學(xué)院研究生院學(xué)報(bào),2011,28(5):563-572.
? NIE Y F,XIANG L B,ZHOU Z L. Advances in light field photography technique[J]. Journal of the Graduate School of the Chinese Academy of Sciences,2011,28(5):563-572.(in Chinese)
? [11]LIU L X,LIU B,HUANG H,et al. No-reference image quality assessment based on spatial and spectral entropies[J]. Signal Processing:Image Communication,2014,29(8):856-863.
? [12]KITTLER J,ILLINGWORTH J. Minimum error thresholding[J]. Pattern Recognition,1986,19(1):41-47.
? [13]KAPUR J N,SAHOO P K,WONG A K. A new method for grey-level picture thresholding using the entropy of the histogram[J]. Computer Vision,Graphics and Image Processing,1985,29(3):273-285.
? [14]OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems,Man,and Cybernetics,1979,9(1):62-66.
? [15]龍建武,申鉉京,陳海鵬.自適應(yīng)最小誤差閾值分割算法[J]. 自動(dòng)化學(xué)報(bào),2012,38(7):1134-1144.
? LONG J L,SHEN X J,CHEN H P. Adaptive minimum error thresholding algorithm[J].Acta Automatica Sinica,2012,38(7):1134-1144.(in Chinese)
? [16]WANG Y,LIN,LIZY,etal.An imaging-inspired no-reference underwater color image quality assessment metric[J]. Computers & Electrical Engineering,2018,70:904-913.
? [17] MOORTHY A K,BOVIK A C. A two-step framework for constructing blind image quality indices[J]. IEEE Signal Processing Letters,2010,17(5):513-516.
? 轉(zhuǎn)自:光場視覺 來源:期刊《液晶與顯示》? 作者:楊墨軒,趙源萌* ,朱鳳霞,張宏飛,張存林
審核編輯:黃飛
?
評(píng)論
查看更多