BidNet：在雙目圖像上完成去霧操作，不用視差估計(jì)

作者：SFXiang
首發(fā)：AI算法修煉營

本文是收錄于CVPR2020的工作，我是被雙目圖像去霧的題目所吸引的，其實(shí)整個(gè)工作的創(chuàng)新性不高，但是可以從中學(xué)到數(shù)據(jù)集的制作，圖像去霧等基本知識(shí)。整體上，也可以看作視覺注意力機(jī)制的又一應(yīng)用。

論文地址：
http://openaccess.thecvf.com/.../_CVPR/_2020/papers/Pang/_BidNet/_Binocular/_Image/_Dehazing/_Without/_Explicit/_Disparity/_Estimation/_CVPR/_2020/_paper.pdf

嚴(yán)重的霧度會(huì)導(dǎo)致圖像質(zhì)量嚴(yán)重下降，從而影響視覺感知、目標(biāo)檢測等性能。通常，去霧化的雙目圖像在像3D目標(biāo)檢測等立體視覺任務(wù)上的表現(xiàn)要優(yōu)于霧度較高的圖像，并且圖像霧度是一個(gè)與深度有關(guān)的函數(shù)。在這些基礎(chǔ)上，本文提出了一種雙目圖像去霧網(wǎng)絡(luò)（BidNet），旨在利用深度學(xué)習(xí)框架的對雙目左右圖像進(jìn)行去霧。

現(xiàn)有的雙目除霧方法依賴于同時(shí)除霧和估計(jì)視差，而BidNet不需要明確執(zhí)行耗時(shí)長、具有挑戰(zhàn)性的視差估計(jì)任務(wù)。但是，由于視差的小誤差會(huì)引起深度變化和無霧圖像估計(jì)的大變化，BidNet網(wǎng)絡(luò)中所提出的立體變換模塊（STM）編碼了雙目圖像之間的關(guān)系和相關(guān)性。 同時(shí)，對雙目圖像中的左右圖像同時(shí)進(jìn)行除霧是互利的，這比僅對左圖像除霧要好。最后，作者將Foggy Cityscapes數(shù)據(jù)集擴(kuò)展為具有雙目有霧圖像對的Stereo Foggy Cityscapes數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明，在主觀和客觀評(píng)估中，BidNet均明顯優(yōu)于最新的除霧方法。

簡介

在計(jì)算機(jī)視覺領(lǐng)域，通常使用霧天圖像退化模型來描述霧霾等惡劣天氣條件對圖像造成的影響，該模型是McCartney首先提出。該模型包括衰減模型和環(huán)境光模型兩部分。模型表達(dá)式為：

其中，是圖像像素的空間坐標(biāo)，是觀察到的有霧圖像，是待恢復(fù)的無霧圖像，表示大氣散射系數(shù)，代表景物深度，是全局大氣光，通常情況下假設(shè)為全局常量，與空間坐標(biāo)無關(guān)。

公式(1)中的表示坐標(biāo)空間處的透射率，使用來表示透射率，于是得到公式（2）：

由此可見，圖像去霧過程就是根據(jù)求解的過程。要求解出，還需要根據(jù)求解出透射率和全局大氣光。

實(shí)際上，所有基于霧天退化模型的去霧算法就是是根據(jù)已知的有霧圖像求解出透射率和全局大氣光 。

根據(jù)上述等式可知，圖像霧度是深度的函數(shù)。雙目圖像的相關(guān)性可以幫助預(yù)測深度，這表明雙目圖像對于除霧任務(wù)是有益的。為了克服霧度造成的雙目圖像退化，直接和分別在左霧圖像和右霧圖像上應(yīng)用單個(gè)圖像去霧方法不能獲得令人滿意的結(jié)果，尤其是對于重霧度，因?yàn)檫@種方法沒有利用雙目圖像。

現(xiàn)有的雙目圖像去霧方法依賴于同時(shí)執(zhí)行去霧和視差估計(jì)。然而，這種方法有三個(gè)缺點(diǎn)：（1）對于給定的微小視差誤差，深度誤差會(huì)隨著視差的增加而增加。因?yàn)楣烙?jì)透射圖對去霧圖像是必需的，并且透射圖是深度的指數(shù)函數(shù)，誤差不均也導(dǎo)致在估計(jì)透射圖時(shí)出現(xiàn)較大誤差，并妨礙了無霧度圖像。（2）最新的基于學(xué)習(xí)的視差估計(jì)方法很耗時(shí)，因?yàn)樗鼈儽仨殤?yīng)用3D卷積，計(jì)算量大。（3）這些方法僅輸出左去霧圖像，而不是雙目去霧圖像對。在本文中，提出了一種新穎的基于深度學(xué)習(xí)的雙目圖像去霧網(wǎng)絡(luò)（BidNet），該網(wǎng)絡(luò)能夠利用左右圖像中包含的協(xié)作信息，而無需明確執(zhí)行耗時(shí)且具有挑戰(zhàn)性的視差估計(jì)環(huán)節(jié)。

圖1.使用提出的BibNet樣本圖像去霧結(jié)果。左上：輸入左霧圖像。左下：輸入右霧圖像。右上：去霧左圖像。右下：去霧右圖像

對于基于深度學(xué)習(xí)的雙目圖像去霧任務(wù)，沒有包含雙目霧圖像的特定數(shù)據(jù)集。通過將霧添加到Cityscapes數(shù)據(jù)集中來創(chuàng)建Foggy Cityscapes數(shù)據(jù)集。本文將Foggy Cityscapes數(shù)據(jù)集擴(kuò)展到Stereo Foggy Cityscapes數(shù)據(jù)集，該數(shù)據(jù)集由雙目有霧圖像對組成。關(guān)鍵是利用視差和給定的攝像機(jī)參數(shù)來計(jì)算攝像機(jī)與左場景之間的距離以及攝像機(jī)與右場景之間的距離。在這個(gè)過程中，應(yīng)用了complete pipeline ，它使用不完整的深度信息將合成霧添加到真實(shí)，晴朗的天氣圖像中。

主要貢獻(xiàn)：

（1）提出了一種新穎的雙目圖像去霧框架，稱為BidNet，該框架能夠利用左右圖像之間的相關(guān)性對雙目圖像對進(jìn)行除霧，而無需估計(jì)視差， 它可以避免由不精確的視差估計(jì)引起的大誤差。

（2）受non-local網(wǎng)絡(luò)的啟發(fā)，提出了一種簡單而有效的機(jī)制并將其嵌入BidNet中，通過該機(jī)制將右圖像特征圖中的有用信息引入左圖像特征圖中。 具體是通過計(jì)算立體horizontal non-local相關(guān)矩陣并將該矩陣與右圖像的特征圖相乘來實(shí)現(xiàn)的。嵌入的過程是有效的，因?yàn)橄嚓P(guān)矩陣的大小比傳統(tǒng)的non-local網(wǎng)絡(luò)小一階。類似地，可以將左圖像的特征圖的有用信息嵌入到右圖像的有用信息中。

（3）在輸入左圖像和右圖像的情況下，只能使用上述除霧框架對左圖像或右圖像進(jìn)行除霧。但是發(fā)現(xiàn)，通過同時(shí)考慮左右圖像來制定除霧損失函數(shù)，可以同時(shí)去除左右霧度圖像的霧度，從而產(chǎn)生更好的除霧效果。

（4）擴(kuò)展了Cityscapes數(shù)據(jù)集以適應(yīng)去霧任務(wù)。實(shí)驗(yàn)結(jié)果表明，在主觀評(píng)估和客觀評(píng)估方面，BidNet均明顯優(yōu)于最新的除霧方法。

本文方法：BidNet

圖2.（a）雙目圖像去霧網(wǎng)絡(luò)（BidNet）的總體架構(gòu)。BidNet輸入雙目模糊圖像對并輸出無霧的雙目圖像對。（b）轉(zhuǎn)換模塊（STM）的結(jié)構(gòu)。提出了STM來探索和編碼雙目圖像對之間的關(guān)系

如圖2所示，BidNet網(wǎng)絡(luò)輸入雙目有霧圖像對并估算透射圖、大氣光，同時(shí)對雙目圖像對進(jìn)行去霧。BidNet的架構(gòu)如圖2（a）所示。引入了STM（Stereo Transformation Module ）來探索和編碼雙目左右圖像之間的相關(guān)性。

一、Stereo Transmission Map Estimation Network

Stereo Transmission Map Estimation Network（STMENet）可以分為三個(gè)部分：權(quán)重共享特征提取模塊，Stereo Transformation Module（STM）和Refinement Module優(yōu)化模塊。

1、權(quán)重共享特征提取模塊（Weight-Shared Feature Extraction Module）

如圖2（a）所示，權(quán)重共享特征提取模塊是編碼器-解碼器結(jié)構(gòu)。

表1. BidNet的詳細(xì)架構(gòu)。如果沒有特別說明，則在卷積層之后是BN和ReLU。除權(quán)重共享特征提取模塊外，左分支和右分支中的其余權(quán)重不共享。⊕表示concatenation和一個(gè)3×3卷積層以減少通道。上采樣表示雙線性插值。

輸入圖片首先通過預(yù)處理層以學(xué)習(xí)更好的輸入特征。學(xué)習(xí)到的左（和右）特征通過stride為2的四個(gè)3×3卷積層傳遞。四個(gè)卷積層的通道增加為32、48、64和96。之后對經(jīng)過卷積的下采樣特征應(yīng)用四個(gè)雙線性插值。通過自下而上和自上而下的結(jié)構(gòu)，所獲得的左特征（F1）和右特征（Fr）是有區(qū)別的。

2、Stereo Transformation Module (STM)

權(quán)重共享模塊的左側(cè)和右側(cè)模塊僅融合其自身的信息。沒有利用雙目圖像對之間的關(guān)系和相關(guān)性。于是，設(shè)計(jì)了一個(gè)Stereo Transformation Module（STM），通過學(xué)習(xí)左右特征之間的horizontal相關(guān)性來轉(zhuǎn)換深度信息。

圖2（b）表示出了STM的結(jié)構(gòu)。由于雙目圖像對在垂直方向上對齊，因此STM僅需要了解它們之間的水平相關(guān)性。受non-local網(wǎng)絡(luò)的啟發(fā)，將某個(gè)位置的響應(yīng)計(jì)算為沿水平維度所有位置的特征的加權(quán)總和，這可以捕獲包含視差（深度）信息的遠(yuǎn)程依賴關(guān)系。

3、Refinement Module

STM估計(jì)的透射圖仍然缺乏全局結(jié)構(gòu)信息。空間金字塔池是parameter-free的，而且效率很高，于是網(wǎng)絡(luò)中采用空間金字塔池引入多尺度上下文信息來完善透射圖transmission maps，從而增強(qiáng)魯棒性。 上面的表1中顯示了詳細(xì)的結(jié)構(gòu)，使用了三個(gè)平均池化層，內(nèi)核大小分別為3、7和15，步長為1。池化層將初始估計(jì)的transmission maps轉(zhuǎn)換為全局表示的增強(qiáng)集合。然后，將這些具有初始估計(jì)的transmission maps通過concat進(jìn)行聚合，并進(jìn)入1×1卷積層以融合特征。最終，輸出是refine后的透射圖。

二、大氣光估算網(wǎng)絡(luò)Atmospheric Light Estimation Network

大氣光估計(jì)網(wǎng)絡(luò)（ALENet）旨在估計(jì)大氣光A。如圖2（a）所示，ALENet也是一種編碼器/解碼器結(jié)構(gòu)，但沒有尺度的跳躍連接。它包括一個(gè)3×3卷積層作為預(yù)處理，三個(gè)Conv-BN-Relu-Pool塊作為編碼器，三個(gè)Up-Conv-BN-Relu塊作為解碼器，最后是一個(gè)3×3卷積層估計(jì)大氣光A，如表1所示。1.立體圖像對具有相同的大氣光A。因此，ALENet僅輸入左側(cè)圖像進(jìn)行預(yù)測。

三、通過物理散射模型去霧Dehazing via The Physical Scattering Model

如圖2（a）所示，通過等式（2）計(jì)算左無霧圖像和右無霧圖像。等式（2）確保整個(gè)網(wǎng)絡(luò)同時(shí)優(yōu)化。直接計(jì)算出的無霧雙目圖像有一些噪點(diǎn)，于是添加了圖像優(yōu)化模塊，這是一個(gè)輕量級(jí)的密集塊。輕量級(jí)密集塊具有四個(gè)3×3卷積層，其輸入是在之前生成的特征圖的串聯(lián)。輸入通道的數(shù)量為3、8、16和24，但輸出通道的數(shù)量均為8。最后，采用1×1卷積層來估計(jì)精確的無霧雙目圖像。

四、損失函數(shù)

BidNet的損失函數(shù)包括：去霧 的雙目圖像的誤差、透射圖誤差、大氣光的誤差、Perceptual 損失。 在損失函數(shù)中同時(shí)考慮了左右圖像的誤差，因此同時(shí)對兩個(gè)圖像去霧是互利的。

無霧的雙目圖像誤差：

透射圖誤差：

大氣光誤差：

基于從預(yù)訓(xùn)練網(wǎng)絡(luò)中提取的高級(jí)特征的Perceptual 損失被廣泛用于圖像超分辨率領(lǐng)域。此外，Perceptual 損失比像素?fù)p失更有效地衡量圖像的視覺相似性。受此啟發(fā)，作者引入了Perceptual 損失以增加恢復(fù)的無霧圖像與真實(shí)圖像之間的Perceptual 相似性。 Perceptual 損失利用從預(yù)先訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)中提取的多尺度特征來量化估計(jì)圖像和ground truth之間的視覺差異。本文中，使用在ImageNet 上預(yù)先訓(xùn)練的VGG16 作為loss網(wǎng)絡(luò)，并從VGG16中的Conv33中提取特征。Perceptual loss定義為：

Stereo Foggy Cityscapes Dataset

整個(gè)數(shù)據(jù)集制作過程參考了文章《Semantic foggy scene understanding with synthetic data》，感興趣的話，可以參考原文。

實(shí)驗(yàn)與結(jié)果

數(shù)據(jù)集：Stereo Foggy Cityscapes Dataset

評(píng)價(jià)指標(biāo)：PSNR、SSIM

實(shí)驗(yàn)配置：使用256×256大小的RGB圖像訓(xùn)練網(wǎng)絡(luò)，訓(xùn)練是在兩臺(tái)NVIDIA GeForce GTX 1070上進(jìn)行的，并且一個(gè)GPU用于測試。

1、對比實(shí)驗(yàn)

2、定性評(píng)估

3、消融實(shí)驗(yàn)

4、Drivingstereo 數(shù)據(jù)集上的實(shí)驗(yàn)

對于400×881的圖像，BidNet在NVIDIA GeForce GTX 1070上對雙目圖像進(jìn)行去霧處理的速度為0.23s。

更多實(shí)驗(yàn)細(xì)節(jié)，可以參考原文。

推薦閱讀

• CVPR2020 | 定向和密集的目標(biāo)檢測怎么辦？動(dòng)態(tài)優(yōu)化網(wǎng)絡(luò)來解決
• ECCV2020 | SNE-RoadSeg：一種基于表面法向量提取的道路可行駛區(qū)域分割方法
• ?Kaggle X光肺炎檢測比賽第二名方案解析 | CVPR 2020 Workshop

更多機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、計(jì)算機(jī)視覺、自動(dòng)駕駛、機(jī)器人等領(lǐng)域最新最前沿的科技請關(guān)注微信號(hào)AI算法修煉營。

審核編輯：符乾江