利用基于R-樹(shù)連續(xù)最近鄰查詢算法來(lái)渲染雨滴，形成了逼真的下雨天場(chǎng)景圖

摘要：自動(dòng)駕駛領(lǐng)域最近的發(fā)展表明，這些車輛在不久的將來(lái)會(huì)出現(xiàn)在每個(gè)城市的街道上，而這些城市不會(huì)容忍交通事故的發(fā)生。為了保證安全需求，自動(dòng)駕駛汽車和被使用的軟件必須在盡可能多的條件下進(jìn)行詳盡的測(cè)試。通常被考慮的影響因素越多，測(cè)試越全面，一般情況下，汽車就越安全。然而，在每次產(chǎn)生或希望產(chǎn)生特定的場(chǎng)景之前，都要反復(fù)地記錄相同的測(cè)試集，這是一種非常耗費(fèi)時(shí)間和資源的過(guò)程，特別是在使用真實(shí)車輛測(cè)試的時(shí)候。這就需要用環(huán)境模擬進(jìn)行仿真測(cè)試。

本課題通過(guò)對(duì)環(huán)境的仿真模擬，研究了影響自動(dòng)駕駛車輛傳感器的環(huán)境因素。主要模擬了下雨環(huán)境中，擋風(fēng)玻璃上的雨滴是如何影響攝像頭成像的。我們提出了一種新的方法，利用基于R-樹(shù)連續(xù)最近鄰查詢算法來(lái)渲染雨滴。攝像頭前的3D場(chǎng)景由立體圖像生成，這些水滴被設(shè)置了真實(shí)的物理特性。所構(gòu)建的模擬環(huán)境真實(shí)，派生的圖像可以用來(lái)擴(kuò)展用于機(jī)器學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集，而不必強(qiáng)制獲取新的真實(shí)圖像。

這篇論文的第一作者為 Alexander von Bernuth, 來(lái)自德國(guó)圖賓根大學(xué)Wilhelm Schickard計(jì)算機(jī)科學(xué)研究所計(jì)算機(jī)工程系主任。

Rendering Physically Correct Raindrops on Windshields for Robustness Verification of Camera-based Object Recognition

Alexander von Bernuth, Georg Volk and Oliver Bringmann University of Tubingen, ¨ {bernuth, volkg, bringmann}@informatik.uni-tuebingen.de

惡劣天氣狀況仿真模擬測(cè)試的必要性

自動(dòng)駕駛汽車將使世界各地的研究人員和制造商在很長(zhǎng)一段時(shí)間內(nèi)都處于忙碌的狀態(tài)。這是因?yàn)樽詣?dòng)駕駛汽車在未來(lái)可能會(huì)成為公共交通的主導(dǎo)，而且必須經(jīng)過(guò)徹底的安全驗(yàn)證。如果像車輛或行人檢測(cè)這樣的關(guān)鍵系統(tǒng)沒(méi)有進(jìn)行最全面的測(cè)試，這個(gè)檢測(cè)覆蓋所有能想到的環(huán)境影響，以及所有可能的組合，難以想象會(huì)發(fā)生什么。比如在陰天的陽(yáng)光下，有背光和臟鏡頭的情況。

在測(cè)試過(guò)程中希望隨機(jī)遇到或者刻意設(shè)計(jì)所有這些邊緣場(chǎng)景的組合，看起來(lái)都非常愚蠢的。根據(jù)分析師的觀點(diǎn)，一輛載有所有待測(cè)試技術(shù)的汽車必須以109公里的速度駕駛沒(méi)有出錯(cuò)，才有資格獲得ISO 26262 [1]標(biāo)準(zhǔn)。此外，車輛的任何部分接收到更新時(shí)，都需要重新運(yùn)行所有測(cè)試。

因此，許多制造商面臨的主要挑戰(zhàn)之一是時(shí)間密集型測(cè)試，特別是在原型車中調(diào)度大量的測(cè)試驅(qū)動(dòng)程序。一種可能的解決方案是依靠一個(gè)相對(duì)較短的驅(qū)動(dòng)器，并通過(guò)模擬不同的環(huán)境影響因素通過(guò)隨機(jī)組合來(lái)生成多個(gè)版本。雖然目前已經(jīng)有人對(duì)這些環(huán)境影響因素進(jìn)行了一些模擬研究，但尚未探索的天氣條件和影響仍然很多。

我們自己的調(diào)查得出的結(jié)論是，下雨時(shí)，如果不是暴雨，不會(huì)影響目標(biāo)或交通標(biāo)志檢測(cè)算法。因此，本文研究了在相機(jī)或相機(jī)鏡頭前擋風(fēng)玻璃上放置被渲染的雨滴以及這些雨滴對(duì)物體識(shí)別算法的影響。本文的第一部分將綜述了其他學(xué)者的研究，重點(diǎn)研究在攝像機(jī)前和攝像機(jī)上模擬雨和塵埃等影響。第二部分關(guān)注的是水滴的產(chǎn)生，從場(chǎng)景重建開(kāi)始，到我們的射線追蹤法結(jié)束。之后，第三部分將介紹結(jié)果和應(yīng)用。在第四部分中，我們討論調(diào)查結(jié)果并提出可以改善方法和未來(lái)工作。

下雨場(chǎng)景天氣模擬研究現(xiàn)狀

大多數(shù)與天氣和環(huán)境相關(guān)的模擬研究都集中在游戲中的直接使用或合成場(chǎng)景的渲染，只有很少的研究考慮到環(huán)境的物理特性。到目前為止，所有的論文作品都沒(méi)有研究雨滴在鏡頭前的影響，但在某些情況下，他們對(duì)水滴的描述非常準(zhǔn)確。Starik 和 Werman 的工作使用了3D場(chǎng)景，該場(chǎng)景假設(shè)在任何地方都具有相同深度[2]。他們從視頻中提取雨的特征，并將學(xué)習(xí)過(guò)的蒙版應(yīng)用到?jīng)]有下雨的圖像上。然而他們忽略了單個(gè)雨滴的物理特性，如果從視差圖中提取場(chǎng)景的深度，考慮更確切的情況可能會(huì)有更好的結(jié)果[3]，[4]。實(shí)現(xiàn)上述這些是可行的，因?yàn)樽髡咴谝曨l采集時(shí)使用的是立體相機(jī)，他們用攝像頭和物體把空間分隔成小部分，通過(guò)計(jì)算這些部分的正確雨量并在OpenGL中渲染雨滴。

Hospach和Muller研究把雨滴抽象成非常薄的三角形，它們呈現(xiàn)出多彩的白色，并且他們混合比例基于降雨強(qiáng)度。這個(gè)技巧需要快速顯卡來(lái)支持渲染。他們忽略了折射等效果，因?yàn)椴町惡苄　?/p>

Wang等人使用光線追蹤來(lái)渲染雨滴，這種方法依賴于光源精確位置信息[5]。作者將來(lái)自不同光源的光線射向所有雨滴，并根據(jù) Phong 照明模型計(jì)算像素顏色。不發(fā)光的物體被篩掉，而且不會(huì)在雨滴中發(fā)生折射。

與本文相比，最相似的論文是T. Sato的論文，但是他們?yōu)榱藵M足實(shí)時(shí)約束做了許多簡(jiǎn)化的假設(shè)[6]。作者將視頻圖像映射到攝像頭的前面單個(gè)半球，而不管物體與攝像頭的真實(shí)距離如何。然后，他們向雨滴占領(lǐng)的每個(gè)像素投射光線，并檢查這些光線與半球接觸形成的圖像。相應(yīng)的像素值將在渲染雨滴時(shí)用作紋理元素。

許多研究雨滴在擋風(fēng)玻璃上的研究人員關(guān)注的是它們的定位、合并和移動(dòng)。不同的工作大都集中在模擬流體動(dòng)力學(xué)[7]-[11]。 Extrand等人研究放置在傾斜表面上的水滴的形狀，如玻璃板[12]。 Garg和Nayar [13]做了更多有關(guān)下落過(guò)程水形狀的研究。此外，還有人在竭盡全力描述水滴的物理和光學(xué)特性[14]。不同的研究人員采用了完全不同的方法，有人通過(guò)檢測(cè)并去除圖像中的雨滴，而不是創(chuàng)建這些雨滴[15]，[16]。由于所描述的方法利用了一些有趣的物理性質(zhì)，因此可以從移除雨滴的方法中學(xué)到很多東西。

之前發(fā)表的論文都局限于單一的雨滴，靜止和下降，忽略了相機(jī)的環(huán)境是三維場(chǎng)景。要么他們完全忽略了深度，要么作出廣泛的假設(shè)，也忽略了水滴中場(chǎng)景物體的正確折射。我們的方法將所有這些考慮在內(nèi)。仿真結(jié)果接近于真實(shí)照片，這對(duì)于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)集來(lái)說(shuō)是非常必要的。

點(diǎn)云渲染的方法

關(guān)于點(diǎn)云的渲染，現(xiàn)有許多不同的方法。一種是創(chuàng)建一個(gè)表示曲面的網(wǎng)格，并將圖像作為紋理映射到它們上[17]。其他人也使用大量的預(yù)處理來(lái)創(chuàng)建多個(gè)深度圖并逐步細(xì)化渲染[18]。但即使網(wǎng)格劃分簡(jiǎn)單且便宜，我們也不得不填補(bǔ)出現(xiàn)在樹(shù)木或汽車等物體后面的間隙。如果不是固定的，這些縫隙可能會(huì)導(dǎo)致黑點(diǎn)，因?yàn)樗鼈兛赡軙?huì)將光線折射到通常看不見(jiàn)的區(qū)域。

Schaufler和Jensen將光線射入點(diǎn)云并搜索超過(guò)某個(gè)閾值的點(diǎn)密度[19]。在一個(gè)范圍內(nèi)的所有點(diǎn)都被用于表面法線和位置的插值。這樣就避免了昂貴的3D重建。不幸的是，如果沒(méi)有足夠的點(diǎn)或沒(méi)有足夠密集地采樣，表面上可能會(huì)出現(xiàn)孔。這些孔將表現(xiàn)為黑色區(qū)域，并且尤其出現(xiàn)在具有非常不同深度的物體的邊緣附近，例如在天空的前方看到一個(gè)交通標(biāo)志。 Adnoni等人提出了另一種尋找線段最近鄰的方法 [20]。它們?cè)诟呔S搜索時(shí)使用近似值。

Adnoni等人提出了另一種尋找線段最近鄰的方法 [20]，它們?cè)诟呔S搜索時(shí)使用近似值。這不一定適用于我們的用例，并且涉及復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，這對(duì)我們做三維來(lái)說(shuō)太難了。

上面提到的所有論文都沒(méi)有將雨滴的真實(shí)渲染環(huán)境和有限場(chǎng)景中找到相應(yīng)的對(duì)象并用最先進(jìn)的目標(biāo)檢測(cè)算法結(jié)合起來(lái)。本文將完成以上所有內(nèi)容，并額外展示了訓(xùn)練渲染圖片的神經(jīng)網(wǎng)絡(luò)模型，這可能會(huì)給現(xiàn)代物體識(shí)別帶來(lái)幫助。

基于最近鄰查詢算法的雨滴下落仿真

為了描述出物體折射和雨滴渲染相結(jié)合的場(chǎng)景，必須將其作為點(diǎn)云以3D形式再現(xiàn)。這個(gè)過(guò)程需要了解場(chǎng)景的深度?？梢允褂脤?duì)極幾何（對(duì)應(yīng)于深度的視差圖）或利用LiDAR或其他傳感器來(lái)計(jì)算每個(gè)像素與相機(jī)距離的深度圖。場(chǎng)景計(jì)算完成后，必須對(duì)擋風(fēng)玻璃上的雨滴進(jìn)行建模。我們用一個(gè)簡(jiǎn)單而強(qiáng)大的抽象模型：每一滴水都被擋風(fēng)玻璃切斷的球體所代表。

這就看起像一個(gè)球形帽，起碼在幾何上很容易處理。然后，光線會(huì)投射到由投影面積的每個(gè)圖像像素上，并在這些像素中發(fā)生折射。產(chǎn)生的射線被發(fā)送到場(chǎng)景中，并搜索點(diǎn)云中最近的位置。這一點(diǎn)的顏色決定了降落的像素顏色。搜索兩百萬(wàn)個(gè)點(diǎn)中的其中一個(gè)點(diǎn)的最近鄰點(diǎn)可能是微不足道而且是快速的，用同樣的方法搜索空間中的一條線就顯得非常費(fèi)勁。只有使用連續(xù)最近鄰搜索才能使此方法可行。

1.場(chǎng)景重建

第一步是攝像機(jī)前場(chǎng)景的三維重建。在處理來(lái)自（校準(zhǔn)過(guò)的）立體相機(jī)的圖像時(shí)，可以使用立體重建計(jì)算相機(jī)到每個(gè)像素的距離[21]。其他方法也可以用額外的傳感器，如LiDAR來(lái)捕捉深度。我們用的數(shù)據(jù)集是Cityscapes[22]中的圖像。它由數(shù)千張包含各種街景的圖片組成，使用立體相機(jī)拍攝，并帶有預(yù)先計(jì)算的視差圖。這些可以很容易地轉(zhuǎn)換成深度圖。 VIRES虛擬測(cè)試驅(qū)動(dòng)軟件[23]是我們使用的具有相應(yīng)深度圖像的另一個(gè)來(lái)源。深度圖非常精確，因?yàn)樗鼈兓诘孛鎸?shí)況數(shù)據(jù)。此外，可以使用汽車（用戶或計(jì)算機(jī)控制的），行人和其他障礙物快速構(gòu)建自定義場(chǎng)景。我們用于物體檢測(cè)的圖像來(lái)源是KITTI數(shù)據(jù)集[24]。深度圖使用Hirschmuller匹配算法 [25] 的OpenCV來(lái)計(jì)算。

結(jié)合深度和顏色信息，我們可以定位攝像頭的三維位置。通過(guò)公式可以求得所有像素組成的3D點(diǎn)云，如圖1所示。這些點(diǎn)云呈現(xiàn)了在渲染雨滴場(chǎng)景中物體的圖像。

2.下落模型

一旦完成3D表示，就有必要在虛擬擋風(fēng)玻璃上創(chuàng)建和分配雨滴。 單個(gè)雨滴被模擬為球帽狀。這個(gè)帽子的特點(diǎn)是它的中心c，半徑r，高度和法線n（從基座指向圓頂）。生成雨滴意味著設(shè)置固定的z值（從相機(jī)到擋風(fēng)玻璃的距離），隨機(jī)或故意設(shè)置每個(gè)雨滴的x和y坐標(biāo)，高度和半徑。當(dāng)高度和半徑相關(guān)時(shí)，一個(gè)值就能通過(guò)另一個(gè)值求得[26]。 我們選擇h = tan（θ/ 2）·d，其中h表示液滴高度，θ表示液滴的接觸角，d表示液滴直徑。 Park等人在觀察半徑為2mm的液滴時(shí)，接觸角θ被確定為大約87° [27]。 相應(yīng)的法線簡(jiǎn)單地指向與相機(jī)視角矢量相同的方向。當(dāng)向前傾斜擋風(fēng)玻璃時(shí)，所有下降中心和法線也圍繞x軸旋轉(zhuǎn)。

3.折射

在折射場(chǎng)景形成之前，我們將從相機(jī)發(fā)出的光線照射到圖像平面中的每個(gè)像素。為了減少計(jì)算工作量，只有光線落在圓點(diǎn)的后面（具有中心，半徑和法線的圓）才被跟蹤。所有其他光線都被丟棄，并且來(lái)自原始圖像的像素值被用于最終的圖像。在雨滴下落的過(guò)程中，我們折射的射線遵循斯奈爾定律。有關(guān)折射的更多信息，請(qǐng)參閱已建立的文獻(xiàn)[28]。折射的光線落在雨滴內(nèi)， 然后，通過(guò)生成垂直于法線的隨機(jī)矢量并且只要下降半徑來(lái)計(jì)算球體的中心。加上正常縮放到半徑長(zhǎng)度，我們現(xiàn)在有四個(gè)點(diǎn)位于球體上，足以計(jì)算球體的中心[29]。在全內(nèi)反射的情況下，所得到的光線不會(huì)被進(jìn)一步折射。每種折射的視覺(jué)表示可以在圖2中找到。

4.最近鄰查詢算法

接下來(lái)，我們將計(jì)算光線中最近鄰的像素來(lái)推遲光線等效像素的顏色。此點(diǎn)的顏色分配給相應(yīng)的像素，并在展示位置中可見(jiàn)。找到神經(jīng)網(wǎng)絡(luò)的一個(gè)非常簡(jiǎn)單的方法是查看每條射線的每個(gè)點(diǎn)，計(jì)算從該點(diǎn)到射線的距離并取最近的點(diǎn)。即使在允許快速最近鄰（NN）查詢的R樹(shù)中組織點(diǎn)后，也可以對(duì)光進(jìn)行采樣，并搜索每個(gè)樣本的NN。最后，我們選擇了連續(xù)最近鄰搜索[31]，因?yàn)樗粌H提供了一個(gè)精確的最近鄰點(diǎn)，而且在包含超過(guò)兩百萬(wàn)個(gè)點(diǎn)的大型點(diǎn)云中，很短時(shí)間內(nèi)（僅僅是毫秒）就能完成搜索。

在數(shù)據(jù)集里評(píng)估該算法的質(zhì)量

為了評(píng)估我們的光線跟蹤算法的質(zhì)量，我們用完全渲染場(chǎng)景，忽略雨滴和拍攝光線通過(guò)每個(gè)像素進(jìn)行對(duì)比。這允許進(jìn)行詳細(xì)的錯(cuò)誤檢測(cè)。在圖4中可以由相減圖像和取絕對(duì)值的差分圖像。像素越亮，兩個(gè)圖像之間的差異越高。顯然，不同深度的物體的邊緣顯示出不同的差異。這是因?yàn)榍懊嫣岬降腪值問(wèn)題，但遠(yuǎn)好于完全沒(méi)有修正情況下的識(shí)別。

作為雨滴渲染的例子，我們從Cityscapes數(shù)據(jù)集中獲取一幅圖像，隨機(jī)生成雨滴并渲染了這些圖像。結(jié)果可以在圖5中找到。

為了測(cè)試物體識(shí)別算法的能力，我們將其應(yīng)用于KITTI數(shù)據(jù)集中排名最高的神經(jīng)網(wǎng)絡(luò)模型算法中?？梢灶A(yù)料到的是，大雨滴可能會(huì)遮擋像行人的小物體或行駛車輛的部分外觀，可能會(huì)讓在完美圖像上訓(xùn)練過(guò)的神經(jīng)網(wǎng)絡(luò)產(chǎn)生混淆。

我們使用的網(wǎng)絡(luò)是一個(gè)單階段對(duì)象檢測(cè)網(wǎng)絡(luò)[31]的循環(huán)滾動(dòng)卷積（RRC）網(wǎng)絡(luò)。它目前在KITTI數(shù)據(jù)集中排名第四。利用相應(yīng)的立體圖像重建了450個(gè)KITTI數(shù)據(jù)集的模擬雨滴場(chǎng)景。這些圖像用作RRC網(wǎng)絡(luò)的輸入。使用沒(méi)有雨滴的相同圖像做為對(duì)比。這個(gè)過(guò)程的概述可以在圖6中找到。

通過(guò)計(jì)算中[35]常用的測(cè)量平均精度（mAP）來(lái)評(píng)估結(jié)果。表I中的結(jié)果表明，當(dāng)圖像中存在雨滴時(shí)，總體平均精度下降了1.18％，整體平均精度下降了0.37％。 此外，我們發(fā)現(xiàn)像行人這樣的小物體更容易被雨滴遮擋（mAP減少4％），而不像汽車這樣的大物體。在頂部神經(jīng)網(wǎng)絡(luò)的識(shí)別率相差百分之零點(diǎn)幾的時(shí)候，即使是很小的改進(jìn)，也會(huì)給予其他人很多幫助。

該研究的結(jié)果與應(yīng)用

這項(xiàng)研究提出了僅基于一對(duì)立體圖像的人為創(chuàng)建雨滴方法。物理上正確的折射和反射包含在我們的模型中，以及一些允許更快開(kāi)發(fā)的簡(jiǎn)化。然而，結(jié)果是顯著的。我們?cè)谝粋€(gè)傾斜的擋風(fēng)玻璃上實(shí)現(xiàn)了照片真實(shí)的雨滴下落，并呈現(xiàn)了他們折射出的所有物體。盡管雨滴用球帽狀做了簡(jiǎn)化，但我們的水滴看起來(lái)很逼真。

我們的光線跟蹤方法產(chǎn)生了一個(gè)3D場(chǎng)景的近乎完美的渲染，沒(méi)有昂貴的網(wǎng)格和紋理的預(yù)計(jì)算。甚至像交通標(biāo)志這樣的小物體也不會(huì)在整個(gè)場(chǎng)景中丟失；車牌中的字母也是可讀的。這是可能的，而3D場(chǎng)景重建依賴于特征匹配和具有離散值的視差圖。神經(jīng)網(wǎng)絡(luò)處理的對(duì)象檢測(cè)，另外訓(xùn)練與雨滴準(zhǔn)備的圖像可以獲得更好的結(jié)果，并超越其他競(jìng)爭(zhēng)對(duì)手。這項(xiàng)工作可以導(dǎo)致更好的整體得分和魯棒性的傳感器缺陷，這些機(jī)器學(xué)習(xí)算法。

處理目標(biāo)檢測(cè)的神經(jīng)網(wǎng)絡(luò)還額外使用雨滴制作的圖像進(jìn)行訓(xùn)練，取得良好的效果。這項(xiàng)工作可以為這些機(jī)器學(xué)習(xí)算法提供更好的總體分?jǐn)?shù)和魯棒性。 到目前為止，我們的連續(xù)NN搜索運(yùn)行在最多8個(gè)CPU內(nèi)核上（這是我們的CPU，Intel i7-7700K提供的最高線程數(shù)）。在那里，每個(gè)KITTI圖像的運(yùn)行時(shí)間大約3分鐘。雨滴越小越少，計(jì)算速度越快。

該算法的一個(gè)有趣的應(yīng)用可能是使用它生成圖像，作為Iseringhausen等人工作的輸入[37]。他們?cè)趫?chǎng)景前面的玻璃板上使用水滴作為光場(chǎng)照相機(jī)，這些水滴在不同位置上用作多個(gè)鏡頭。通過(guò)逆向工程設(shè)計(jì)投影形狀，他們可以推斷出背后的場(chǎng)景，并能從不同的角度創(chuàng)建3D渲染圖，這正好與我們的工作相反。