利用圖像中水體的反射光來輔助算法進行深度估計和三維重建

三維重建是近年來計算機視覺研究的前沿方向，特別是基于單張RGB圖像對三維場景重建更是引起了廣泛的關注。而這篇文章的作者通過對環(huán)境細心的觀察，提出了從單張圖像中恢復三維結構的新方法——利用圖像中水體的反射光來輔助算法進行深度估計和三維重建，為我們提供了一個全新的思路。

波光粼粼的水面為藝術家和建筑師帶來了無線的想象空間和創(chuàng)作靈感，但在星星點點的反光背后卻還隱含著場景結構的視覺線索。對于計算機視覺的研究人員來說，水面的反光為圖像提供了另一個觀察場景對象的視角，如果加以合適的利用就能為視覺任務提供更多更豐富的信息。

簡單來說，一張包含目標水面倒影的圖像中包含了形成立體視覺的必要信息，相機可以同時記錄下直接從目標傳播過來的光線，同時還能記錄下目標通過水面的反光，這使得單圖像立體視覺重建成為了可能。

但水面的反射光畢竟與直接從空氣中傳輸?shù)较鄼C的情況不同，除了幾何方面還需要克服光線衰減、扭曲等方面的問題。水面反射光受到環(huán)境的復雜影響和水中介質的散射，甚至在較淺的水域還會受到水底反射的影響。為了探索這一問題，研究人員提出了Shape from Water Reflection的概念，通過單張圖像同時捕捉目標及其在水面的反射來及進行三維重建。利用規(guī)范的迭代方法來調整目標的輻射損失實現(xiàn)高動態(tài)范圍，同時利用幾何關系對相機進行標定，使得這種方法可以在不依賴于相機參數(shù)的情況下結合反射圖像進行恢復。此外，為了解決水面波浪的情況，研究通過對水面表面法向量的建模同時恢復水面和目標的三維結構。

下圖展示了這種方法的主要流程，首先需要從圖像中抽取目標和對應的反射區(qū)域，而后對特征進行匹配，并基于這些信息進行水面法向量估計和和反射場景的輻射估計，最后進行立體匹配和深度計算；針對有波紋的水面，還需要對波浪進行一定的矯正和三維波浪形狀估計。

Shape from Water Reflection

首先針對平靜的水面，研究人員將水面視為平面鏡面模型可以利用反射模型來對這一過程進行建模。首先需要將圖像中需要重建的目標對象分為直接入射區(qū)域和水面反射區(qū)域，可以利用水面分界線和淹沒來實現(xiàn)，隨后研究人員通過構建出場景和反射中對應的點對來及逆行水平面的表面估計，隨后通過水體表面來估計水面的法向量。

在得到表面法向量后，就可以基于法向量利用直接入射和反射圖像來作為外部標定過的立體視覺對。隨后研究人員還需要對圖像進行輻射校正，通過分離環(huán)境光直接傳輸和反射光，并考慮到水面的菲涅爾反射效應來進行處理。隨后得到的圖像就可以用于立體匹配了。

由于在幾何標定過程中的誤差會引起不正確的輻射恢復。所以可以利用輻射恢復的誤差信息迭代地優(yōu)化幾何標定過程，不斷進行前文流程圖中的A2-A4過程使得恢復的形狀和場景收斂。此外通過水面的菲涅爾反射過程還可以對相機的內參進行估計，從而可以實現(xiàn)自標定的場景重建。

最后可以基于立體視覺匹配和三角公式實現(xiàn)稠密深度圖的計算。如果利用菲涅爾效應帶來的不同有效曝光就可以實現(xiàn)圖像的高動態(tài)范圍，并利用深度值和輻射強度值來構建具有紋理映射的三維網(wǎng)格模型了。

基于菲涅爾效應帶來的不同曝光來重建出高動態(tài)范圍的圖像

當然水面不可能一直風平浪靜，針對有波浪的情形也需要有效處理。研究人員將水面的波動視為水面法向量的差分。首先針對全局進行水面估計，隨后迭代的對細節(jié)的法向量進行優(yōu)化，對幾何與輻射進行求解。

通過表面法向量差分的方式來估計水面波紋，可以移除波紋對于成像造成的影響。

結果

下圖展示了一系列基于這種方法進行重建的結果，可以看到不僅圖像紋理的動態(tài)范圍有所提升，同時細節(jié)也得到了良好的恢復。