單目深度估計(jì)開源方案分享

0. 筆者個人體會

單目深度估計(jì)網(wǎng)絡(luò)可以估計(jì)RGB圖像的稠密深度圖，但大家可以發(fā)現(xiàn)大多數(shù)模型的深度圖并不準(zhǔn)確，尤其是物體邊界的深度值非常模糊。而且很多深度估計(jì)模型只能處理分辨率很小的圖像，圖像一大就模糊。這就會導(dǎo)致SLAM/SfM等任務(wù)生成的3D場景的物體邊界質(zhì)量非常差。

今天筆者將為大家分享一項(xiàng)最新的開源工作PatchFusion，可以產(chǎn)生極高分辨率的單目深度圖，還可以助力之前的SOTA方案ZoeDepth等網(wǎng)絡(luò)漲點(diǎn)！

1. 效果展示

可以看一下單目深度估計(jì)效果，這個深度圖的分辨率是真的高，物體邊界分割的非常干凈！

2. 具體原理是什么？

PatchFusion是基于圖塊的框架，具有三個關(guān)鍵組件：

（1）patch式融合網(wǎng)絡(luò)，通過高層將全局一致的粗略預(yù)測與更精細(xì)、不一致的圖塊預(yù)測融合到一起；

（2） 全局到局部 (G2L) 模塊，為融合網(wǎng)絡(luò)添加重要上下文，無需patch選擇啟發(fā)式方法；

（3） 一致性感知訓(xùn)練 (CAT) 和推理 (CAI) 方法，強(qiáng)調(diào)patch重疊一致性，從而消除后處理。

3. 和其他SOTA方法對比如何？

分別在UnrealStereo4K、MVS-Synth 和 Middleburry 2014 上做了實(shí)驗(yàn)，證明PatchFusion可以生成具有復(fù)雜細(xì)節(jié)的高分辨率深度圖。

更重要的一點(diǎn)是，PatchFusion可以增強(qiáng)之前的SOTA方案 ZoeDepth，在 UnrealStereo4K 和 MVS-Synth 上的均方根誤差 (RMSE)分別提高了 17.3% 和 29.4%。

審核編輯：黃飛