?綜述導讀：深度學習驅(qū)動下的相機標定技術

相機標定在計算機視覺和機器人等領域中占據(jù)舉足輕重的地位，它為后續(xù)場景理解及決策推斷提供了標準化的成像空間和精準的幾何先驗。然而，傳統(tǒng)的相機標定技術常常依賴于繁瑣的人工干預和特定的場景假設，因此難以靈活拓展至不同的相機模型和標定場景。近年來，基于深度學習的解決方案展現(xiàn)出代替手動操作、擺脫場景假設的潛力，實現(xiàn)了全自動化的相機標定技術。在這些方案中，各種各樣的學習機制、網(wǎng)絡架構、先驗知識、優(yōu)化函數(shù)、數(shù)據(jù)集等方面均得到了廣泛的研究。

論文鏈接： https://arxiv.org/pdf/2303.10559.pdf 本綜述總結的方法細節(jié)、數(shù)據(jù)集和構建的評測基準已在線公開并將定期更新，詳情請見： https://github.com/KangLiao929/Awesome-Deep-Camera-Calibration

本綜述首次系統(tǒng)性地概述了深度學習驅(qū)動下的相機標定技術，涵蓋了深度學習時代以來（8年時間跨度）各類相機模型標定及其應用的最新研究進展。主要探索的標定類別包括標準針孔相機模型、畸變相機模型、跨視角模型和跨傳感器模型等。該路線緊密契合了基于深度學習的相機標定的研究趨勢和實際市場需求。在每個類別中，相應技術發(fā)展的貢獻點、優(yōu)勢、局限性得到了充分論述，具體的未來研究技術點也進行了一定展望。此外，本文還整合、構建了一個公開且全面的評測基準數(shù)據(jù)集，可作為開放平臺用于不同研究方法的性能評測。該數(shù)據(jù)集包括了不同仿真環(huán)境下生成的合成數(shù)據(jù)，以及不同場景下由各類真實相機采集到的圖像和視頻序列。每一個數(shù)據(jù)樣本均提供了準確的標定結果、相機參數(shù)、或視覺線索。最后，我們討論了整個基于深度學習的相機標定領域仍然存在的挑戰(zhàn)以及未來可能的研究方向。

一、相機模型及標定目標

相機模型描述了從三維世界坐標中的點到其在二維圖像平面上投影的成像過程。其中，不同的相機和傳感器系統(tǒng)對應不同類型的參數(shù)模型。在本綜述中，我們首先回顧了標準的針孔相機模型涉及的內(nèi)外相機參數(shù)以及幾何表征。隨后，我們根據(jù)基于深度學習的相機標定技術發(fā)展和市場需求回顧了更加復雜的模型，如廣角/魚眼相機模型、卷簾門模型、跨視角模型和相機-雷達聯(lián)合模型。特別地，考慮到傳統(tǒng)相機標定中部分標定目標的隱式性和異質(zhì)性，我們還歸納總結了該領域利于神經(jīng)網(wǎng)絡學習的新標定目標。這些新目標能夠加速訓練損失收斂并有助于提高標定性能。更多細節(jié)詳見本綜述補充材料的第二部分。

本綜述涵蓋了目前市場主流的相機模型、標定目標及其拓展應用

二、基于深度學習的相機標定范式及策略

在工業(yè)界和學術界中，有一些標準的相機標定技術可供選擇（如OpenCV、Kalibr），因此這個過程通常在計算機視覺的最新發(fā)展中被忽視。然而，使用傳統(tǒng)方法對單個或自然圖像和序列（in the wild）進行標定仍然極具挑戰(zhàn)，特別是當待標定數(shù)據(jù)來自互聯(lián)網(wǎng)或未知的相機模型。近年來，深度學習為相機標定技術帶來了新的靈感，實現(xiàn)了無需人工干預的全自動標定過程。本綜述首先從學習范式和學習策略這兩個方面對基于深度學習的相機標定進行分類總結。

學習范式

受不同神經(jīng)網(wǎng)絡架構的啟發(fā)，研究人員開發(fā)出了兩種主流的深度學習相機標定范式。

第一種稱為回歸范式，使用具有卷積和全連接層的神經(jīng)網(wǎng)絡從輸入中回歸標定目標。隨后，回歸得到的相機參數(shù)用于進行后續(xù)任務，如畸變矯正、相機定位、三維重建等。這種學習范式在該領域內(nèi)最早得到研究，各類標定模型的第一個深度學習工作均屬于回歸范式，如內(nèi)參標定（Deepfocal[21]），外參標定（PoseNet[22]），廣角相機標定（Rong[23]），卷簾門標定（URS-CNN[23]），相機-雷達聯(lián)合標定（RegNet[27]）等。

第二種稱為重建范式，它拋棄了傳統(tǒng)的參數(shù)回歸思想，使用全卷積網(wǎng)絡直接從初始輸入學習像素級的映射函數(shù)，將待標定域映射到標定域上。這種方式專注于像素級重建并與后續(xù)任務聯(lián)合學習，可以實現(xiàn)無參數(shù)、一階段標定。該范式下經(jīng)典的標定算法有：針孔相機（MisCaliDet[108]），廣角相機（DR-GAN[31]），卷簾門模型（DeepUnrollNet[46]），相機-雷達模型（CFNet[153]）等。

學習策略

在基于深度學習的相機標定發(fā)展中，多種學習策略得以探索，其中有監(jiān)督學習占絕大多數(shù)（超過90%）?？紤]到標記工作費時費力，越來越多的研究者探索使用半監(jiān)督學習、弱監(jiān)督學習、無監(jiān)督學習和自監(jiān)督學習來降低神經(jīng)網(wǎng)絡對參數(shù)標簽的訓練需求。這些學習策略的研究重心也從數(shù)據(jù)量、網(wǎng)絡層數(shù)的堆疊等逐漸轉變?yōu)閷?shù)據(jù)本身先驗知識的挖掘。

在相機標定技術中，幾何先驗具有高效利用數(shù)據(jù)的特點，因為它們消除了從數(shù)據(jù)中學習這些信息的必要性，這使得網(wǎng)絡框架易于解釋，并且更好地適用于相近的數(shù)據(jù)分布。此外，強化學習也被用于動態(tài)解決相機標定問題。我們注意到，該領域仍然有很多學習策略尚未被開發(fā)研究，如主動學習、少樣本學習、零樣本學習等。這些學習策略可以進一步提高標定算法的效率和魯棒性，從而擴展相機標定的應用場景，例如在醫(yī)療圖像處理、軍事偵察和自動駕駛等領域。

三、具體研究進展及討論

本綜述的結構和層次分類如下圖所示，其中每個部分對應標定不同的相機模型或拓展模型的研究進展。在第三章中，我們介紹了標準針孔相機標定，其中按標定目標分為內(nèi)參標定、外參標定、內(nèi)外參聯(lián)合標定。在第四章中，我們介紹了畸變相機模型標定，其中按畸變類型分為徑向畸變和卷簾門畸變。對于徑向畸變，我們按學習范式進行分類概述；對于卷簾門畸變，我們按數(shù)據(jù)類型進行逐一分析。在第五章中，我們介紹了跨視角模型應用，其中按算法流程分為直接方案、級聯(lián)方案和迭代方案。在第六章中，我們介紹了跨傳感器模型標定，特別是相機-雷達聯(lián)合標定，其中按標定目標分為像素級、語義級和物體/關鍵點級標定。在每一章節(jié)中，我們還歸納了對應標定模型下的深度學習研究趨勢，并展望了未來研究的技術路徑。

有趣的是，我們發(fā)現(xiàn)雖然不同模型標定算法之間的發(fā)展鮮有關聯(lián)，但是它們的研究趨勢均呈現(xiàn)出從回歸范式到重建范式的拓展。新的標定目標的發(fā)展也不謀而合。此外，部分方案根據(jù)傳統(tǒng)標定的流程重新設定了每個學習模塊的結構和功能，在靈活整合幾何求解算法的同時大大提高了網(wǎng)絡的可解釋性。更多分析和討論詳見綜述的第三章至第六章。

本綜述的結構和層次分類，其中每個類別下列出了一些經(jīng)典的方法

四、評測基準

由于在基于深度學習的相機標定領域中還沒有公開且統(tǒng)一的評測基準，因此我們整合、構建了一個數(shù)據(jù)集，以用于評估不同方法的泛化性能。在這個數(shù)據(jù)集中，圖像和視頻是由不同的相機在各種場景下拍攝的，包括模擬環(huán)境和真實世界的場景。此外，我們基于不同的條件提供了標定的真實結果、參數(shù)標簽和視覺線索等，如下圖所示。特別地，對于畸變相機模型，我們使用大約40種廣角相機采集室內(nèi)的原始數(shù)據(jù)。其中每個數(shù)據(jù)均配有標定獲得的內(nèi)參、外參和畸變系數(shù)。為了豐富場景多樣性，我們還用一輛配備了不同標定相機的車載系統(tǒng)來采集街景環(huán)境下的視頻序列，涵蓋了白天、黑夜以及不同的天氣。

本綜述整合、構建的評測基準數(shù)據(jù)集

五、未來研究展望

相機標定是計算機視覺和機器人領域中一個基礎但具有挑戰(zhàn)性的研究課題。從以上的技術回顧和趨勢洞察，我們發(fā)現(xiàn)目前的深度學習方案仍有很大的提升空間。從第三章到第六章，本綜述討論了各類相機模型未來研究的技術路徑。在本節(jié)中，我們將提出整個研究社區(qū)可能關心的一些更為宏觀的未來研究方向。

· 序列標定的拓展

現(xiàn)有的深度學習研究側重于單個圖像的標定，而忽略了采集序列中的時空相關性。將現(xiàn)有方法應用于第一幀并傳播到后續(xù)幀是一種直接的解決方法，但是無法確保完美標定每個輸入，因此標定誤差將貫穿整個序列。學習時空相關性可以為網(wǎng)絡提供運動結構相關的知識，同時在一定程度契合了傳統(tǒng)相機標定的思想。

· 標定目標的革新

傳統(tǒng)的標定目標由于與圖像特征之間的隱式關系，很難通過神經(jīng)網(wǎng)絡準確學習。為此，一些研究開發(fā)了新穎的學習目標來替代傳統(tǒng)的標定目標，為神經(jīng)網(wǎng)絡提供了更加友好的學習表征。此外，一些中間的幾何表示方法也被提出，以彌合圖像特征和標定目標之間的差距，例如反射振幅系數(shù)圖、矯正流、表面幾何和法向流等。展望未來，我們認為仍有很大的潛力設計更明確和合理的標定目標學習方法。

· 預訓練策略的探索

在深度學習中，使用ImageNet數(shù)據(jù)集進行預訓練已成為一種廣泛使用的策略。然而，近期研究表明，這種方法對于特定的相機標定任務（如廣角相機標定）會起到負面作用。這主要由兩個原因造成：數(shù)據(jù)差距和任務差距。此外，據(jù)我們所知，對于超過單個圖像和單個模態(tài)的標定預訓練策略，相關領域尚未進行深入研究。因此，我們認為探索面向相機標定的深度學習預訓練策略是一個有趣且有價值的研究方向。

· 隱式、統(tǒng)一模型的構建

基于深度學習的相機標定方法大多使用傳統(tǒng)的參數(shù)化相機模型，這種模型缺乏適應復雜情況的靈活性。非參數(shù)化相機模型將每個像素與其對應的三維入射光線相關聯(lián)，克服了參數(shù)化模型的限制。此外，它們允許隱式和統(tǒng)一的標定，通過像素級回歸適配所有相機類型，避免了顯式特征提取和幾何求解等過程。深度學習方法顯示出對重建式標定任務的潛力，使得非參數(shù)化模型值得重新審視，并有可能在未來代替參數(shù)化模型。

另一方面，研究人員將隱式、統(tǒng)一表示的優(yōu)勢與神經(jīng)輻射場（NeRF）相結合，用于重建三維結構和合成新視角。其中，自標定NeRF方法可用于具有任意非線性畸變的通用相機，探索了無需標定目標學習深度和自運動的端到端流程。

本綜述認為，隱式和統(tǒng)一相機模型在未來可以用于優(yōu)化基于學習的標定算法，也可集成到下游的三維視覺任務中。同時，該領域中精心設計的幾何先驗、標定策略、優(yōu)化方式、學習表征等也可用于啟發(fā)NeRF等領域的發(fā)展，以進一步擺脫對相機參數(shù)和相機模型的依賴。

更多的未來研究方向，特別是相機標定的實際應用研究點，詳見本綜述補充材料的第三章。

六、總結

我們提供了一份深度學習驅(qū)動的相機標定技術綜述，涵蓋了傳統(tǒng)相機模型、新的學習范式和學習策略、現(xiàn)有方法的詳細回顧、公開的基準測試以及未來研究方向。為了展示發(fā)展過程和現(xiàn)有工作之間的聯(lián)系，我們提供了一種新的精細分類法，通過同時考慮相機模型和拓展應用來對文獻進行分類。此外，在每個類別中，我們都對研究方法的貢獻點、優(yōu)勢和局限性進行了深入地討論。我們將維護一個開放的github倉庫并定期更新最新的工作和數(shù)據(jù)集。我們希望本綜述能夠為相關研究和從業(yè)者提供一個重要參考，并推動這個領域未來的研究發(fā)展。

審核編輯 ：李倩