基于事件相機(jī)的vSLAM研究進(jìn)展

視覺SLAM (vSLAM)是指移動機(jī)器人通過相機(jī)感知外部世界并估計機(jī)器人的位姿和重建周圍環(huán)境的三維地圖。vSLAM在各種應(yīng)用中扮演著不可或缺的角色，包括自動駕駛，機(jī)器人導(dǎo)航和增強(qiáng)現(xiàn)實(shí)。例如，在機(jī)器人導(dǎo)航里，vSLAM能夠提供環(huán)境信息和機(jī)器人的位置來幫助它到達(dá)指定的地點(diǎn)。vSLAM通常利用傳統(tǒng)的RGB相機(jī)獲取圖片信息。然而傳統(tǒng)的相機(jī)局限于低動態(tài)感光范圍和運(yùn)動中產(chǎn)生的動態(tài)模糊，而無法在復(fù)雜的場景下得到精準(zhǔn)的位姿估計和三維重建結(jié)果。近年來，基于一種新的仿生相機(jī)，即事件相機(jī)，相應(yīng)的vSLAM算法被相繼提出。該類方法利用事件相機(jī)的高幀率、高動態(tài)感光范圍、低能耗、低延遲等特性在一些復(fù)雜的場景下也能得到了非常優(yōu)異的結(jié)果。

本綜述綜合性地概述了基于事件相機(jī)的vSLAM研究進(jìn)展，同時也包含了事件相機(jī)的工作原理和事件數(shù)據(jù)的預(yù)處理和表征形式。我們將主流的算法分為四大類，即特征法、直接法 、運(yùn)動補(bǔ)償法和基于深度學(xué)習(xí)的方法。在每個類別中，我們對相應(yīng)的算法框架、突出貢獻(xiàn)、優(yōu)勢和局限性都進(jìn)行了充分的論述。另外，本文還整合了包含事件相機(jī)及多模態(tài)的諸多vSLAM的數(shù)據(jù)集，并在典型的數(shù)據(jù)集上對具有代表性的方法進(jìn)行了系統(tǒng)的結(jié)果評估，也同時討論了不同方法各自適用的場景。最后，我們討論了目前基于事件相機(jī)的vSLAM存在的挑戰(zhàn)以及未來可能的研究方向。

一、事件相機(jī)vSLAM介紹

vSLAM能夠通過視覺傳感器來獲取環(huán)境信息，以達(dá)到估計機(jī)器人位姿和周圍環(huán)境三維重建的目的。但是傳統(tǒng)的視覺傳感器受限于它的硬件而導(dǎo)致的低動態(tài)感光范圍和運(yùn)動中產(chǎn)生的動態(tài)模糊，在一些復(fù)雜的場景下無法得到良好的結(jié)果，例如高速運(yùn)動中的或者復(fù)雜的光照條件下的場景。

近年來，事件相機(jī)受到了研究者們的關(guān)注。由于事件相機(jī)的高幀率、低延遲和高動態(tài)感光范圍，使得基于事件相機(jī)的vSLAM 能夠勝任一些復(fù)雜的場景，尤其是高速運(yùn)動和復(fù)雜光照下的場景。但是，事件相機(jī)產(chǎn)生的事件數(shù)據(jù)和傳統(tǒng)相機(jī)產(chǎn)生的圖像完全不同。如圖1(a, b)所示，事件相機(jī)通過記錄了每個像素點(diǎn)的光度變化而產(chǎn)生時間連續(xù)性的、異步的、稀疏的和不規(guī)則的數(shù)據(jù)。因此傳統(tǒng)的vSLAM算法不能直接運(yùn)用在事件數(shù)據(jù)上。同時，每個事件傳遞的信息極少，且極易受到硬件噪聲的影響。此外，事件相機(jī)引入了更加復(fù)雜的多視圖幾何關(guān)系。所以，我們需要一個新的框架來處理事件數(shù)據(jù)來實(shí)現(xiàn)vSLAM。

圖1. 事件數(shù)據(jù)在時間空間中的表示、投影到圖像平面上的表示以及基于事件相機(jī)的vSLAM方法的相機(jī)位姿和三維重建圖。

為了能讓基于事件相機(jī)的vSLAM在事件數(shù)據(jù)上實(shí)現(xiàn)位姿估計和三維重建，研究者設(shè)計出了多種多樣針對事件相機(jī)的數(shù)據(jù)關(guān)聯(lián)、位姿估計和三維重建的解決方案。我們將主流的算法分類為四種類別，分別為特征法、直接法、運(yùn)動補(bǔ)償法和基于深度學(xué)習(xí)的方法。特征法通過在事件數(shù)據(jù)中提取并跟蹤特征點(diǎn)實(shí)現(xiàn)vSLAM；而直接法隱式關(guān)聯(lián)事件數(shù)據(jù)一次實(shí)現(xiàn)vSLAM；運(yùn)動補(bǔ)償法通過消除投影在圖像平面上的事件表征所產(chǎn)生的動態(tài)模糊來估計相機(jī)的運(yùn)動；基于深度學(xué)習(xí)的方法利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)端到端的預(yù)測位姿和三維圖。本文對相關(guān)的研究算法做了詳盡的介紹，并對一些具有代表性的方法進(jìn)行了結(jié)果評估。

圖2. 基于事件相機(jī)的vSLAM的方法總結(jié)表，包括了他的優(yōu)化方法、分類、事件表征、相機(jī)運(yùn)動類型、場景類型以及采用的傳感器等。

二、具體研究進(jìn)展及討論

為了處理事件相機(jī)產(chǎn)生的異步的、不規(guī)則的事件數(shù)據(jù)，研究者利用濾波器和脈沖神經(jīng)網(wǎng)絡(luò)來單獨(dú)處理每一個原始的事件數(shù)據(jù)，但是這些方法通常需要大量的運(yùn)算。另一方面，研究者提出將一組連續(xù)的事件數(shù)據(jù)轉(zhuǎn)化成同步的事件表征形式，例如二維事件幀、時間平面和voxel grid，來平衡延遲和運(yùn)算量。更多詳情可見文章第三章。

主流的vSLAM算法通常包括三個主要的步驟：數(shù)據(jù)關(guān)聯(lián)、位姿估計和三維重建。它們對相同三維點(diǎn)在不同二維圖像平面上的像素點(diǎn)構(gòu)建關(guān)聯(lián)，通過多視角的幾何學(xué)進(jìn)行位姿估計和三維重建?；谑录鄼C(jī)的vSLAM也遵循了這一范式。

特征法通常從事件數(shù)據(jù)中提取并跟蹤特征來構(gòu)建數(shù)據(jù)關(guān)聯(lián)，例如原始的點(diǎn)和線特征。利用特征和顯式的特征關(guān)聯(lián)，特征法能夠估計每個特征點(diǎn)對應(yīng)的相機(jī)位姿和三維點(diǎn)。特征法十分依賴于特征提取和算法的表現(xiàn)，而由于事件數(shù)據(jù)中的噪聲和運(yùn)動變化的特性，現(xiàn)有的基于事件相機(jī)的特征提取算法還不夠成熟，使得特征法的效果相對比較差。VIO方法通過結(jié)合慣性數(shù)據(jù)提高特征法的魯棒性并取得了較好的性能。更多詳情可見文章第四章。

直接法分為兩類：(a) 事件-圖像對齊法利用光度變化和絕對光度的關(guān)系來建立每個事件和參照光度圖像的像素點(diǎn)，(b) 事件表征對齊法利用了事件數(shù)據(jù)中的空間-時間的關(guān)系對齊兩幀事件表征。由于事件一般產(chǎn)生于高圖像梯度的區(qū)域，這一先驗(yàn)可以幫助直接法篩選像素點(diǎn)。同時，事件相機(jī)的高幀率特性保證了兩幀之間的相對位姿較小，從而保證了直接法能夠得到最優(yōu)解。更多詳情可見文章第五章。

長時間跨度的事件幀通常會產(chǎn)生動態(tài)模糊，而運(yùn)動補(bǔ)償法旨在優(yōu)化事件數(shù)據(jù)的對齊銳化事件幀來估計相機(jī)的運(yùn)動。這種方法能夠保留長期的邊緣模型，提高相機(jī)位姿估計的魯棒性，同時它們能夠運(yùn)動到事件數(shù)據(jù)中的時間戳。但是，運(yùn)動補(bǔ)償法有可能產(chǎn)生事件塌縮的現(xiàn)象，即所有事件對齊到一個點(diǎn)或者一條線上，而得到不準(zhǔn)確的相機(jī)位姿。更多詳情可見文章第六章。

基于深度學(xué)習(xí)的方法通常將事件數(shù)據(jù)轉(zhuǎn)換成二維的事件表征或者三維的voxel grid，采用神經(jīng)網(wǎng)絡(luò)提取特征來預(yù)測位姿和重建三維圖。(a) 無監(jiān)督學(xué)習(xí)法利用事件的光流作為訓(xùn)練信號來估計位姿和深度。(b) 監(jiān)督學(xué)習(xí)法直接利用位姿和深度真 值來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，從而直接預(yù)測位姿和深度。神經(jīng)網(wǎng)絡(luò)能夠提取事件相機(jī)的非線性特征并處理事件噪聲和異常。但是，深度學(xué)習(xí)方法需要大量的訓(xùn)練數(shù)據(jù)，并且其泛用性較差。另外，脈沖神經(jīng)網(wǎng)絡(luò)能夠直接處理異步的、規(guī)則的事件數(shù)據(jù)，但是這項(xiàng)技術(shù)還不夠成熟，它的脈沖消失問題和訓(xùn)練問題有待解決。更多詳情可見文章第七章。

圖3. 四種方法的流程圖，左上為特征法，右上為兩種直接法，包括事件-圖像對齊和事件表征對齊，左下為運(yùn)動補(bǔ)償法，右下為兩種基于深度學(xué)習(xí)的方法，包括無監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)。

三、實(shí)驗(yàn)對比

我們首先詳細(xì)介紹了常用的基于事件相機(jī)的vSLAM數(shù)據(jù)集以及近幾年最新的相關(guān)數(shù)據(jù)集。它們提供了事件相機(jī)在不同場景、不同光照條件下的事件數(shù)據(jù)以及相機(jī)的位姿和深度圖。另外，我們詳細(xì)介紹了位姿和深度估計的評價標(biāo)準(zhǔn)。我們分別在相機(jī)位姿和深度估計兩個子任務(wù)上對具有代表性的算法進(jìn)行了詳盡的比較。我們在相同的設(shè)定下以公正的評測目前的基于事件相機(jī)的vSLAM方法與傳統(tǒng)相機(jī)的方法。相關(guān)指標(biāo)結(jié)果如圖4，5所示。最后，我們討論了四種主流方法的適用場景。

圖4. 深度估計算法的評估結(jié)果。

圖5. vSLAM位姿估計的評估結(jié)果。

四、挑戰(zhàn)與展望

在這一節(jié)，我們討論了基于事件相機(jī)的vSLAM面臨的主要挑戰(zhàn)和未來的研究方向。我們在這里做一個簡要的討論。更多詳情可見文章第九章。

理論研究

理論分析能夠提供基于事件相機(jī)的vSLAM方法泛用性和驗(yàn)證性提供理論保證。近幾年，傳統(tǒng)的vSLAM發(fā)展了許多理論研究，然而基于事件相機(jī)的vSLAM缺乏相應(yīng)的理論研究。如何將傳統(tǒng)的vSLAM的理論研究擴(kuò)展到事件相機(jī)上或者建立新的理論體系是一個值得研究的未來方向。

歡迎關(guān)注「3D視覺工坊」，加群/文章投稿/課程主講，請加微信：dddvisiona，添加時請備注：加群/投稿/主講申請

提高惡劣環(huán)境下的魯棒性

即將事件相機(jī)在高動態(tài)感光范圍的環(huán)境下有巨大的優(yōu)勢，但是一些惡劣環(huán)境下的場景依舊會提高事件數(shù)據(jù)的噪聲，降低基于事件相機(jī)的vSLAM方法的準(zhǔn)確率，例如，夜晚場景和極端天氣狀況。如何提高vSLAM方法在惡劣環(huán)境下的魯棒性保有精確的位姿估計和三維重建是一個充滿潛力的研究方向。

全局優(yōu)化

由于不準(zhǔn)確的數(shù)據(jù)關(guān)聯(lián)和傳感器的噪聲，基于事件相機(jī)的vSLAM算法會累積偏移誤差，導(dǎo)致在長時間的相機(jī)運(yùn)動下產(chǎn)生更大的誤差，而偏離實(shí)際的位置。額外的全局優(yōu)化有望消除累積的便宜誤差，例如，全局地圖優(yōu)化和位姿圖優(yōu)化。

多模態(tài)的基于事件相機(jī)的vSLAM

將基于事件相機(jī)的vSLAM方法與多模態(tài)領(lǐng)域進(jìn)行融合可以進(jìn)一步提高算法的魯棒性。例如，慣性傳感器能夠提供慣性數(shù)據(jù)防止相機(jī)跟蹤丟失。事件-圖像對齊直接法利用光度變化和絕對廣度的關(guān)系對齊事件和圖像上的像素點(diǎn)。未來可以進(jìn)一步探究不同傳感器和事件相機(jī)之間互補(bǔ)的特性來得到更精確、魯棒的vSLAM方法。

五、總結(jié)

我們提供了一份基于事件相機(jī)的vSLAM領(lǐng)域的綜述，涵蓋了事件相機(jī)的工具原理、事件預(yù)處理的表征形式、四種主要的vSLAM方法，公開的評估結(jié)果以及未來的研究方向。事件相機(jī)能夠提高vSLAM算法在高速運(yùn)動和高動態(tài)感光范圍場景下的魯棒性。為了能夠利用事件相機(jī)的優(yōu)勢并運(yùn)用到vSLAM上，未來還需要我們更好地處理異步的、稀疏的事件數(shù)據(jù)。我們將長期維護(hù)一個開放的github倉庫來定期更新最新的工作進(jìn)展和數(shù)據(jù)集 ( https://github.com/kun150kun/ESLAM-survey )。

編輯：黃飛

?