基于點到極線度量的用于道路車輛的雙目視覺里程計

摘要

精準(zhǔn)定位是所有自動駕駛系統(tǒng)的基礎(chǔ)組成模塊。本文，我們專注于雙目相機，提出一種名叫SOFT2的新方法，這是當(dāng)前KITTI評分板上排名第一的算法。SOFT2依賴于對極幾何和運動學(xué)的約束，也就是說，它是為不會出現(xiàn)純旋轉(zhuǎn)的裝置而開發(fā)的。我們最小化了點到極線的距離，這使得該方法能夠適應(yīng)對象深度的不確定性，作為第一步，我們僅使用一個攝像頭按比例估計運動。

然后，我們提出聯(lián)合估計絕對尺度和第二個相機的外部旋轉(zhuǎn)矩陣，以減輕變化的雙目設(shè)備的外參的影響。最后， 我們通過提出的極線BA處理，平滑幀時間窗口中的運動估計 。

我們還引入了一個多假設(shè)特征匹配方法，用于因視角變化出現(xiàn)的外觀變化而出現(xiàn)的自相似平面。我們評估SOFT2，并將其與ORB-SLAM2、OV2SLAM和VINS-FUSION在KITTI-360數(shù)據(jù)集上、KITTI訓(xùn)練序列、Málaga Urban數(shù)據(jù)集、Oxford Robotics Car數(shù)據(jù)集、和多車立體事件攝像機數(shù)據(jù)集進行比較。

圖1. KITTI 01序列的極線圖解。相機光心點（紅色）大致與當(dāng)前（綠色）和之前（藍色）幀的極點重合-為了更好地可視化，點位于放大的中心圓中。正方形顯示當(dāng)前幀中檢測到的特征，而尾線將它們與來自上一幀的匹配點連接起來。綠線表示與前一幀特征關(guān)聯(lián)的極線。顏色將地面特征和其它特征進行了區(qū)分。我們的方法最小化了所有特征與相關(guān)極線的垂直距離。



圖2.所提雙目里程計方法的整體流程。三角形分別代表左右相機。



圖3. 尺度和外參旋轉(zhuǎn)估計的闡述。彩色虛線表示代價函數(shù)中使用的極線代價對。紅色變量表示估計變量。



圖4.4幀極線BA的說明。注意，我們只使用左相機的圖像。虛線表示代價函數(shù)中使用的額外極線代價對，除了來自連續(xù)幀的函數(shù)外。紅色變量表示估計變量。



圖5.六條道路特征的示例，其中每三條分別表示：從左側(cè)攝像頭（左側(cè)）看到的道路特征（左邊塊），使用SOFT2（中間塊）生成的預(yù)測，以及在右側(cè)圖像中找到的相應(yīng)的特征（右側(cè)塊）。



圖6.在KITTI01序列的第390幀檢測到的ORB-SLAM2特征（上）和SOFT2特征（下）。道路特征被標(biāo)記為紫色，其它被標(biāo)記為青色。



圖7.六條道路特征的示例，其中每三條分別表示：從左側(cè)相機（左側(cè)塊）看到的特征，使用SOFT2生成過去5幀的預(yù)測（中間塊），以及在過去5幀左側(cè)圖像找到的特征（右側(cè)塊）。



圖8.三個KITTI-360序列的估計軌跡和真值。



表1.九個KITTI-360序列的實驗評估（trel[%]，rrelr[deg/100 m]）。VO是基礎(chǔ)—本征矩陣+利用舊版本SOFT匹配器得到的尺度和外參。注意，SOFT2列表示包含帶極線BA的多假設(shè)透視校正匹配器的版本，即SOFT2=VO+MHPC+BA3。



圖9.外參估計結(jié)果顯示右側(cè)相機相對于左側(cè)相機的相對旋轉(zhuǎn)，和有估計以及沒有估計的軌跡誤差影響。ORB-SLAM2的誤差也展示出來，以供參考。



表2.在11個KITTI數(shù)據(jù)集訓(xùn)練序列的實驗評估。



圖10.三個Málaga序列的估計軌跡和真值。



表3.Málaga數(shù)據(jù)集的實驗評估。



圖11.三個Oxford片段的估計軌跡和真值。



表4.Oxford數(shù)據(jù)集的實驗評估。



圖12.MVSEC序列的估計軌跡和真值。



表5.MVSEC數(shù)據(jù)集的實驗評估。






審核編輯：劉清