增強(qiáng)現(xiàn)實(shí)、航空導(dǎo)航和自動(dòng)駕駛的應(yīng)用傳感器的普及標(biāo)定分析

隨著慣性和慣性傳感器的普及，視覺慣性導(dǎo)航系統(tǒng)(VINS)在移動(dòng)增強(qiáng)現(xiàn)實(shí)、航空導(dǎo)航和自動(dòng)駕駛等領(lǐng)域得到了廣泛的應(yīng)用，部分原因在于其互補(bǔ)的傳感器特性、傳感器成本的降低以及尺寸的減小。在這篇文章中,我們對(duì)這一領(lǐng)域進(jìn)行了調(diào)研,盡量對(duì)相關(guān)工作進(jìn)行簡潔但全面的回顧，這樣的回顧為研究者和工程師所迫切需要，但不幸的是在現(xiàn)有文獻(xiàn)中是缺乏的，希望能加速VINS的研究，提升整個(gè)領(lǐng)域的研究水平。

1、引言

多年來，慣性導(dǎo)航系統(tǒng)(INS)[1,2]被廣泛用于估計(jì)傳感平臺(tái)(如自動(dòng)駕駛車輛)的6自由度姿態(tài)(位置和方向)，特別是在GPS信號(hào)缺乏的環(huán)境，如水下，室內(nèi)，城市峽谷或在其他星球上。大多數(shù)INS依賴于一個(gè)6軸慣性測(cè)量單元(IMU)，它測(cè)量平臺(tái)的局部線性加速度和角速度，而平臺(tái)與IMU是剛性連接的。隨著近年來硬件設(shè)計(jì)和制造的進(jìn)步，低成本的輕量化微電子機(jī)械(MEMS) IMU已經(jīng)普遍存在[3-5]，這使得高精度定位成為可能。移動(dòng)設(shè)備[6]和微型飛行器(MAVS)[7-111]，在廣泛的新興應(yīng)用領(lǐng)域中有著巨大的影響[12,13]，從移動(dòng)增強(qiáng)現(xiàn)實(shí)(AR)到虛擬現(xiàn)實(shí)(VR)[14]再到自動(dòng)駕駛[15,16]。不幸的是，高速率IMU測(cè)量的簡單集成被噪聲和偏置所破壞。往往導(dǎo)致長期導(dǎo)航下姿態(tài)估計(jì)的不可靠。盡管存在一種高端戰(zhàn)術(shù)級(jí)IMU，但對(duì)于廣泛部署來說，它的成本仍然高得令人望而卻步。另一方面，體積小、重量輕、能效高的相機(jī)可提供豐富的環(huán)境信息，并作為INS的輔助來源，產(chǎn)生視覺慣性導(dǎo)航系統(tǒng)(VINS)。

雖然這一問題具有挑戰(zhàn)性，因?yàn)槿狈δ軌驕p少隨時(shí)間累積的運(yùn)動(dòng)漂移的全球信息(如果使用低成本、低質(zhì)量的傳感器，這種情況甚至?xí)觿?。在過去的十年里，VINS吸引了大量的關(guān)注。到目前為止。許多VINS算法可用于視覺慣性SLAM[17]和視覺慣性測(cè)程(VIO)，如擴(kuò)展卡爾曼濾波器(EKF)[17,18. 20 - 22]，無跡卡爾曼濾波UKF[23 - 25]，批處理或增量平滑[26,27]，以及基于滑動(dòng)窗口的方法 [28-31]。在這些方法中，基于EKF的方法因其效率高而仍然很受歡迎。例如，作為移動(dòng)設(shè)備上最先進(jìn)的VINS解決方案，Tango[32]項(xiàng)目(或ARCore[12])似乎使用EKF來融合用于運(yùn)動(dòng)跟蹤的視覺和慣性測(cè)量。然而，近年來預(yù)積分技術(shù)的進(jìn)步也使得在基于圖優(yōu)化的方法高效地融合了高頻IMU測(cè)量 [29, 30, 33–35]。

顯然，VINS技術(shù)正在興起，主要是由于移動(dòng)感知和導(dǎo)航應(yīng)用的高要求，這在該領(lǐng)域產(chǎn)生了大量的文獻(xiàn)。然而，據(jù)我們所知，目前還沒有關(guān)于VINS的當(dāng)代文獻(xiàn)綜述，盡管最近有關(guān)于SLAM的廣泛調(diào)研[16,36]，但并不專門研究VINS。這使得學(xué)術(shù)界和工業(yè)界的研究人員和工程師很難有效地找到和理解與他們的興趣相關(guān)的最重要的工作，而這些工作我們多年來在處理這個(gè)問題時(shí)都經(jīng)歷過。因此，我們正努力填補(bǔ)這一缺口：(1)提供一個(gè)簡潔(由于空間限制)但完整的有關(guān)VINS進(jìn)行狀態(tài)估計(jì)的關(guān)鍵方面的回顧，(2)提供了我們對(duì)最重要的相關(guān)工作的理解，（3）對(duì)尚待解決的挑戰(zhàn)的開放的討論。這是由于希望(至少)幫助研究者/工程師跟隨和理解最先進(jìn)的VINS算法和系統(tǒng)，從而更有效地加速我們整個(gè)研究領(lǐng)域的VINS研究和開發(fā)。

2、狀態(tài)估計(jì)

在本節(jié)中，我們通過關(guān)注估計(jì)的方法來回顧VINS文獻(xiàn)。

A.基于濾波的vs.基于優(yōu)化的估計(jì)

Mourikis和Roumeliotis [18]開發(fā)了最早成功的VINS算法之一，稱為多態(tài)約束卡爾曼濾波器（MSCKF），后來應(yīng)用于航天器下降和著陸[21]以及快速無人機(jī)自主飛行[43]。這種方法使用基于四元數(shù)的慣性動(dòng)力學(xué)[37]進(jìn)行狀態(tài)傳播，與有效的EKF更新緊密結(jié)合。具體而言，不是將通過相機(jī)圖像檢測(cè)和跟蹤的特征添加到狀態(tài)向量，而是將它們的視覺方位測(cè)量值投影到特征雅可比矩陣的零空間（即線性邊緣化[44]），從而保留僅與狀態(tài)向量中與隨機(jī)克隆的相機(jī)位姿[45]關(guān)聯(lián)的運(yùn)動(dòng)約束。在通過移除共同估計(jì)可能成百上千個(gè)點(diǎn)特征的需要來降低計(jì)算量的同時(shí)，該操作阻止了特征在以后的非線性測(cè)量的重新線性化，從而產(chǎn)生性能的近似惡化。

標(biāo)準(zhǔn)MSCKF [18]最近已經(jīng)沿著不同的方向進(jìn)行了擴(kuò)展和改進(jìn)。特別是，通過利用我們以前的工作[46-49]中提出的基于可觀性的方法，已經(jīng)開發(fā)了不同的可觀測(cè)性約束（OC）-MSCKF算法，通過強(qiáng)制線性化VINS的正確可觀察性來改善濾波器的一致性[19,38-40,50-52]。MSCKF的平方根逆版本，即平方根逆滑動(dòng)窗口濾波器（SR-ISWF）[6,53]，以提高計(jì)算效率和數(shù)值穩(wěn)定性，使VINS能夠在計(jì)算資源有限的移動(dòng)設(shè)備上運(yùn)行，同時(shí)不犧牲估計(jì)精度。我們已經(jīng)引入了最佳狀態(tài)約束（OSC）-EKF [54,55]，其首先在滑動(dòng)窗口中最佳地提取關(guān)于相對(duì)相機(jī)位姿的視覺測(cè)量中包含的所有信息，然后在EKF更新中使用這些推斷的相對(duì)測(cè)量。最近采用（右）不變卡爾曼濾波器[56]來改善濾波器一致性[25,57-60]，以及用于機(jī)器人中心設(shè)備中VINS的（迭代）EKF [22,61-63]。另一方面，在EKF框架中，除了點(diǎn)之外的不同幾何特征也被用于改善VINS性能，例如[64-68]中使用的線特征和[69-72]中的平面特征。此外，基于MSCKF的VINS也擴(kuò)展到使用具有不準(zhǔn)確時(shí)間同步的卷簾門相機(jī)[64,73]，RGBD攝像機(jī)[69,74]，多個(gè)攝像機(jī)[53,75,76]和多個(gè)IMU [77]。雖然基于濾波的VINS已顯示出高精度狀態(tài)估計(jì)，但它們?cè)诶碚撋鲜艿较拗? 也就是說，非線性測(cè)量（12）在處理之前必須具有一次性線性化，可能將大的線性化誤差引入估計(jì)器并降低性能。

相比之下，批量優(yōu)化方法解決了一組測(cè)量中的非線性最小二乘（束調(diào)整或BA[78]）問題，允許通過重新線性化[79,80]減少誤差，但計(jì)算成本高。Indelman等[27]使用因子圖來表示VINS問題，然后類似于iSAM[81,82]逐步解決它。為了在應(yīng)用于VINS時(shí)實(shí)現(xiàn)恒定的處理時(shí)間，通常將有界滑動(dòng)窗口中的近期狀態(tài)視為有效的優(yōu)化變量，同時(shí)邊緣化過去的狀態(tài)和測(cè)量[28,31,83-85]。特別是Leutenegger等人[28]引入了一種基于關(guān)鍵幀的優(yōu)化方法（即OKVIS），其中一組非連續(xù)的過去相機(jī)姿態(tài)和一系列近期慣性狀態(tài)，與慣性測(cè)量相關(guān)聯(lián)，被用于非線性優(yōu)化以進(jìn)行精確的軌跡估計(jì)。Qin，Li和Shen [31]最近提出了一種基于優(yōu)化的單目VINS，它可以在非實(shí)時(shí)線程中包含閉環(huán)，而我們最近的VINS [86]能夠在一個(gè)僅有線性復(fù)雜度線程中有效地利用閉環(huán)。

B.緊耦合vs.松耦合傳感器融合

VINS融合視覺和慣導(dǎo)有多種方案，可以廣義分為松耦合和緊耦合兩種。具體來說，松耦合融合，無論是濾波還是基于優(yōu)化的估計(jì)，分別處理視覺和慣導(dǎo)的運(yùn)動(dòng)約束，然后融合這些約束(例如 [27,87-91])。雖然該方法具有較高的計(jì)算效率，但視覺約束和慣導(dǎo)約束的解耦會(huì)導(dǎo)致信息丟失。相比之下，緊耦合的方法直接融合視覺和慣性測(cè)量在同一過程，從而實(shí)現(xiàn)更高的精度(例如，[18,28,34,40,85,92])。

C.VIOvs.SLAM

通過聯(lián)合估計(jì)傳感器平臺(tái)的位置和周圍環(huán)境特征，SLAM估計(jì)容易實(shí)現(xiàn)加入閉環(huán)約束實(shí)現(xiàn)有界定位誤差，這在過去三十年中也出現(xiàn)了重大研究成果[16,36,93,94]。VINS可以被視為SLAM的一個(gè)實(shí)例(使用特定的視覺和慣性傳感器)，在廣義上包括視覺慣性(VI)-SLAM[28,33,85]和視覺-慣導(dǎo)里程計(jì)(VIO)[18,22,39,40,52,95]。前者聯(lián)合估計(jì)由環(huán)境特征位置和相機(jī)/IMU姿態(tài)共同構(gòu)成狀態(tài)向量，而后者狀態(tài)向量不包含環(huán)境特征，但仍然利用視覺測(cè)量在相機(jī)/IMU姿態(tài)之間施加運(yùn)動(dòng)約束。一般來說，加入建圖(從而形成閉環(huán))，VI-SLAM從特征地圖和可能回環(huán)檢測(cè)中獲得了更好的精度，同時(shí)比VIO帶來更高的計(jì)算復(fù)雜度。盡管已經(jīng)提出了不同的方法來解決這個(gè)問題[18、21、28、85、96、97]。然而，VIO估計(jì)器本質(zhì)上是里程計(jì)(航跡推算)方法，除非某些全局信息(例如GPS或先驗(yàn)地圖)或?qū)σ郧拔恢玫募s束(例如，使用閉環(huán)檢測(cè))。許多方法利用不同關(guān)鍵幀的特征觀測(cè)來限制在軌跡上的漂移[28,98]。大多數(shù)都有一個(gè)雙線程系統(tǒng)，該系統(tǒng)優(yōu)化小窗口的局部關(guān)鍵幀和限制短時(shí)漂移，而后臺(tái)進(jìn)程優(yōu)化一個(gè)長期稀疏位圖，其中包含強(qiáng)制實(shí)現(xiàn)長期一致性的閉環(huán)約束[31,83,99,100]。例如，VINS-Mono[31,100]在局部滑動(dòng)窗口和全局批處理優(yōu)化中都使用了閉環(huán)約束。具體地說，在局部優(yōu)化過程中，關(guān)鍵幀的特征觀測(cè)提供了隱式的環(huán)閉約束，其中通過假設(shè)關(guān)鍵幀的姿態(tài)是理想的(從而將它們從優(yōu)化中去處)，問題變得很小。

特別是，在VINS中是否通過地圖[83、101、102]和/或位置識(shí)別[103 108]實(shí)行閉環(huán)檢測(cè)是VIO和SLAM之間的關(guān)鍵區(qū)別之一。雖然利用閉環(huán)來實(shí)現(xiàn)有界誤差的VINS是必要的，但也面臨著由于無法在不做出不一致假設(shè)的情況下保持計(jì)算效率的挑戰(zhàn)，例如將關(guān)鍵幀的姿勢(shì)視為正確，或重用信息。為此，[109]提出了一種混合估計(jì)器，利用MSCKF進(jìn)行實(shí)時(shí)局部估計(jì)，并在閉環(huán)檢測(cè)時(shí)觸發(fā)全局BA。在濾波器等待BA完成的額外計(jì)算期間內(nèi)，允許一致性重新線性化和閉環(huán)約束。最近，Lynen等人[110]開發(fā)了一種基于大規(guī)模地圖的VINS，該VINS使用包含特征位置及其不確定性的壓縮先驗(yàn)地圖，并使用先驗(yàn)地圖中的特征匹配來約束全局估計(jì)。DuToit等[102]利用Schmidt KF[111]的思想，開發(fā)了一個(gè)Cholesky-Schmidt EKF，該EKF使用了一個(gè)具有完全不確定性的先驗(yàn)地圖，并放松了地圖特征與當(dāng)前狀態(tài)變量之間的所有關(guān)聯(lián);而我們最新的SchmidtMSCKF[86]將閉環(huán)集成在一個(gè)線程中。此外，最近的point-line VIO[67]將邊緣關(guān)鍵點(diǎn)的三維位置作為閉環(huán)的真值，但這可能會(huì)引發(fā)不一致性。

D.直接vs.間接的視覺處理

視覺處理過程是任何VINS的關(guān)鍵部分之一，負(fù)責(zé)將密集的圖像數(shù)據(jù)轉(zhuǎn)換為運(yùn)動(dòng)約束，并將其納入估計(jì)問題中。其算法根據(jù)使用的視覺殘差模型可分為直接算法和間接算法。間接方法[18,28,30,40,51]被視為經(jīng)典技術(shù)，它提取和跟蹤環(huán)境中的點(diǎn)特征，同時(shí)在估計(jì)過程中使用幾何重投影約束。當(dāng)前最先進(jìn)的間接視覺SLAM的一個(gè)例子是ORB-SLAM2[83,112]，它使用來自3D特征點(diǎn)對(duì)應(yīng)的信息來執(zhí)行基于圖形的相機(jī)姿態(tài)優(yōu)化。

相比之下，直接方法[96,113,115]在公式中利用原始像素強(qiáng)度，并允許包含更大比例的可用圖像信息。LSDSLAM[114]是一個(gè)最先進(jìn)的直接視覺SLAM的例子，它基于最小化相機(jī)關(guān)鍵幀之間的強(qiáng)度誤差來優(yōu)化它們之間的轉(zhuǎn)換。注意，這種方法還優(yōu)化了一個(gè)包含關(guān)鍵幀約束的分離的圖，以允許合并高信息量的閉環(huán)來糾正長軌跡上的漂移。這項(xiàng)工作后來從單目相機(jī)擴(kuò)展到立體和全方位相機(jī)，以提高精度[116,117]。其他流行的直接方法包括[118]和[119]，它們以緊耦合的方式估計(jì)關(guān)鍵幀深度，并提供低的漂移結(jié)果。最近直接方法在VINS上的應(yīng)用受到了關(guān)注，因?yàn)榧词乖诘图y理環(huán)境中，它們也能夠魯棒跟蹤動(dòng)態(tài)運(yùn)動(dòng)。例如，Bloesch等人[61,62]使用基于patch的直接方法提供迭代EKF更新;Usenko等[96]提出了一種基于離散預(yù)積分和直接圖像對(duì)齊的滑動(dòng)窗口VINS; Ling, Liu, and Shen [9] 和 Eckenhoff, Geneva, and Huang[115]將不同IMU預(yù)積分的直接圖像對(duì)齊集成到動(dòng)態(tài)運(yùn)動(dòng)估計(jì)中[34,35,85]。

由于光度一致性假設(shè)，直接圖像對(duì)齊需要良好的初始猜測(cè)和較高的幀率，而間接視覺跟蹤在提取和匹配特征時(shí)需要額外的計(jì)算資源。然而，由于間接方法的成熟和魯棒性，它在實(shí)際應(yīng)用中得到了更廣泛的應(yīng)用，但是直接方法在非結(jié)構(gòu)場(chǎng)景中具有潛力。

E.慣導(dǎo)預(yù)積分

Lupton和Sukkarieh[33]首先提出了IMU預(yù)積分，這是標(biāo)準(zhǔn)慣性測(cè)量積分的一種計(jì)算上有效的替代方案，它將慣性測(cè)量動(dòng)力學(xué)的離散積分與局部參考系統(tǒng)相結(jié)合，從而避免了在每個(gè)優(yōu)化步驟里重新積分狀態(tài)動(dòng)力學(xué)的需要。雖然這解決了計(jì)算復(fù)雜性問題，但由于在方向表示中使用歐拉角，該方法存在奇點(diǎn)。為了提高這種預(yù)積分的穩(wěn)定性，在[29,34]中引入了流形上的表示，其在SO（3）流形上呈現(xiàn)了無奇點(diǎn)定向表示，將IMU預(yù)積分結(jié)合到基于圖優(yōu)化的VINS中。

雖然Shen，Michael和Kumar [85]引入了連續(xù)狀態(tài)下的預(yù)積分。但他們?cè)诓惶峁┓忾]形式解決方案的情況下對(duì)測(cè)量動(dòng)態(tài)進(jìn)行離散采樣，這與從連續(xù)時(shí)間的角度預(yù)積分的理論完整性方面存在顯著的區(qū)別。與先前方法中使用的預(yù)積分測(cè)量和協(xié)方差計(jì)算的離散近似相比，在我們先前的工作[30,35]中，我們得出了測(cè)量和協(xié)方差預(yù)積分方程的閉合形式解，并且這些解決方案提高了在高動(dòng)態(tài)運(yùn)動(dòng)的情況下離散方法的精度。

F.狀態(tài)初始化

提供準(zhǔn)確的初始狀態(tài)估計(jì)的魯棒、快速初始化對(duì)于手持實(shí)時(shí)VINS估計(jì)器至關(guān)重要，其通常以線性閉合形式求解[7,84,120-124]。特別是，Martinelli [123]引入了單眼視覺慣性初始化問題的閉合解決方案，后來擴(kuò)展到陀螺儀偏差校準(zhǔn)。這些方法無法模擬慣性積分中的不確定性，因?yàn)樗鼈円蕾囉陂L時(shí)間內(nèi)IMU測(cè)量的雙重積分。費(fèi)斯勒等人[127]在松散耦合的估計(jì)框架內(nèi)開發(fā)了基于SVO [113]的重新初始化和故障恢復(fù)算法，但需要額外的向下距離傳感器來恢復(fù)尺度。Mur-Artal和Tard'os [83]在他們的ORBSLAM [112]上引入了一個(gè)高度（約10秒）的初始化器，它利用已知ORB-SLAM的關(guān)鍵幀的視覺慣導(dǎo)全BA計(jì)算初始尺度，重力方向，速度和IMU偏差。在[7,84]中，最近提出了一種線性方法用于無噪聲情況，通過利用短期IMU（陀螺儀）預(yù)積分獲得的相對(duì)旋轉(zhuǎn)但不對(duì)陀螺儀偏差建模。當(dāng)觀察的是遠(yuǎn)處的視覺特征時(shí)，這在現(xiàn)實(shí)世界中并不可靠。

3、傳感器標(biāo)定

在融合來自不同傳感器的測(cè)量結(jié)果時(shí)，必須高精度地確定空間和時(shí)間傳感器校準(zhǔn)參數(shù)。特別是，我們應(yīng)該準(zhǔn)確地知道相機(jī)和IMU之間的剛體轉(zhuǎn)換，以便正確地融合從它們的測(cè)量中提取的運(yùn)動(dòng)信息。此外，由于不正確的硬件觸發(fā)，傳輸延遲和時(shí)鐘同步誤差，每個(gè)傳感器的帶時(shí)間戳的傳感數(shù)據(jù)可能不一致，因此，視覺和慣性測(cè)量之間的時(shí)間線錯(cuò)位（時(shí)間偏移）可能會(huì)發(fā)生。因此，校準(zhǔn)這些時(shí)間偏移很關(guān)鍵。傳感器校準(zhǔn)空間和時(shí)間參數(shù)的問題已成為許多最近VINS研究工作的主題[42,128-132]。例如，Mirzaei和Roumeliotis [42]在相機(jī)和IMU之間開發(fā)了基于EKF的空間校準(zhǔn)。進(jìn)行校準(zhǔn)參數(shù)的非線性可觀測(cè)性分析[133]以表明這些參數(shù)在隨機(jī)運(yùn)動(dòng)下是可觀察的。同樣，Jones和Soatto [128]基于無法區(qū)分的軌跡分析檢查了相機(jī)和IMU空間校準(zhǔn)的識(shí)別能力，并在嵌入式平臺(tái)上開發(fā)了基于濾波器的在線校準(zhǔn)。Kelly和Sukhatme[129]通過類似ICP的匹配方法對(duì)齊這兩個(gè)傳感器的旋轉(zhuǎn)曲線，解決了相機(jī)和IMU之間的剛體轉(zhuǎn)換問題。

許多這些研究工作都集中在需要額外校準(zhǔn)輔助工具的離線校準(zhǔn)流程上[42,130,134-136]。特別是，作為最先進(jìn)的方法之一，Kalibr校準(zhǔn)工具箱[130,134]使用傳感器軌跡的連續(xù)時(shí)間基函數(shù)表示[137]來校準(zhǔn)多個(gè)傳感器的內(nèi)參和外參。由于該B樣條表示允許直接計(jì)算預(yù)期的局部角速度和局部線性加速度，因此預(yù)期慣性讀數(shù)和測(cè)量慣性讀數(shù)之間的差異用作批量優(yōu)化公式中的誤差。離線校準(zhǔn)的缺點(diǎn)是每次重新配置傳感器套件時(shí)都必須執(zhí)行此操作。例如，如果移除傳感器進(jìn)行維護(hù)并返回，則放置誤差可能導(dǎo)致性能不佳，需要進(jìn)行時(shí)間的重新校準(zhǔn)。

相反，在線校準(zhǔn)方法在傳感器套件的每個(gè)操作期間估計(jì)校準(zhǔn)參數(shù)，從而使得它們?cè)谶@種情況下更加魯棒并且更容易使用。Kim，Shin和Kweon [138]通過將慣性讀數(shù)從IMU幀轉(zhuǎn)換為第二幀，重新制定了IMU預(yù)積分[33-35]。這允許IMU和其他傳感器（包括其他IMU）之間的校準(zhǔn)，但不包括時(shí)間校準(zhǔn)，并且依賴于計(jì)算陀螺儀測(cè)量的角加速度。Li和Mourikis[131]在移動(dòng)設(shè)備上使用的濾波器框架中，在單個(gè)IMU相機(jī)對(duì)之間同時(shí)校準(zhǔn)空間和時(shí)間外參，后來擴(kuò)展到包括相機(jī)和IMU的內(nèi)參[139]。Qin和Shen [132]擴(kuò)展了他們之前關(guān)于基于批量的單目VINS [31]的工作，通過插入圖像平面上的特征位置來包括相機(jī)和IMU之間的時(shí)間偏移。施奈德等人[140]提出了利用信息量最大的運(yùn)動(dòng)的可觀察性在線校準(zhǔn)。雖然我們最近還分析了時(shí)空校準(zhǔn)的簡并運(yùn)動(dòng)[141]，但尚未完全理解如何對(duì)內(nèi)參進(jìn)行最優(yōu)建模并同時(shí)校準(zhǔn)它們與外參[142,143]。

4、可觀性分析

系統(tǒng)可觀測(cè)性在一致狀態(tài)估計(jì)的設(shè)計(jì)中起著重要作用[49]，它檢查可用測(cè)量提供的信息是否足以估計(jì)狀態(tài)/參數(shù)而沒有模糊[133,144,145]。當(dāng)系統(tǒng)可觀測(cè)時(shí)，能觀性矩陣是可逆的，這也與Fisher信息（或協(xié)方差）矩陣密切相關(guān)[146,147]。由于該矩陣描述了在測(cè)量中可用的信息，通過研究其零空間，我們可以獲得有關(guān)估計(jì)器應(yīng)獲取信息的狀態(tài)空間方向的見解。。在我們之前的工作[46-48,52,146,148-150]中，我們是第一個(gè)為機(jī)器人定位問題設(shè)計(jì)可觀察性約束（OC）一致估計(jì)器的團(tuán)隊(duì)。從那時(shí)起，VINS的可觀察性分析（例如，[19,38,151,152]）成為了一個(gè)重要的研究方向。

特別是，VINS非線性可觀測(cè)性分析被研究者使用不同的非線性系統(tǒng)分析技術(shù)進(jìn)行了研究。例如，Jones和Soatto [128]以及Hernandez，Tsotsos和Soatto [153]對(duì)系統(tǒng)的難以區(qū)分的軌跡[154]從可觀察性的角度進(jìn)行了檢驗(yàn)。通過采用[155]中的連續(xù)對(duì)稱概念，Martinelli [122]分析得出了VINS的閉合形式解，并確定了IMU偏差，3D速度，全局滾動(dòng)和俯仰角是可觀測(cè)的。他還研究了退化運(yùn)動(dòng)[156]，最小可用傳感器[157]，協(xié)同VIO [126]和未知輸入[158,159]對(duì)系統(tǒng)可觀測(cè)性的影響?；诶顚?dǎo)數(shù)和可觀測(cè)矩陣秩檢驗(yàn)[133]，Hesch等。[51]分析表明，單目VINS有4個(gè)不可觀察的方向，對(duì)應(yīng)于全球偏航和外感受傳感器的全球位置。Guo和Roumeliotis[69]將這種方法擴(kuò)展到RGBD相機(jī)輔助INS，如果點(diǎn)和平面測(cè)量都可用，則保留相同的不可觀測(cè)方向。根據(jù)類似的想法，在[74,129,160]中，分析研究了IMU相機(jī)（單目，RGBD）校準(zhǔn)的可觀測(cè)性，這表明在給定通用運(yùn)動(dòng)的情況下IMU和相機(jī)之間的外參平移分量是可觀測(cè)的。另外，在[161,162]中，具有來自水平平面的向下看的相機(jī)測(cè)量點(diǎn)特征的系統(tǒng)被示出具有傳感器的可觀測(cè)的全局z位置。

實(shí)際上，VINS估計(jì)器通常建立在線性化系統(tǒng)上，實(shí)際上更重要的是對(duì)線性化VINS進(jìn)行可觀測(cè)性分析。特別地，線性化VINS系統(tǒng)的可觀測(cè)性矩陣[41,163]具有零空間（即，不可觀察的子空間），其理想地跨越全局平移和繞重力矢量的全局旋轉(zhuǎn)四個(gè)方向[19,38,40,51] ]。在為VINS設(shè)計(jì)非線性估計(jì)器時(shí)，我們希望估計(jì)器使用的系統(tǒng)模型具有由這些方向跨越的不可觀測(cè)子空間。然而，如[19,38-40,51]所示，標(biāo)準(zhǔn)EKF不是這種情況。特別是，標(biāo)準(zhǔn)EKF線性化系統(tǒng)在當(dāng)前狀態(tài)估計(jì)時(shí)使系統(tǒng)和測(cè)量函數(shù)線性化，具有三個(gè)不可觀測(cè)的子空間，而不是四個(gè)維度。這意味著濾波器從可用測(cè)量中獲得不存在的信息，從而導(dǎo)致不一致。為了解決這個(gè)問題，采用了第一個(gè)估計(jì)雅可比（FEJ）思想[47]來提高M(jìn)SCKF一致性[19,40]，OC方法[48]用于開發(fā)OC-VINS[38,39,50] ]。我們最近還開發(fā)了robocentricVIO（R-VIO）[22,63]，它保留了與線性化點(diǎn)無關(guān)的適當(dāng)?shù)目捎^察性。

隨著慣性和視覺傳感器變得無處不在，視覺慣性導(dǎo)航系統(tǒng)（VINS）已經(jīng)進(jìn)行了大量的研究工作，并在過去十年中取得了巨大的進(jìn)步，在實(shí)踐中促進(jìn)了越來越多的創(chuàng)新應(yīng)用。作為SLAM問題的一個(gè)特例，VINS研究人員在SLAM之上迅速建立了豐富的文獻(xiàn)資料[36]。鑒于該領(lǐng)域發(fā)表的論文越來越多，了解最新技術(shù)水平變得越來越難（尤其是從業(yè)者）。此外，由于特定的傳感器特性，在不了解文獻(xiàn)中現(xiàn)有方法的優(yōu)缺點(diǎn)的情況下從頭開發(fā)VINS算法并非易事（注意每種方法都有其特定的關(guān)注點(diǎn)，并不一定解決VINS估計(jì)的所有方面）。所有這些都激勵(lì)我們對(duì)VINS進(jìn)行研究，據(jù)我們所知，遺憾的是，這些研究在現(xiàn)有文獻(xiàn)中是缺乏，因此對(duì)于正在研究這個(gè)問題的研究人員/工程師來說應(yīng)該是一個(gè)有用的參考。基于我們?cè)谠擃I(lǐng)域的重要工作，我們通過關(guān)注構(gòu)建VINS算法的關(guān)鍵方面，包括狀態(tài)估計(jì)，傳感器校準(zhǔn)和可觀察性分析，盡量使這篇論文簡潔而完整。

雖然過去十年中VINS取得了重大進(jìn)展，但仍有許多挑戰(zhàn)需要應(yīng)對(duì)，下面我們列舉一些可供討論的問題：

?持久定位：雖然目前的VINS能夠提供準(zhǔn)確的3D運(yùn)動(dòng)跟蹤，但是僅限于在小規(guī)模友好的環(huán)境中，它們不夠魯棒，不適合長期，大規(guī)模，安全關(guān)鍵的部署，例如自動(dòng)駕駛，部分由于資源限制[95,97,164]。因此，要求即使在具有挑戰(zhàn)性的條件（例如不良照明和運(yùn)動(dòng)）中也能夠?qū)崿F(xiàn)持久性VINS，例如通過有效地集成閉環(huán)或構(gòu)建和利用新的地圖。

?語義定位和建圖：雖然點(diǎn)，線和平面[151,165]等幾何特征主要用于當(dāng)前的VINS進(jìn)行定位，但這些手動(dòng)提取的特征可能不適用于導(dǎo)航，并且能夠通過深度學(xué)習(xí)最新優(yōu)勢(shì)，了解VINS的最佳功能[166]。此外，最近的一些研究努力試圖賦予VINS對(duì)環(huán)境的語義理解[167-170]，這只是零星地探索但具有很大的潛力。

?高維對(duì)象跟蹤：在動(dòng)態(tài)復(fù)雜環(huán)境中導(dǎo)航時(shí)，除了高精度定位外，通常還需要檢測(cè)，表示和跟蹤在同一空間中實(shí)時(shí)共存的移動(dòng)對(duì)象，例如3D對(duì)象跟蹤自主導(dǎo)航[92,171,172]。

?分布式協(xié)作VINS：雖然已在[126,173]中初步研究了合作VINS，但開發(fā)實(shí)時(shí)分布式VINS仍然具有挑戰(zhàn)性，例如，用于眾包操作。最近關(guān)于合作繪圖的工作[174,175]可能會(huì)對(duì)如何解決這個(gè)問題提供一些啟示。

?對(duì)不同輔助傳感器的擴(kuò)展：雖然在許多應(yīng)用中，光學(xué)相機(jī)被視為INS的理想輔助源，但其他輔助傳感器可能更適合某些環(huán)境和運(yùn)動(dòng)，例如，聲學(xué)聲納可能在水下使用[176]；低成本的輕量級(jí)激光雷達(dá)可以在環(huán)境中更好地工作，例如在光照條件差的情況下[71,177]；以及事件相機(jī)[178,179]可以更好地捕捉動(dòng)態(tài)運(yùn)動(dòng)[180,181]。在這個(gè)方向上，我們應(yīng)該研究使用不同輔助源的深入VINS擴(kuò)展，以便應(yīng)用于我們手上的工作。