用于自動駕駛的同步定位和建圖 (SLAM)：概念和分析

摘要

同步定位和建圖 (SLAM) 技術(shù)在過去幾十年取得了驚人的進步，并引起了自動駕駛社區(qū)的極大興趣。憑借其在導(dǎo)航和地圖繪制的概念根源，SLAM 優(yōu)于一些傳統(tǒng)的定位和定位技術(shù)，因為它可以支持更可靠和穩(wěn)健的定位、規(guī)劃和控制以滿足自動駕駛的一些關(guān)鍵標準。在這項研究中，作者首先概述了不同的 SLAM 實現(xiàn)方法，然后針對不同的駕駛場景、車輛系統(tǒng)組件和 SLAM 方法的特點討論了 SLAM 在自動駕駛中的應(yīng)用。然后，作者討論了將 SLAM 應(yīng)用于自動駕駛時的一些具有挑戰(zhàn)性的問題和當(dāng)前的解決方案。綜述了評估SLAM系統(tǒng)的特性和性能以及監(jiān)控SLAM估計風(fēng)險的一些定量質(zhì)量分析方法。

此外，本研究還描述了一個真實世界的道路測試，以展示用于自動駕駛的基于多傳感器的現(xiàn)代化 SLAM 程序。數(shù)值結(jié)果表明，結(jié)合激光雷達和 GNSS/INS 的 SLAM 程序可以生成高精度 3D 點云地圖?；诖祟A(yù)生成地圖和在線激光雷達掃描與緊密融合的慣性系統(tǒng)匹配，可以實現(xiàn)在線四到五厘米精度定位解決方案。本研究描述了一個真實世界的道路測試，以展示用于自動駕駛的基于多傳感器的現(xiàn)代化 SLAM 程序。數(shù)值結(jié)果表明，結(jié)合激光雷達和 GNSS/INS 的 SLAM 程序可以生成高精度 3D 點云地圖。

基于此預(yù)生成地圖和在線激光雷達掃描與緊密融合的慣性系統(tǒng)匹配，可以實現(xiàn)在線四到五厘米精度定位解決方案。本研究描述了一個真實世界的道路測試，以展示用于自動駕駛的基于多傳感器的現(xiàn)代化 SLAM 程序。數(shù)值結(jié)果表明，結(jié)合激光雷達和 GNSS/INS 的 SLAM 程序可以生成高精度 3D 點云地圖。基于此預(yù)生成地圖和在線激光雷達掃描與緊密融合的慣性系統(tǒng)匹配，可以實現(xiàn)在線四到五厘米精度定位解決方案。

一、簡介

自主（也稱為自動駕駛、無人駕駛或機器人）車輛操作是一個重要的學(xué)術(shù)和工業(yè)研究課題。據(jù)預(yù)測，全自動駕駛汽車將成為未來幾十年汽車總銷量的重要組成部分。自動駕駛汽車的推廣引起了人們對許多優(yōu)勢的關(guān)注，例如為殘疾人或老年人提供服務(wù)、減輕駕駛員壓力和成本、減少道路事故、消除對傳統(tǒng)公共交通服務(wù)的需求等。[ 1 , 2 ] .

典型的自動駕駛汽車系統(tǒng)包含四個關(guān)鍵部分：定位、感知、規(guī)劃和控制（圖 1）。定位是獲?。ㄒ苿踊蜢o態(tài)）對象相對于給定坐標系的坐標的過程。坐標系可以是局部坐標系或大地基準，例如WGS84。定位是估計載體相對于參考系或地圖的姿態(tài)（位置和姿態(tài)）的過程。感知系統(tǒng)監(jiān)測本車周圍的道路環(huán)境，識別感興趣的對象，如行人、其他車輛、紅綠燈、指示牌等。

圖 1. 自動駕駛系統(tǒng)的功能組件。

通過確定周圍環(huán)境中物體的坐標，可以生成地圖。此過程稱為建圖。

路徑規(guī)劃是利用定位、建圖和感知信息來確定后續(xù)駕駛時期的最佳路徑，將自動駕駛車輛從一個位置引導(dǎo)到另一個位置的步驟。然后使用控制系統(tǒng)組件將該計劃轉(zhuǎn)化為行動，例如，在檢測到交通燈之前進行制動控制等。

所有這些部分都是密切相關(guān)的。車輛和道路實體的位置信息可以通過結(jié)合位置、感知和地圖信息來獲得。相比之下，定位和建圖可用于支持更好的感知。準確的定位和感知信息對于正確的規(guī)劃和控制至關(guān)重要。

為實現(xiàn)全自動駕駛，定位和感知步驟需要考慮一些關(guān)鍵要求。首先是準確性。對于自動駕駛，有關(guān)道路位置和車輛在車道內(nèi)位置的信息支持規(guī)劃和控制步驟。為了實現(xiàn)這些，并確保車輛安全，對車道級別甚至“where-in-lane”級別（即子車道級別）的位置估計有嚴格的要求。識別范圍很重要，因為規(guī)劃和控制步驟需要足夠的處理時間讓車輛做出反應(yīng) [ 3]. 魯棒性意味著定位和感知應(yīng)該對駕駛時的任何變化具有魯棒性，例如駕駛場景（城市、高速公路、隧道、鄉(xiāng)村等）、照明條件、天氣等。

傳統(tǒng)的車輛定位和感知技術(shù)無法滿足上述所有要求。例如，由于信號可能被樹木、城市峽谷、隧道等扭曲甚至阻擋，因此會出現(xiàn) GNSS 誤差。慣性導(dǎo)航系統(tǒng) (INS) 通常用于在 GNSS 信號中斷期間支持導(dǎo)航，以繼續(xù)提供位置、速度和高度信息。然而，慣性測量偏差需要經(jīng)常估計校正或校準，最好使用 GNSS 測量來實現(xiàn)。然而，集成的 GNSS/INS 系統(tǒng)仍然不夠，因為高度自動化駕駛不僅需要宿主車輛的定位信息，還需要周圍環(huán)境中物體的空間特征。因此，感知傳感器，例如激光雷達和相機，通常用于定位和感知。激光雷達可以直接獲取 3D 點云，并借助 GNSS 和 INS 繪制環(huán)境地圖，在城市道路行駛條件下精度可達厘米級 [4 ]。然而，高昂的成本限制了激光雷達系統(tǒng)在車輛中的商業(yè)應(yīng)用。此外，其準確性受天氣（例如下雨）和照明條件的影響。與激光雷達相比，攝像頭系統(tǒng)的精度較低，但也會受到眾多誤差源的影響 [ 5、6 ]。然而，它們更便宜、體積更小、需要更少的維護并且使用更少的能源?；谝曈X的系統(tǒng)可以提供豐富的環(huán)境信息，類似于人眼可以感知的信息，并且數(shù)據(jù)可以與其他傳感器融合以確定檢測到的特征的位置。

具有豐富道路環(huán)境信息的地圖對于上述傳感器實現(xiàn)準確和穩(wěn)健的定位和感知至關(guān)重要。預(yù)先存儲的道路信息使自動駕駛對不斷變化的環(huán)境和道路動態(tài)具有魯棒性。由于車載地圖可以及時提供路網(wǎng)信息，因此可以滿足識別范圍要求。已經(jīng)使用不同類型的地圖信息研究了基于地圖的定位和導(dǎo)航。谷歌地圖就是一個例子，因為它提供全球地圖信息，包括圖像、地形細節(jié)和衛(wèi)星圖像 [ 7 ]，并且可以通過手機和車輛應(yīng)用程序獲得。但是，地圖的使用將受到地圖精度的限制，并且在某些選定區(qū)域中，地圖的分辨率可能不足。在 [ 8]，作者通過結(jié)合來自其他傳感器的數(shù)據(jù)來考慮用于導(dǎo)航的低精度地圖。他們使用激光雷達數(shù)據(jù)檢測移動物體，并使用帶有粗略開源 GIS 地圖的 GNSS/INS 系統(tǒng)。他們的結(jié)果表明他們的融合技術(shù)可以成功地檢測和跟蹤移動物體。[ 9 ]中提出了一種使用 3D 激光雷達傳感器和高精度地圖的基于路緣地圖的精確定位方法。但是，當(dāng)路緣信息缺失或受阻時，此方法將失敗。

最近，所謂的“高清”(HD) 地圖在自動駕駛的背景下受到了極大的關(guān)注，因為它們包含非常準確且大量的道路網(wǎng)絡(luò)信息 [10 ]。據(jù)商業(yè)高清地圖市場的一些主要參與者稱，已經(jīng)達到 10-20 厘米的精度[ 11、12】，預(yù)計在下一代高精地圖中，精度將達到幾厘米。此類地圖包含大量道路特征信息，不僅包括靜態(tài)道路實體和道路幾何形狀（曲率、坡度等），還包括交通管理信息，如交通標志、紅綠燈、限速、道路標記等。自動駕駛汽車可以使用高精地圖精確定位主車在車道內(nèi)，并通過將車載傳感器識別的地標與車道內(nèi)預(yù)存信息進行匹配，估計汽車相對于道路物體的相對位置。高清地圖。

因此，地圖，尤其是高清地圖，在支持自動駕駛方面發(fā)揮著多種作用，可能能夠滿足準確度、精確度、識別距離、魯棒性和信息豐富度等嚴苛要求。然而，同時定位與建圖（SLAM）等技術(shù)也促進了“地圖”在自動駕駛中的應(yīng)用。SLAM 是移動平臺構(gòu)建環(huán)境地圖并同時使用該地圖推斷其位置的過程。廣泛應(yīng)用于機器人領(lǐng)域的 SLAM 已被證明 [ 13、14 ] 適用于自動駕駛車輛操作，因為它不僅可以支持精確的地圖生成，還可以在先前生成的地圖中進行在線定位。

通過適當(dāng)?shù)膫鞲衅餍畔ⅲǜ兄獢?shù)據(jù)、絕對和航位推算位置信息），可以通過 SLAM 離線生成高密度和精確的地圖。駕駛時，自動駕駛汽車可以通過將傳感器數(shù)據(jù)與地圖進行匹配，在預(yù)先存儲的地圖中定位自己。SLAM 還可用于解決 DATMO（移動物體的檢測和跟蹤）問題 [ 15] 這對于檢測行人或其他移動物體很重要。由于環(huán)境的靜態(tài)部分由 SLAM 定位和建圖，因此可以同時檢測和跟蹤相對于靜態(tài)對象或特征的動態(tài)組件。然而，SLAM 在應(yīng)用于自動駕駛應(yīng)用時也存在一些具有挑戰(zhàn)性的問題。例如，“閉環(huán)”可用于減少室內(nèi)或城市場景中 SLAM 估計中的累積偏差，但通常不適用于高速公路場景。

本文將回顧SLAM的一些關(guān)鍵技術(shù)，SLAM在自動駕駛中的應(yīng)用，以及與應(yīng)用相關(guān)的合適的SLAM技術(shù)。第 2 節(jié)簡要介紹了一些關(guān)鍵 SLAM 技術(shù)的原理和特點。第 3 節(jié)描述了 SLAM 在自動駕駛中的一些潛在應(yīng)用。第 4 節(jié)討論了將 SLAM 技術(shù)應(yīng)用于自動駕駛的一些具有挑戰(zhàn)性的問題。第 5 節(jié)描述了一個真實世界的道路測試，以顯示基于多傳感器的自動駕駛 SLAM 程序的性能。結(jié)論在第 6 節(jié)中給出。

2. 關(guān)鍵SLAM技術(shù)

自 1986 年首次推出 [ 16 ] 以來，已經(jīng)開發(fā)了多種 SLAM 技術(shù)。SLAM 的概念根源于大地測量學(xué)和地理空間建圖 [ 17 ]。

一般來說，有兩種類型的 SLAM 估計方法：基于濾波器和基于優(yōu)化。兩種方法同時估計車輛姿態(tài)狀態(tài)和地圖狀態(tài)。車輛姿態(tài)包括 3D 或 2D 車輛位置，但有時還包括速度、方向或姿態(tài)，具體取決于所使用的傳感器和應(yīng)用程序。

2.1. 在線和離線 SLAM

圖 2和圖 3說明了兩種一般的 SLAM 實現(xiàn)：在線 SLAM 和離線 SLAM（有時稱為全 SLAM）。根據(jù) [ 18 ]，全 SLAM 試圖計算整個路徑上的變量以及地圖，而不僅僅是當(dāng)前位姿，而在線 SLAM 問題是通過從全 SLAM 問題中刪除過去的位姿來解決的。

圖 2. 在線 SLAM 描述

圖 3. 離線 SLAM 描述。

這里，x k代表車輛在時間k的位姿（位置、姿態(tài)、速度等） 。m是由存儲的地標 ( f 1 – f 4 ) 及其位置狀態(tài)組成的地圖。u k是控制輸入，表示時間段k ? 1 和k之間的車輛運動信息，例如加速度、轉(zhuǎn)角等，可以從車輪編碼器或慣性傳感器等車輛運動傳感器獲取。在某個時期k，機載傳感器（如 Camera、Lidar 和 Radar）將感知環(huán)境并檢測一個或多個地標。車輛和所有觀察到的地標之間的相對觀察表示為z k。有了這些信息，就可以估計變量（包括車輛姿態(tài)和地圖狀態(tài)）。

圖 2和圖 3中的藍色背景矩形表示在這兩個實現(xiàn)中估計的狀態(tài)變量。在大多數(shù)情況下，對于在線 SLAM，在生成地圖并使用最新測量值（u k +2和z k +2 ）更新地圖時，僅估計當(dāng)前車輛位姿x k +2，而在離線情況下SLAM實現(xiàn)，車輛的整個軌跡連同整個地圖一起更新。所有可用的控制和觀察測量將一起用于離線 SLAM 實施。

然而，隨著SLAM算法的發(fā)展和計算能力的提高，可以使用高效的SLAM算法實時獲得完整的SLAM解決方案，也可以將其視為在線問題。因此，在線或離線實施 SLAM 方法可能取決于它所需的測量輸入（控制和觀察）是來自當(dāng)前/歷史還是來自未來的時代，以及它的處理時間（實時或非實時）。

2.2. 基于濾波器的 SLAM

基于濾波器的 SLAM 分兩步遞歸地解決 SLAM 問題。首先，使用處理模型和控制輸入來預(yù)測車輛和地圖狀態(tài)。在下一步中，使用當(dāng)前傳感器觀測值對預(yù)測狀態(tài)進行校正。因此，基于濾波器的 SLAM 適用于在線 SLAM。

基于擴展卡爾曼濾波器的 SLAM (EKF-SLAM) 代表了 SLAM 問題的標準解決方案。它源自貝葉斯過濾，其中所有變量都被視為高斯隨機變量。它包括兩個步驟：時間更新（預(yù)測）和測量更新（過濾）。在每個時期，測量和運動模型都被線性化（使用當(dāng)前狀態(tài)和一階泰勒展開）。然而，由于線性化不是圍繞狀態(tài)向量的真實值進行的，而是圍繞估計值 [ 19 ] 進行的，因此線性化誤差會累積并可能導(dǎo)致估計發(fā)散。因此，可能會出現(xiàn)不一致。

與 EKF-SLAM 相關(guān)的另一個問題是地圖尺寸的不斷擴大，這使得大規(guī)模 SLAM 的二次計算過程變得不切實際。對于自動駕駛來說，復(fù)雜的道路環(huán)境和較長的行駛周期會引入大量的特征，使得實時計算不可行。為了提高計算效率，人們開發(fā)了大量的算法。例如，壓縮擴展卡爾曼濾波器 (CEKF) [ 20 ] 算法可以通過關(guān)注局部區(qū)域然后將過濾后的信息擴展到全球地圖來顯著減少計算量。具有子圖的算法也已用于解決計算問題[ 21、22、23、24]. 當(dāng)舊地圖達到預(yù)定義的地圖大小時，使用新的空白地圖替換舊地圖。維護更高級別的地圖以跟蹤每個子地圖之間的鏈接。

還有一些其他基于濾波器的 SLAM 方法，例如卡爾曼濾波器的一些變體。其中之一，信息濾波器 (IF)，以狀態(tài)誤差協(xié)方差矩陣的逆形式傳播，這使得該方法更加穩(wěn)定 [ 25 ]。這種方法在多車 SLAM 中比在單車系統(tǒng)中更受歡迎。

另一類基于濾波器的 SLAM 技術(shù)是近年來流行的粒子濾波器 (PF)。PF 通過代表貝葉斯后驗概率的一組隨機點簇（或粒子）執(zhí)行順序蒙特卡洛（SMC）估計。在 [ 26 ]中提出了 Rao-Blackwellized 粒子濾波器。Fast-SLAM 是一種流行的實現(xiàn)方式，它將機器人位置分布視為一組 Rao-Blackwellized 粒子，并使用 EKF 來維護局部地圖。這樣一來，SLAM的計算復(fù)雜度就大大降低了。Fast-SLAM [ 27 ]可以實現(xiàn)實時應(yīng)用，使自動駕駛的在線 SLAM 成為可能。與 EKF 相比的另一個優(yōu)勢是粒子濾波器可以處理非線性運動模型 [ 28]. 然而，根據(jù) [ 29、30 ]，F(xiàn)ast-SLAM 由于無法忘記過去而遭受退化。如果邊緣化地圖并在執(zhí)行重采樣時，統(tǒng)計準確性就會丟失。

2.3. 基于優(yōu)化的 SLAM

Full SLAM 使用整個傳感器數(shù)據(jù)估計所有車輛姿態(tài)和地圖狀態(tài)，并且主要基于優(yōu)化。與基于濾波器的 SLAM 類似，基于優(yōu)化的 SLAM 系統(tǒng)由兩個主要部分組成：前端和后端。在前端步驟中，SLAM系統(tǒng)通過傳感器數(shù)據(jù)提取問題的約束條件，例如，通過執(zhí)行特征檢測和匹配、運動估計、閉環(huán)檢測等。然后應(yīng)用非線性優(yōu)化來獲得最大似然估計在后端。

圖 SLAM 是全 SLAM 的主要類別之一，它使用圖形結(jié)構(gòu)來表示貝葉斯 SLAM。所有平臺沿整個軌跡構(gòu)成，所有檢測到的特征都被視為節(jié)點。姿勢之間的空間約束被編碼在節(jié)點之間的邊緣中。這些約束來自觀察、里程計測量和閉環(huán)約束。圖構(gòu)建后，應(yīng)用圖優(yōu)化以優(yōu)化整個軌跡和地圖的圖模型。為了求解全優(yōu)化和計算后驗的高斯近似，可以使用多種方法，例如 Gauss–Newton 或 Levenberg–Marquardt [31 ]。

對于基于圖的 SLAM，其協(xié)方差矩陣的大小和更新時間在生成圖后是恒定的，因此圖 SLAM 已成為構(gòu)建大規(guī)模地圖的流行方法。降低優(yōu)化步驟的計算復(fù)雜度已成為實際實現(xiàn)高維 SLAM 問題的主要研究課題之一。有效解決優(yōu)化步驟的關(guān)鍵是法線矩陣的稀疏性。每個測量僅與非常有限數(shù)量的變量相關(guān)聯(lián)的事實使得矩陣非常稀疏。利用Cholesky分解和QR分解方法，可以有效地分解信息矩陣和測量雅可比矩陣，從而顯著降低計算成本。已經(jīng)提出了幾種算法，例如TORO和g2o。32、33、34、35、36 ]。_ _ _ _ _ _ _ 子地圖可以獨立優(yōu)化并與局部坐標系相關(guān)。子地圖坐標可以被視為姿勢節(jié)點，與運動約束或閉環(huán)約束相關(guān)聯(lián)。因此，生成了全局位姿圖。以這種方式，計算復(fù)雜度和更新時間將得到改進。

Smoothing and Mapping (SAM) 是另一種基于優(yōu)化的 SLAM 算法，是一種非線性最小二乘問題。這樣的最小二乘問題可以通過增量平滑和建圖 (iSAM) [ 37 ] 和 iSAM2 [ 38 ] 逐步解決。在線 SLAM 可以通過增量 SAM 獲得，因為它們避免了對整個協(xié)方差矩陣進行不必要的計算。iSAM2 更高效，因為它使用貝葉斯樹來獲得增量變量重新排序和流體重新線性化。

SLAM++ 是另一種基于非線性最小二乘優(yōu)化的 SLAM 增量解決方案，非常高效。此外，對于在線 SLAM 實現(xiàn)，快速狀態(tài)協(xié)方差恢復(fù)對于數(shù)據(jù)關(guān)聯(lián)、獲得簡化狀態(tài)表示、主動決策和下一個最佳視圖非常重要 [39、40 ]。SLAM++ 有一個優(yōu)勢，因為它允許增量協(xié)方差計算，這比其他實現(xiàn)更快[ 40 ]。

表 1總結(jié)了一些典型的 SLAM 技術(shù)的特征。請注意，Graph SLAM 利用所有可用的觀察和控制信息，可以實現(xiàn)非常準確和穩(wěn)健的估計結(jié)果。它適用于離線應(yīng)用，其性能依賴于良好的初始狀態(tài)猜測。Filter-based SLAM 用于在線估計時更適合小規(guī)模環(huán)境，但對于復(fù)雜環(huán)境，傳統(tǒng)的 EKF-SLAM 可能難以進行實時計算。應(yīng)考慮其他變體或 fastSLAM。增量優(yōu)化方法可以進行增量更新，從而以非常高的效率實時地提供大比例尺地圖的最優(yōu)估計。

表 1. 一些典型 SLAM 技術(shù)的特征

2.4. SLAM 的傳感器和融合方法

由于傳感器和計算技術(shù)的進步，出現(xiàn)了新的 SLAM 方法。這些方法在后端估計步驟也是基于優(yōu)化或基于過濾的，而前端步驟高度依賴于不同傳感器模式的應(yīng)用。用于 SLAM 的兩個主要傳感器是激光雷達和相機。與其他傳感器相比，激光雷達方法因其簡單性和準確性而變得流行 [ 52 ]。基于激光雷達的定位和建圖的核心是掃描匹配，恢復(fù)兩個掃描或點云的相對位置和方向。流行的掃描匹配方法包括迭代壁櫥點 (ICP) 算法及其變體[ 53、54、55]，以及正態(tài)分布變換 (NDT) [ 56 ]。這些方法高度依賴于良好的初始猜測，并受到局部最小值 [ 57、58 ]的影響。其他一些匹配方法包括概率方法，例如相關(guān)掃描匹配 (CSM) [ 59 ]、基于特征的方法 [ 57、60 ]等。許多掃描匹配方法專注于初始免于初始化錯誤或?qū)Τ跏蓟e誤具有魯棒性，但它們?nèi)匀幻媾R計算效率的挑戰(zhàn)。

一些可用于 SLAM 估計的距離傳感器是雷達和聲納/超聲波傳感器。雷達的工作方式與激光雷達類似，但該系統(tǒng)發(fā)射無線電波而不是光來測量到物體的距離。此外，由于雷達可以使用測量的多普勒頻移 [ 61 ]來觀察傳感器與物體之間的相對速度，因此適用于區(qū)分靜止物體和運動物體，并可用于在建圖過程中丟棄運動物體 [ 62 ]。在[ 42 , 62 , 63 , 64 , 65 , 66中可以找到一些關(guān)于將雷達用于 SLAM 的研究]. 與激光雷達相比，低價格、低功耗和對大氣條件的敏感性較低，使其非常適合戶外應(yīng)用。然而，雷達的測量分辨率較低，其檢測比激光雷達更稀疏。因此，很難匹配雷達數(shù)據(jù)和處理數(shù)據(jù)關(guān)聯(lián)問題，這導(dǎo)致其 3D 建圖不太準確。

聲納/超聲波傳感器還通過發(fā)送和接收聲波來測量飛行時間 (TOF) 以確定到物體的距離?；诼暭{的 SLAM 最初用于水下 [ 67、68 ] 和室內(nèi) [ 69 ]應(yīng)用。由于其低成本和低功耗，它已變得流行。它不受能見度限制的影響，可用于多種表面類型 [ 70]. 然而，與雷達類似，它獲取的信息稀疏，并且存在特征提取不準確和處理時間長的問題。因此，它在高速車輛應(yīng)用中的用途有限。此外，聲納/超聲波傳感器的感應(yīng)范圍有限，可能會受到環(huán)境噪聲和其他使用相同頻率超聲波的平臺的影響[ 71 ]。

相機是另一種流行的 SLAM 傳感器。已經(jīng)開發(fā)了不同的技術(shù)，例如單目[ 72、73 ] 、立體[ 74、75、76、77 ]和多攝像頭[ 78、79、80、81 ] 。這些技術(shù)可用于各種環(huán)境，包括室內(nèi)和室外。單攝像頭系統(tǒng)易于部署，但存在規(guī)模不確定性[ 82 ]。立體相機系統(tǒng)可以克服比例因子問題，并且可以通過從兩個不同的角度比較同一場景來檢索 3D 結(jié)構(gòu)信息 [ 61]]. 多相機系統(tǒng)受到越來越多的關(guān)注，特別是當(dāng)它們實現(xiàn)大視野 [ 78 ] 或者甚至能夠?qū)崿F(xiàn)全景視覺 [ 81 ] 時。該系統(tǒng)在復(fù)雜環(huán)境中更加穩(wěn)健，而單傳感器系統(tǒng)可能非常容易受到環(huán)境干擾[ 81 ]。然而，相機的集成需要額外的軟件和硬件，并且需要更多的校準和同步工作[ 71、83 ]。另一種特殊的相機，RGB-D 相機，已經(jīng)被 SLAM 和計算機視覺社區(qū)研究 [ 84 , 85 , 86 , 87 , 88 , 89, 90 , 91 ] 因為它可以直接獲取深度信息。然而，該系統(tǒng)主要適用于室內(nèi)環(huán)境，因為它使用紅外光譜光，因此對外部照明敏感[ 70 ]。

根據(jù)測量的使用方式，視覺 SLAM 也可以分為基于特征的或直接的 SLAM。基于特征的 SLAM 反復(fù)檢測圖像中的特征，并利用描述性特征進行跟蹤和深度估計 [ 92 ]。這種基于特征的系統(tǒng)的一些基本框架包括 MonoSLAM [ 72、93 ]、PTAM [ 94 ] 、 ORB -SLAM [ 95 ] 和 ORB-SLAM2 [ 96 ]。直接 SLAM 方法不使用任何特征檢測器和描述符，而是使用整個圖像。直接 SLAM 的示例包括 DTAM [ 97 ]、LSD-SLAM [ 73 ] 和 SVO [ 98]]. 這些方法可以獲得密集或半密集的環(huán)境模型，這使得它們比基于特征的方法對計算的要求更高。恩格爾等。[ 74 ] 將 LSD-SLAM 從單眼模型擴展到立體模型，而 Caruso 等人。[ 99 ] 將 LSD-SLAM 擴展到全向模型。視覺SLAM的詳細回顧可以在 [ 5 ]和[ 70、92、100、101 ]中找到。

這些感知傳感器中的每一個都有其優(yōu)點和局限性。激光雷達方法可以提供精確和遠距離的觀測，但存在一些局限性，例如對大氣條件敏感、價格昂貴且目前相當(dāng)笨重。雷達系統(tǒng)成本相對較低，但比 3D 建圖更適合對象檢測。聲納/超聲波傳感器不適合高速平臺應(yīng)用。相機成本低，即使使用多個相機也是如此。相機還可以提供豐富的視覺信息。然而，它們對環(huán)境紋理和光線敏感，并且通常具有很高的計算要求。因此，一種流行的策略是組合多種傳感器，使 SLAM 系統(tǒng)更加魯棒。

有幾種策略可以為 SLAM 集成來自不同傳感器的數(shù)據(jù)。一種是融合獨立處理的傳感器結(jié)果，然后獲得最終解決方案。在[ 102 ]中，提出了一種將激光和立體相機測量分別生成的兩個網(wǎng)格圖合并為單個網(wǎng)格圖的建圖方法。在這種方法中，需要將不同傳感器的測量值建圖到一個聯(lián)合參考系統(tǒng)。在 [ 103]，一種多傳感器 SLAM 系統(tǒng)，結(jié)合了激光讀數(shù)的 3-DoF 姿態(tài)估計、單目視覺系統(tǒng)的 6-DoF 姿態(tài)估計以及基于慣性的導(dǎo)航估計結(jié)果，使用提出了EKF處理方案。對于這種類型的策略，傳感器可以提供冗余，并且系統(tǒng)將對可能的單傳感器故障具有魯棒性?？赡苄枰粋€決策步驟來識別來自每個傳感器的數(shù)據(jù)是否可靠，并決定是采用來自該傳感器模式的估計還是忽略它。另一種融合策略是使用輔助傳感器來提高其他基于傳感器的 SLAM 算法的性能。主傳感器可以是激光雷達或攝像頭，而輔助傳感器可以是任何其他類型的傳感器。在這個策略中，輔助傳感器用于克服主傳感器的局限性。在[工作104 ] 結(jié)合視覺信息為剛體變換提供良好的初始猜測，然后使用該初始變換為 ICP 框架播種。黃等。[ 105 ] 從激光雷達數(shù)據(jù)中提取基于點和基于線的地標的深度。所提出的系統(tǒng)使用此深度信息來指導(dǎo)相機跟蹤，并支持后續(xù)的點線束調(diào)整以進一步提高估計精度。

以上兩種策略可以結(jié)合使用。在[ 106 ]的工作中，融合由兩個模型組成，一個處理特征融合，利用圖像中的線特征信息去除激光段中由動態(tài)物體產(chǎn)生的任何“偽段”。另一個是改進的 EKF SLAM 框架，它結(jié)合了從單個單目和激光 SLAM 獲得的狀態(tài)估計，以減少姿態(tài)估計協(xié)方差并提高定位精度。這種改進的 SLAM 框架即使在一個傳感器發(fā)生故障時也可以運行，因為傳感器 SLAM 過程是相互并行的。

在文獻中也可以找到一些更緊密融合的例子。[ 107 ]的工作結(jié)合了激光點云數(shù)據(jù)和圖像特征點數(shù)據(jù)作為約束，并使用特定的成本函數(shù)對這兩個約束進行了圖形優(yōu)化。此外，該系統(tǒng)還添加了基于圖像特征的閉環(huán)以消除累積誤差。

慣性 SLAM 包含一個慣性測量單元 (IMU) 作為輔助傳感器。IMU 可以與 Camera 或 Lidar 融合，支持位姿（位置、速度、姿態(tài)）估計。使用 IMU，可以觀察到姿態(tài)，尤其是航向 [ 108 ]。IMU 測量的集成還可以提高觀察間隙期間的運動跟蹤性能。例如，對于視覺 SLAM，光照變化、無紋理區(qū)域或運動模糊將導(dǎo)致視覺軌跡丟失 [ 108 ]。對于激光雷達系統(tǒng)，原始激光雷達掃描數(shù)據(jù)可能會因高速運動（例如快速移動或突然搖晃）而產(chǎn)生傾斜，從而導(dǎo)致難以解釋的傳感誤差 [109 ]。[ 110的工作] 使用 IMU 傳感器來處理快速速度變化，并初始化運動估計以進行掃描匹配激光雷達里程計，以支持他們的 LOAM 系統(tǒng)。兩次激光雷達掃描之間的高頻 IMU 數(shù)據(jù)可用于消除激光雷達點云的偏移并提高其精度 [ 109 ]。

慣性傳感器的融合可以作為一個簡單的助手 [ 111 , 112 ] 或更緊密的耦合 [ 108 , 113 , 114 , 115 ]。對于簡單的輔助情況，IMU 主要用于提供方向信息，例如支持系統(tǒng)初始化。IMU 用作整個系統(tǒng)的先驗，IMU 測量不用于進一步優(yōu)化。對于緊耦合情況，IMU數(shù)據(jù)與相機/激光雷達狀態(tài)融合建立測量模型，然后進行狀態(tài)估計并反饋給慣性導(dǎo)航系統(tǒng)以提高導(dǎo)航性能[ 116]. 因此，前一種方法比后者更有效，但準確性較低 [ 117 ]。對于緊密耦合的情況，卡爾曼濾波器可用于校正 IMU 狀態(tài)，即使在 GNSS 中斷期間也是如此 [ 118 ]。

2.5. 基于深度學(xué)習(xí)的 SLAM

前面提到的大多數(shù)SLAM方法都是基于幾何模型的，它建立了基于幾何的平臺運動和環(huán)境模型。這些方法在過去十年中取得了巨大的成功。然而，他們?nèi)匀幻媾R許多具有挑戰(zhàn)性的問題。例如，視覺 SLAM (VSLAM) 在極端光照條件下受到限制。對于大規(guī)模應(yīng)用，基于模型的方法需要處理大量信息，例如特征和動態(tài)障礙物。最近，深度學(xué)習(xí)技術(shù)，例如在計算機視覺領(lǐng)域開發(fā)的數(shù)據(jù)驅(qū)動方法，引起了更多關(guān)注。許多研究人員嘗試將深度學(xué)習(xí)方法應(yīng)用于 SLAM 問題。

由于深度學(xué)習(xí)技術(shù)在圖像分類、識別、目標檢測和圖像分割領(lǐng)域取得了突破，因此當(dāng)前的大部分研究活動都集中在利用基于學(xué)習(xí)的方法來解決 VSLAM 問題 [119 ]。例如，深度學(xué)習(xí)已成功應(yīng)用于視覺里程計 (VO) 問題，這是 VSLAM 的重要組成部分。光流估計在一些學(xué)習(xí)的VO模型中用作輸入[ 120、121、122、123、124 ] 。學(xué)習(xí)方法的應(yīng)用可以以端到端的方式應(yīng)用，而無需在傳統(tǒng)的 VO 管道中采用任何模塊[ 125、126 ]]. 王等。[ 125 ] 通過將 CNN 與 RNN 相結(jié)合，引入了一種具有深度遞歸卷積神經(jīng)網(wǎng)絡(luò) (RCNN) 的端到端 VO 算法。使用這種算法，相機的姿態(tài)直接從原始 RGB 圖像中估計出來，既不需要先驗知識也不需要參數(shù)來恢復(fù)絕對比例 [ 125 ]。李等。[ 127 ] 提出了一種基于無監(jiān)督深度學(xué)習(xí)的 VO 系統(tǒng)（UnDeepVO），該系統(tǒng)使用立體圖像對進行訓(xùn)練，然后使用單目圖像執(zhí)行姿態(tài)估計和密集深度圖估計。與 Wang 等人提出的不同。[ 125 ]，UnDeepVO 不需要地面實況，因為它以無人監(jiān)督的方式運行。

基于學(xué)習(xí)的方法可以與 VSLAM 系統(tǒng)相結(jié)合，以替換或添加傳統(tǒng) SLAM 的單個或某些模塊，例如圖像深度估計 [128, 129, 130] ，姿態(tài)估計[ 131 , 132 , 133 ] ，以及閉環(huán)[ 134、135、136、137 ]等，對傳統(tǒng)方法進行改進。李等。[ 138] 提出了一種完全無監(jiān)督的基于深度學(xué)習(xí)的 VSLAM，它包含幾個組件，包括 Mapping-net、Tracking-net、Loop-net 和圖形優(yōu)化單元。這種 DeepSLAM 方法可以實現(xiàn)準確的姿態(tài)估計，并且在一些具有挑戰(zhàn)性的場景中具有魯棒性，將重要的幾何模型和約束結(jié)合到網(wǎng)絡(luò)架構(gòu)和損失函數(shù)中。

環(huán)境的語義感知和語義分割是當(dāng)前計算機視覺領(lǐng)域的研究課題。它們可以提供對環(huán)境的高層次理解，對于自主應(yīng)用程序極為重要。深度學(xué)習(xí)的快速發(fā)展可以協(xié)助將語義信息引入 VSLAM [ 139 ]，用于語義分割 [ 140、141、142 ] 、定位和建圖 [ 143、144、145、146、147 ]，以及動態(tài)對象移除[ 148 , 149 , 150 , 151]. 一些基于深度學(xué)習(xí)的VSLAM的詳細評論可以在[ 92、139、152、153、154 ]中找到。

與慣性傳感器的融合也可以受益于深度學(xué)習(xí)技術(shù)，尤其是 RNN，它在整合時間信息和幫助建立相鄰幀之間的一致性方面具有優(yōu)勢 [139 ]。視覺和慣性數(shù)據(jù)與 RNN 或長短期記憶 (LSTM) 的集成，RNN 的一種變體，允許 RNN 學(xué)習(xí)長期趨勢 [155]，已被證明比傳統(tǒng)融合更有效和方便 [ 156 ] , 157 , 158 ]。根據(jù) Clark 等人的說法。[ 157]，數(shù)據(jù)驅(qū)動的方法消除了相機和 IMU 手動同步的需要，以及相機和 IMU 之間手動校準的需要。它優(yōu)于傳統(tǒng)的融合方法，因為它對校準誤差具有魯棒性并且可以減輕傳感器漂移。然而，為了解決漂移問題，仍然需要研究將基于學(xué)習(xí)的視覺慣性里程計系統(tǒng)進一步擴展到更大的具有閉環(huán)檢測和全局重定位的類 SLAM 系統(tǒng)。

與基于視覺的 SLAM 相比，激光掃描儀或基于激光雷達的 SLAM 的深度學(xué)習(xí)技術(shù)的應(yīng)用仍處于早期階段，可以被認為是一個新的挑戰(zhàn) [159 ]。維拉斯等人。[ 160 ]通過使用 IMU 傳感器支持旋轉(zhuǎn)參數(shù)估計，將 CNN 用于激光雷達里程計估計。結(jié)果與 LOAM 等最先進的方法具有競爭力。李等。[ 161 ]介紹了一種端到端的激光雷達里程計LO-Net，它具有高效率和高精度，并且可以處理動態(tài)物體。然而，這種方法是用地面實況數(shù)據(jù)訓(xùn)練的，這限制了它在大規(guī)模戶外場景中的應(yīng)用。李等。[ 162] 設(shè)計了一個視覺-激光雷達里程計框架，它是自我監(jiān)督的，不使用任何地面實況標簽。結(jié)果表明，這種 VLO 方法優(yōu)于當(dāng)前其他自監(jiān)督視覺或激光雷達里程計方法，并且比完全監(jiān)督的 VO 表現(xiàn)更好。數(shù)據(jù)驅(qū)動的方法還使激光雷達數(shù)據(jù)的語義分割更加準確和快速，使其適用于支持自動駕駛汽車 [ 163、164、165 ] 。LMNet 可以將運動物體與靜態(tài)物體區(qū)分開來[ 166] 基于 3D 激光雷達掃描的 CNN。在具有挑戰(zhàn)性的動態(tài)環(huán)境中自動駕駛的一些具有成本效益的 3D 激光雷達應(yīng)用的一個限制是其相對稀疏的點云。為了克服這個缺點，Yue 等人使用了高分辨率相機圖像。[ 167] 來豐富原始 3D 點云。ERFNet 用于借助稀疏激光雷達數(shù)據(jù)對圖像進行分割。同時，采用稀疏不變CNN（SCNN）來預(yù)測密集點云。然后，可以使用多層卷積神經(jīng)網(wǎng)絡(luò) (MCNN) 組合這兩個輸出來細化豐富的點云。最后，可以使用這個豐富的點云執(zhí)行激光雷達 SLAM。使用這種激光雷達數(shù)據(jù)豐富神經(jīng)網(wǎng)絡(luò)方法可以實現(xiàn)更好的目標分割。然而，由于訓(xùn)練數(shù)據(jù)集較小，與原始稀疏點云相比，該方法在豐富點云的 SLAM 精度上沒有提高?？赡苄枰獙討B(tài)對象進行更多培訓(xùn)和進一步調(diào)查，以滿足自動駕駛應(yīng)用要求 [ 167 ]。

復(fù)雜的深度學(xué)習(xí)架構(gòu)的產(chǎn)生有助于實現(xiàn)更準確、穩(wěn)健、自適應(yīng)和高效的計算機視覺解決方案，證實了它們在 SLAM 問題中應(yīng)用的巨大潛力。大規(guī)模數(shù)據(jù)集的可用性仍然是推動這些應(yīng)用程序發(fā)展的關(guān)鍵。此外，由于不需要地面實況，無監(jiān)督學(xué)習(xí)更有希望用于自動駕駛中的 SLAM 應(yīng)用。與傳統(tǒng)的SLAM算法相比，數(shù)據(jù)驅(qū)動的SLAM仍處于發(fā)展階段，尤其是激光雷達SLAM。此外，結(jié)合多種傳感模式可以克服單個傳感器的缺點，為此基于學(xué)習(xí)方法的集成系統(tǒng)仍需要進一步研究。

3. SLAM在自動駕駛中的應(yīng)用

根據(jù) SLAM 技術(shù)的不同特性，自動駕駛可能有不同的應(yīng)用。應(yīng)用程序的一種分類是它們是離線的還是在線的。滿足高性能要求的地圖通常是離線生成的，例如高清（HD）地圖[ 10 ]。對于這種3D點云地圖，離線地圖生成過程保證了地圖的準確性和可靠性。可以預(yù)先生成此類地圖以支持自動駕駛車輛的實時操作。

3.1. 高清地圖生成與更新

如前所述，SLAM 可用于生成用于自動駕駛的數(shù)字地圖，例如高清地圖 [ 10]. 由于要求嚴格，因此使用了高質(zhì)量的傳感器。激光雷達是自動駕駛汽車的核心傳感器之一，因為它可以生成高密度的 3D 點云。高端GNSS和INS技術(shù)也被用來提供準確的位置信息。相機可以提供類似于人眼檢測到的信息的信息。傳感器數(shù)據(jù)的融合和道路信息的分析以生成高清地圖需要相當(dāng)大的計算能力，這在當(dāng)前的車載系統(tǒng)中是不可行的。因此，高清地圖是離線構(gòu)建的，使用基于優(yōu)化的 SLAM 等技術(shù)。離線地圖創(chuàng)建可以通過多次駕駛道路網(wǎng)絡(luò)來收集信息，然后將所有收集到的感知傳感器信息和位置信息一起處理，以提高最終地圖的準確性。高清地圖的示例顯示在圖 4 [ 11 ]。

圖 4. 來自高清地圖 ( https://here.com/ ) [ 11 ] 的圖像。

道路環(huán)境和道路規(guī)則可能會發(fā)生變化，例如，道路施工可能會降低限速，建筑開發(fā)可能會改變道路基礎(chǔ)設(shè)施等。因此高精地圖需要經(jīng)常更新。此類更新可以利用從任何自動駕駛汽車收集的在線數(shù)據(jù)。例如，數(shù)據(jù)被傳輸?shù)綀?zhí)行更新計算的中央（云）計算機。其他汽車可以接收此類基于云的更新，并及時調(diào)整駕駛計劃。喬等人。[ 168 ] 提出了一種 SLAM 變化更新（SLAMCU）算法，利用 Rao-Blackwellized PF 方法進行在線車輛位置和（新）地圖狀態(tài)估計。在 [ 169]，當(dāng)車輛暫時停止或在停車場時，可以使用Graph SLAM生成一個新的高清地圖特征層。然后可以將來自一輛車的新特征層上傳到地圖云，并與來自其他車輛的特征層集成到地圖云中的新特征層，從而實現(xiàn)更精確和穩(wěn)健的車輛定位。在張等人的工作中。[ 170 ]，結(jié)合實時語義分割和視覺SLAM生成道路環(huán)境的語義點云數(shù)據(jù)，然后與預(yù)先構(gòu)建的高清地圖進行匹配，以確認地圖元素沒有發(fā)生變化，并在發(fā)生變化時生成新的元素。出現(xiàn)，從而促進高清地圖的眾包更新。

3.2. 小型本地地圖生成

SLAM 也可以用于小的局部區(qū)域。一個例子是在停車場內(nèi)。停車場的行駛速度較低，因此視覺技術(shù)將比其他高速行駛場景更穩(wěn)健。停車區(qū)域可能是未知的（公共停車場或車庫），或已知的（家庭區(qū)域）——這兩種情況都可以從 SLAM 中獲益。由于 SLAM 可以在沒有 GNSS 信號的情況下使用，因此適用于室內(nèi)或地下停車場的車輛，僅使用感知傳感器和里程計測量（速度、轉(zhuǎn)角）或 IMU 測量。對于未知的公共停車場，可以同時估計汽車的位置和障礙物，如柱子、側(cè)墻等，指導(dǎo)停車系統(tǒng)。對于家庭區(qū)域停車，可以將預(yù)先生成的地圖和頻繁停車軌跡存儲在自動車輛系統(tǒng)中。每次汽車回家時，可以通過將檢測到的特征與地圖進行匹配，使用存儲的地圖進行重新定位。頻繁軌跡可用于規(guī)劃和控制步驟。

[ 171 ]中提出了一種利用多級表面 (MLS) 地圖定位車輛，并計算和規(guī)劃室內(nèi)停車場內(nèi)車輛路徑的方法。在這項研究中，基于圖形的 SLAM 用于建圖，然后使用 MLS 地圖規(guī)劃從起點到目的地的全局路徑，并通過激光測距穩(wěn)健地定位車輛。在 [ 172 ]的工作中，網(wǎng)格地圖和 EKF SLAM 算法與 W 波段雷達一起用于自主倒車停車。在這項工作中，提出了一種有效的 EKF SLAM 算法以實現(xiàn)實時處理。在 [ 173]，作者提出了一種環(huán)視監(jiān)視器（AVM）/激光雷達傳感器融合方法來識別停車道并提供快速閉環(huán)性能。上述研究表明，即使沒有 GNSS，基于濾波器的 SLAM 和基于優(yōu)化的 SLAM 都可以用于支持高效和準確的車輛停車輔助（局部區(qū)域建圖和定位）。在秦等人的工作中。[ 174]，執(zhí)行位姿圖優(yōu)化以獲得優(yōu)化的軌跡和停車場的全局地圖，具有諸如引導(dǎo)標志、停車線和減速帶等語義特征。這些特征比傳統(tǒng)的幾何特征更（長期）穩(wěn)定和穩(wěn)健，尤其是在地下停車場環(huán)境中。然后使用 EKF 完成自動駕駛的定位系統(tǒng)。

3.3. 在現(xiàn)有地圖中定位

在基于地圖的定位中，使用迭代最近點 (ICP)、正態(tài)分布變換 (NDT) 等方法將“實時”數(shù)據(jù)與地圖信息進行匹配 [10 , 175 ]。這些算法可以與 SLAM 問題聯(lián)系起來，因為 SLAM 使用類似的方法執(zhí)行閉環(huán)和重新定位。對于 SLAM 問題，識別先前建圖的對象或特征并在環(huán)境中重新定位車輛的能力對于校正地圖 [ 13 ]至關(guān)重要。因此，重用預(yù)先生成的地圖來定位車輛可以被認為是 SLAM 算法的擴展。換句話說，預(yù)先生成和存儲的地圖可以被視為一種支持定位的“傳感器”。

然而，將實時數(shù)據(jù)與預(yù)先準備好的大規(guī)模地圖相匹配需要大量的計算資源。因此，已經(jīng)提出了一些方法來提高計算效率。一種方法是先用 GNSS 或 GNSS/INS 估計的位置從地圖中縮小可能的匹配區(qū)域，然后將檢測到的特征與地圖進行詳細匹配 [176 ]。

由于目前激光雷達系統(tǒng)在商用車上的安裝有限（傳感器價格高、功耗大），在預(yù)先生成的高清地圖中使用低成本傳感器（例如視覺傳感器）定位車輛具有相當(dāng)大的實用性興趣。例如，[ 177 ] 中的工作使用視覺數(shù)據(jù)在密集的激光雷達生成的地圖中定位了車輛，并證明了與傳統(tǒng)激光雷達定位相似的數(shù)量級錯誤率，但使用便宜幾個數(shù)量級的傳感器技術(shù)。施賴伯等人。[ 178] 建議首先使用高精度 GNSS 單元、Velodyne 激光掃描儀和相機生成帶有道路標記和路緣信息的高精度地圖。然后在定位過程中，使用立體攝像頭系統(tǒng)檢測道路信息，并將其與預(yù)先生成的地圖進行匹配，實現(xiàn)車道級實時定位。鄭等人。[ 179 ]利用從相機圖像中獲得的道路標記進行全局定位。生成了包含道路信息（例如 3D 道路標記點）的子地圖，并用于識別重訪地點并支持準確的環(huán)路檢測。然后使用基于姿勢圖的方法來消除漂移。秦等。[ 146] 提出語義定位系統(tǒng)，為低成本汽車提供輕量級定位解決方案。在這項工作中，通過結(jié)合基于 CNN 的語義分割結(jié)果和位姿圖優(yōu)化后的優(yōu)化軌跡生成局部語義圖。然后在云服務(wù)器中生成（或更新）壓縮的全球地圖，以基于 ICP 方法和 EKF 框架進一步對最終用戶進行定位。語義地圖的平均大小為 36 kb/km。這種基于攝像頭的定位框架對于自動駕駛來說是可靠和實用的。

除了上述應(yīng)用，道路環(huán)境中的移動物體也會導(dǎo)致自動駕駛的感知、定位和建圖漂移。SLAM 可用于解決 DATMO（移動物體的檢測和跟蹤）[ 15 ] 的問題，因為 SLAM 的假設(shè)之一是檢測到的特征是靜止的。由于環(huán)境的靜態(tài)部分由 SLAM 定位和建圖，動態(tài)部分可以同時檢測和跟蹤。一些方法已經(jīng)處理了動態(tài)障礙[ 180、181、182 ]。

4. SLAM應(yīng)用于自動駕駛的挑戰(zhàn)及建議解決方案

4.1. 確保高精度和高效率

自動駕駛車輛的定位和地圖繪制需要對環(huán)境中的任何變化都準確且穩(wěn)健，并高效執(zhí)行。隨著傳感器技術(shù)的快速發(fā)展，不同傳感器的組合可以彌補特定傳感器的局限性。示例包括 GNSS/INS + 激光雷達/相機 SLAM、雷達 SLAM 等。有大量與低成本和/或小型化激光雷達傳感器相關(guān)的研究和開發(fā)。新的激光雷達傳感器概念有望顯著降低激光雷達系統(tǒng)的成本，并有可能在未來的自動駕駛汽車中實時實施。例如，RoboSense 推出了一個新的$200 激光雷達傳感器結(jié)合 MEMS 傳感器和基于 AI 的深度學(xué)習(xí)算法以支持高性能自動駕駛應(yīng)用 [ 183 ]。

選擇 SLAM 方法應(yīng)考慮具有不同需求級別的不同應(yīng)用場景?；趦?yōu)化的 SLAM 可以提供更準確和穩(wěn)健的估計，但更適合離線估計。EKF SLAM 存在狀態(tài)變量數(shù)量呈二次方增長的問題，這限制了其在大規(guī)模環(huán)境中的在線應(yīng)用。盡管高分辨率地圖的生成可以是離線的、實時的或近實時的，但解決方案對于地圖更新和基于地圖的本地化應(yīng)用程序來說是必不可少的。

道路環(huán)境的任何變化都應(yīng)在地圖上快速更新并傳輸給其他道路使用者。新興的 5G 無線技術(shù)可以使車對車 (V2V)、車對基礎(chǔ)設(shè)施 (V2I) 和車對云之間的通信更加可靠，吞吐量更高 [14 ]。

4.2. 代表環(huán)境

有不同類型的地圖可用于表示道路環(huán)境。機器人領(lǐng)域中用于 SLAM 應(yīng)用的三種主要地圖類型是占用網(wǎng)格地圖、基于特征的地圖和拓撲地圖 [ 184 ]。它們也適用于道路環(huán)境。對于自動駕駛應(yīng)用，它們中的每一個都有其自身的優(yōu)勢和局限性。網(wǎng)格地圖將環(huán)境劃分為許多固定大小的單元格，每個單元格包含自己獨特的屬性，例如網(wǎng)格是否被占用、空閑或未知 [ 185、186 ]。障礙物占用信息可以直接提供給規(guī)劃算法。這種地圖可以很容易地合并，并且可以靈活地合并來自多種類型傳感器的數(shù)據(jù) [ 184]. Mentasti 和 Matteucci [ 185 ] 提出了一種占用網(wǎng)格創(chuàng)建方法，該方法利用來自自動駕駛車輛上所有可用傳感器的數(shù)據(jù)，包括激光雷達、相機、激光和雷達。網(wǎng)格圖還顯示了檢測移動物體的潛力 [ 187 ]。穆茨等人。[ 188] 比較不同網(wǎng)格地圖的建圖和定位性能，包括占用率、反射率、顏色和語義網(wǎng)格地圖，用于自動駕駛汽車在不同駕駛環(huán)境中的應(yīng)用，包括在具有挑戰(zhàn)性的條件下。GraphSLAM 用于建圖，而定位基于粒子濾波解決方案。根據(jù)他們的結(jié)果，占用顯示了更準確的定位結(jié)果，其次是反射率網(wǎng)格圖。語義網(wǎng)格地圖在大多數(shù)情況下保持位置跟蹤沒有損失，但是比前兩種地圖方法有更大的錯誤。彩色網(wǎng)格圖在定位中使用最不一致和不準確，這可能是由于光照條件的影響。189 ]。因此 Li [ 186 ] 建議將此技術(shù)應(yīng)用于具有受控大小的實時局部建圖而不是全局建圖。

基于特征的地圖是一種流行的自動駕駛地圖類型。它用一組從傳感器數(shù)據(jù)中提取的特征來表示地圖。對于室外道路環(huán)境，典型的特征是車道、路緣石、道路標記和標志、建筑物、樹木等。對于室內(nèi)區(qū)域，尤其是停車場，特征主要是停車道、側(cè)墻等。這些特征可以是由點、線、面表示，標有坐標信息。點特征將環(huán)境表示為密集的點云。使用激光雷達和/或視覺傳感器生成的高密度點云地圖可以提供車輛周圍區(qū)域的豐富特征和 3D 結(jié)構(gòu)信息。然而，如此龐大的數(shù)據(jù)傳輸、更新和處理對于復(fù)雜的道路環(huán)境來說是一個沉重的負擔(dān)。較稀疏的線面特征適用于結(jié)構(gòu)化環(huán)境，如室內(nèi)環(huán)境、市區(qū)或高速公路，標記清晰。這些特征比點特征更復(fù)雜，內(nèi)存需求更低[186 ]，并且不易受噪音影響[ 189 ]。我等人。[ 173 ]提出了一種基于停車線的 SLAM 方法，該方法提取和分析停車線特征，以實現(xiàn)停車區(qū)的快速閉環(huán)和準確定位。Javanmardi 等人。[ 190 ] 生成了一張城市道路地圖，其中包含 2D 線和 3D 平面，以表示道路沿線的建筑物和地面。然而，對于自動駕駛來說，應(yīng)用環(huán)境是多變的。特定的基于地標的算法可能不適用于其他駕駛場景。此外，在一些農(nóng)村地區(qū)，道路可能未鋪砌，也沒有道路車道標記。因此，由于缺乏道路標記和不規(guī)則的道路曲線幾何形狀，相關(guān)的基于特征的地圖方法可能不可行 [191].

拓撲圖表示具有一系列節(jié)點和邊的環(huán)境。節(jié)點表示重要的對象，如拐角、交叉點和特征點；而邊表示它們之間的拓撲關(guān)系 [ 192 , 193 ]。一種典型的拓撲圖是 OpenStreetMAP (OSM) [ 194 ]，它包含要素的坐標以及道路方向、車道數(shù)等道路屬性。這種地圖顯著降低了存儲和計算要求。然而，它丟失了一些關(guān)于實際環(huán)境的性質(zhì)和結(jié)構(gòu)的有用信息 [ 184 ]。因此，一些方法將拓撲圖與其他類型的圖結(jié)合起來。Bernuy 和 Ruiz-del-Solar [ 195] 提出使用基于語義信息的拓撲圖為自動駕駛汽車和 ADAS 系統(tǒng)的大規(guī)模室外場景提供穩(wěn)健高效的建圖和定位解決方案。根據(jù) Bernuy 和 Ruiz-del-Solar [ 195 ] 的研究，基于圖的拓撲語義建圖方法適用于高速公路、鄉(xiāng)村道路和城市地區(qū)的大規(guī)模駕駛?cè)蝿?wù)，與度量地圖相比計算量更少。本德爾等。[ 196 ] 介紹了一個非常詳細的地圖，Lanelets，它結(jié)合了幾何和拓撲表示，并包括有關(guān)交通法規(guī)和速度限制的信息。

語義地圖在自主領(lǐng)域變得越來越重要，因為它包含語義信息，可以讓機器人或車輛更好地理解環(huán)境，并完成更高級別的任務(wù)，例如人機交互。對于戶外應(yīng)用，標記對象可以是統(tǒng)計背景（例如，“建筑物”、“樹”、“交通標志”）或動態(tài)實體（例如，“車輛”、“行人”）。因此，這種地圖可以促進自動駕駛車輛的復(fù)雜任務(wù)，例如規(guī)劃和導(dǎo)航 [ 195、197 ]。將語義概念與幾何實體相關(guān)聯(lián)已成為一個熱門的研究課題，并且已經(jīng)研究了結(jié)合幾何和語義信息的語義 SLAM 方法 [ 139 , 143, 149 ]。語義 SLAM 方法有助于使定位和建圖更加穩(wěn)健 [ 174 ]，支持在重訪區(qū)域進行重新定位 [ 143 ]，非常重要的是，有助于跟蹤在動態(tài)環(huán)境中檢測到的移動物體[ 149、151、198 ] 。語義地圖生成和利用面臨的一個關(guān)鍵問題是其中的一些模塊，例如語義分割，對計算要求很高，這使得它們不適合實時應(yīng)用[199]，特別是對于大規(guī)模的戶外場景。因此，一些研究試圖解決這個問題。羅斯等人。[ 199] 提出了一種離線在線策略，可以在不犧牲準確性的情況下離線生成密集的 3D 語義地圖。之后，可以通過將當(dāng)前視圖與 3D 地圖進行匹配來進行實時自定位，并相應(yīng)地檢索相關(guān)的幾何和語義。同時，可以在線檢測新的動態(tài)物體，支持瞬時運動規(guī)劃。隨著深度學(xué)習(xí)的出現(xiàn)，語義分割和語義 SLAM 的效率和可靠性得到了極大的提高 [ 147 , 200 , 201 , 202 , 203]. 然而，如前所述，在將基于深度學(xué)習(xí)的語義 SLAM 應(yīng)用于自動駕駛時，仍然存在一些挑戰(zhàn)，例如需要大量的訓(xùn)練數(shù)據(jù)，或者缺乏需要無監(jiān)督學(xué)習(xí)方法的 ground truth。

不同的地圖表示對于支持在具有挑戰(zhàn)性和復(fù)雜的道路環(huán)境中運行的高度自動化車輛至關(guān)重要。因此，越來越多地采用包含不同數(shù)據(jù)層的詳細數(shù)字地圖，例如高清地圖。除了最基本的 3D 點云地圖圖層外，高清地圖還可能包含具有道路拓撲、幾何形狀、占用率、車道特征、道路設(shè)施、道路規(guī)則、實時知識等信息的圖層。在不損失準確性的情況下存儲、更新和利用如此密集的數(shù)據(jù)是一項挑戰(zhàn)。一些研究人員提出了“道路 DNA”的概念來表示道路環(huán)境并處理大數(shù)據(jù)問題 [ 12 , 204]. Road DNA 在不丟失細節(jié)的情況下將 3D 點云道路模式轉(zhuǎn)換為壓縮的 2D 道路視圖 [ 12 ]，目的是降低處理要求。

4.3. 估計偏差問題

SLAM估計漂移可能是由累積線性化誤差、動態(tài)障礙物的存在、噪聲傳感器數(shù)據(jù)、錯誤的數(shù)據(jù)關(guān)聯(lián)等引起的。

在大多數(shù) SLAM 算法中，非線性模型用于表示車輛運動模式和環(huán)境。由于線性化誤差的累積，EKF SLAM 存在發(fā)散問題。當(dāng)使用遠離真實值的狀態(tài)變量值執(zhí)行線性化時，可能會出現(xiàn)偏差。對于基于優(yōu)化的 SLAM，變量的初始猜測不佳將導(dǎo)致收斂性能不佳。旋轉(zhuǎn)可能是非線性的原因，對估計的發(fā)散有很大影響[ 205，206 ]，因此累積的車輛方向誤差將導(dǎo)致 SLAM 問題的不一致性。線性化挑戰(zhàn)的一種解決方案是 [ 205]中提出的線性 SLAM 算法]，修改相對狀態(tài)向量，進行“map joining”。子圖連接涉及解決線性最小二乘問題和執(zhí)行非線性坐標變換，不需要初始猜測或迭代。在 [ 207 ]的工作中，提出了一種以機器人為中心的局部地圖排序方法，該方法可以限制每個局部地圖內(nèi)的位置不確定性，并通過傳感器不確定性水平約束提高線性化精度。已經(jīng)提出了經(jīng)典 EKF-SLAM 的許多變體來克服濾波器的發(fā)散。[ 208 ]的研究表明，Unscented SLAM可以提高大規(guī)模戶外應(yīng)用的在線一致性。黃等。[ 209] 為 EKF-SLAM 提出了兩種替代方案，Observability Constrained EKF 和 First-Estimates Jacobian EKF，兩者在準確性和一致性方面都明顯優(yōu)于 EKF。[ 210 ]中引入了線性時變（LTV）卡爾曼濾波，它通過創(chuàng)建虛擬測量來避免線性化誤差。一些主要基于 PF 的非參數(shù)方法，如 fastSLAM [ 28]、Unscented fastSLAM [211、212、213、214 ]，表現(xiàn)出比EKF-SLAM 更好的性能。

對于基于非線性優(yōu)化的 SLAM 方法，計算一個好的初始猜測（解決初始化問題）將導(dǎo)致更快的收斂并降低收斂到局部最小值的風(fēng)險。奧爾森等人。[ 215 ] 提出了一種使用隨機梯度下降 (SGD) 變體優(yōu)化位姿圖的快速迭代算法，該算法對局部最小值具有魯棒性，即使初始猜測不佳也能快速收斂。然后在 [ 50]，提出了 Olson 算法的擴展，該算法對圖中的節(jié)點使用基于樹的參數(shù)化。該算法被證明比 Olson 的算法更有效，并且對初始配置更穩(wěn)健。二維位姿圖的近似解，稱為位姿圖優(yōu)化的線性近似 (LAGO)，可用作精確解或用于引導(dǎo)非線性技術(shù)[ 216、217 ]]. 該方法首先解決線性估計問題以獲得次優(yōu)方向估計，然后用它來估計全局參考系中的相對位置測量。最后，通過求解另一個線性估計問題得到位姿解。然后可以將此解決方案視為高斯-牛頓迭代的初始猜測。這種方法可以提供一個很好的初始猜測，但是，它僅限于 2D 位姿圖，并且對噪聲測量敏感。在[ 218]中提出了一種具有更復(fù)雜初始化的算法]，它使用 M 估計器，特別是 Cauchy 函數(shù)，作為引導(dǎo)技術(shù)。類似于使用 M 估計器使估計對異常值具有魯棒性的方法，M 估計器被證明對錯誤的初始猜測也具有魯棒性。與 LAGO 和 TORO 相比，這種方法可以應(yīng)用于 2D 和 3D 的不同 SLAM 變體（姿勢圖和基于特征的）[218 ]。卡隆等人。[ 219 ]調(diào)查了不同的 3D 旋轉(zhuǎn)估計技術(shù)，并證明了良好的旋轉(zhuǎn)估計對引導(dǎo)迭代位姿圖求解器的重要性。最近的研究提出了一種稱為多祖先空間近似樹 (MASAT) 的啟發(fā)式方法，它具有低復(fù)雜性和計算效率，無需初步優(yōu)化步驟 [220 ]]. 此方法仍然適用于位姿圖。其他研究試圖通過引入慣性測量來支持初始化 [ 221、222 ] 或進行參數(shù)校準 [ 223、224、225 ]來獲得良好的初始猜測。

行人、自行車、其他車輛等動態(tài)物體可能會導(dǎo)致估計漂移，因為系統(tǒng)可能會將它們錯誤地識別為靜態(tài)道路實體。有一些方法可以避免這種情況。[ 226 ]中已經(jīng)提出了使用概率紅外強度值的概率圖。在這項研究中，GNSS/INS 和 64 光束激光雷達傳感器相結(jié)合，以在動態(tài)環(huán)境中實現(xiàn) 9 cm 的穩(wěn)健位置 RMS 誤差。然而，該系統(tǒng)具有高成本和高計算負擔(dān)。3D對象跟蹤器[ 227 ]可用于在視覺SLAM方法中跟蹤移動對象。[ 228]中提出的另一種算法] 使用 Canny 的邊緣檢測器在樹干的垂直方向上找到優(yōu)勢邊緣，并選擇這些樹干作為典型的顯著特征。越來越多地研究深度學(xué)習(xí)方法來處理上述動態(tài)環(huán)境[ 148、149、150、151、166、198 ] 。

漂移的另一個來源是傳感器觀測值中的異常值。每個傳感器都有自己的誤差源。例如，在相機的情況下，由于高速和光線條件差而導(dǎo)致的模糊圖像可能導(dǎo)致地標的錯誤識別。激光雷達傳感器對天氣條件（如降雨）和道路環(huán)境的大變化非常敏感。GNSS 可能會受到信號阻塞。FDI（故障檢測和隔離系統(tǒng)）技術(shù)可用于檢測測量異常值并拒絕這些異常值對定位和定位的影響 [ 229 ]。

上述 SLAM 誤差源也可能導(dǎo)致不正確的數(shù)據(jù)關(guān)聯(lián)，這是將測量值關(guān)聯(lián)到特定地標的重要過程。錯誤的數(shù)據(jù)關(guān)聯(lián)不僅可能是由于傳感器數(shù)據(jù)的噪聲、不一致性、動態(tài)物體的錯誤檢測等，還可能是由于某些特定的道路環(huán)境。例如，高速公路環(huán)境有時在視覺上是重復(fù)的并且包含許多相似的特征，這使得很難識別以前探索過的區(qū)域。

一些研究人員通過使用 RANSAC [ 230 ]直接在 SLAM 的前端步驟避免了錯誤數(shù)據(jù)關(guān)聯(lián)的挑戰(zhàn)，RANSAC通常用于視覺 SLAM 以拒絕異常值。在 [ 231 ] 中，作者提出了一個中間層，稱為 Graph-Tinker (GTK)，它可以檢測和刪除誤報閉環(huán)。當(dāng)使用 Extended Rauch–Tung–Striebel smoother 框架時，人工閉環(huán)然后被注入到位姿圖中。

數(shù)據(jù)關(guān)聯(lián)挑戰(zhàn)也可以在后端步驟解決，因為仍然有可能無法完全消除異常值。可切換約束（SC）的概念在[ 232 ]中被引入，這樣一個可切換變量被引入到每個閉環(huán)約束中。一旦約束被視為異常值，就可以在優(yōu)化期間將其關(guān)閉。在[ 233 ]中，作者介紹了一種稱為實現(xiàn)、反轉(zhuǎn)和恢復(fù)（RRR）的算法，這是一種基于一致性的閉環(huán)驗證方法。最近，Carlone 等人。[ 234 ]使用?1_relaxation來選擇“可靠”測量，Carlone和Calafiore[ 235] 使用凸松弛來解決非凸問題，而不需要對未知姿勢進行初始猜測。表 2總結(jié)了 SLAM 漂移的潛在原因和相應(yīng)的建議解決方案。

表 2. SLAM 漂移的潛在原因和解決方案。

4.4. 缺乏質(zhì)量控制

SLAM 算法的定量評估是另一個重要的挑戰(zhàn)。有一些評估 SLAM 算法的標準，例如它們的準確性、可擴展性、可用性、恢復(fù)性（即在大比例地圖內(nèi)定位車輛的能力）和可更新性。對 SLAM 算法的性能進行定量分析是必不可少的，因為它們可以提供數(shù)值評估和比較不同 SLAM 算法的基礎(chǔ)。

估計精度是一種廣泛使用的質(zhì)量分析指標，但在自動駕駛實踐中可能很困難。大多數(shù)方法通過使用例如精確地圖將結(jié)果與地面實況進行比較來評估 SLAM 算法的性能。然而，很少有合適的地面實況圖。有時，估計的地圖是通過將其疊加到平面圖上并搜索差異來評估的[ 238 ]，這對于戶外應(yīng)用來說更難，需要人工干預(yù)[ 239 ]。Sturm 等人提出了兩種流行的精度指標，即相對位姿誤差 (RPE) 和絕對軌跡誤差 (ATE)。[ 240] 它通過將估計的相機運動與真實軌跡進行比較來評估視覺 SLAM 系統(tǒng)，而不是進行復(fù)雜的地圖比較。RPE 測量固定時間間隔內(nèi)軌跡的局部精度，而 ATE 比較估計軌跡和地面真實軌跡之間的絕對距離，從而估計全局一致性。這兩條軌跡應(yīng)首先使用 Horn 方法 [ 240 ]對齊。根據(jù) [ 240]，RPE同時考慮平移誤差和旋轉(zhuǎn)誤差，而ATE只考慮平移誤差。這些指標已被 SLAM 社區(qū)廣泛用于評估和比較不同的 SLAM 方法。然而，與地圖類似，車輛軌跡在實際路面上的精確位置可能并不總是可用的。在[ 239 ]中，作者提出了一個框架，通過測量修正軌跡的誤差來分析 SLAM 的準確性。車輛姿態(tài)的均方根誤差（RMSE）通常用于指示SLAM軌跡估計結(jié)果的準確性。另一種廣泛使用的質(zhì)量分析方法是卡方 (χ 2 ) 檢驗。根據(jù) [ 241 ]，χ 2test 是一種統(tǒng)計測試，用于量化為地標測量和里程計誤差提供的協(xié)方差矩陣的質(zhì)量。當(dāng)最小的 χ2誤差幾乎等于測量向量的維數(shù)與狀態(tài)向量的大小之差時，該測量將被認為具有良好的質(zhì)量[ 241 ]。

一些研究人員 [ 242、243、244 ]已經(jīng)考慮了他們的 SLAM算法的一致性。根據(jù)[ 242 ]，SLAM不一致的主要原因是由不正確的里程計模型和SLAM非線性函數(shù)的不準確線性化引起的累積誤差。當(dāng)估計誤差超出不確定性時，可以認為估計結(jié)果不一致。EKF-SLAM 會遇到這樣的不一致問題，除非圍繞真實系統(tǒng)狀態(tài)評估觀察/里程計函數(shù)的雅可比矩陣。在 [ 30 ] 和 [ 245]，使用度量指標歸一化估計誤差平方（NEES）定量確定了fastSLAM和EKF-SLAM算法的一致性。在[ 246 ]中，分析了濾波器錯誤狀態(tài)模型的可觀測性，以研究 EKF-SLAM 不一致的根本原因。在 [ 247 ]的工作中，通過對測量殘差的加權(quán)和應(yīng)用χ2檢驗來檢查增量圖 SLAM 的一致性。是否可以容忍不一致最終取決于SLAM結(jié)果的應(yīng)用[ 19 ]。

還應(yīng)檢查定位、制圖和導(dǎo)航系統(tǒng)輸出的可靠性。然而，很少有研究對SLAM的可靠性進行定量分析。其他定位系統(tǒng)（如 GNSS、GNSS/INS）的一些可靠性研究可以作為指導(dǎo) SLAM 社區(qū)的參考。系統(tǒng)可靠性可以被認為具有兩個組成部分：內(nèi)部可靠性和外部可靠性。前者確定系統(tǒng)檢測故障的能力，該能力由最小可檢測偏差 (MDB) 量化，并由可檢測故障的下限表示。后者估計未檢測到的故障對最終解決方案的影響 [ 175 , 248 , 249 , 250 , 251]. MDB 值越低，系統(tǒng)越可靠。同樣，SLAM系統(tǒng)特征觀測模型和車輛運動模型的可靠性也可以通過這些方法進行評估。

完整性非常重要，因為它是本地化系統(tǒng)提供的信息“可信度”的指標，可以及時警告不準確造成的風(fēng)險 [252 ]。完整性度量用于量化本地化安全的要求。該概念首先在航空領(lǐng)域確立，也適用于陸地車輛定位[ 253]. 由于自動駕駛對安全性的嚴格要求，自動駕駛研究者對完整性的關(guān)注度越來越高。自動駕駛汽車的定位和導(dǎo)航是基于多個傳感器的使用，因此傳統(tǒng)的 GNSS 完整性分析方法應(yīng)該得到擴展。故障檢測和隔離 (FDI) 是最流行的基于 GNSS定位的警報生成方法之一 [ 229、254、255、256 ]。

5. 基于激光雷達/GNSS/INS 的測繪和定位：案例研究

基于激光雷達的同步定位和建圖 (SLAM) 技術(shù)方法在機器人領(lǐng)域得到廣泛研究和應(yīng)用，因為激光雷達可以生成非常密集的 3D 點云，具有快速傳感速率和高精度。通常 SLAM 系統(tǒng)會經(jīng)歷隨著行進距離增加而增加的估計誤差，因此需要“閉環(huán)”來糾正誤差。然而，在一些大規(guī)模的自動駕駛戶外應(yīng)用中，例如在高速公路上行駛，或者在城市地區(qū)進行復(fù)雜的軌跡行駛，閉環(huán)是很難實現(xiàn)的。此外，僅限激光雷達的 SLAM 將僅提供相對定位信息。因此，GNSS/INS與激光雷達SLAM的結(jié)合將有效降低對閉環(huán)的依賴，提供絕對定位信息。

此外，當(dāng) GNSS 信號不可用時，激光雷達系統(tǒng)還可以支持使用現(xiàn)有的高清地圖進行定位。此處測試了結(jié)合激光雷達、GNSS 和 INS 的現(xiàn)代化 SLAM 程序。該程序包含兩部分：基于激光雷達/GNSS/INS 的離線測繪部分，以及基于激光雷達/高清地圖的在線定位和測繪部分。

5.1. 實驗設(shè)置

在澳大利亞悉尼的一些市區(qū)進行了陸地車輛測試，以測試擬議的 Lidar/GNSS/INS 多傳感器系統(tǒng)。該車輛配備了一個 VLP-16 LiDAR 傳感器、一個戰(zhàn)術(shù)級 IMU 傳感器和兩個來自美國加利福尼亞州圣何塞的 PolyExplore, Inc. 的 GNSS 天線（圖 5 ）。第二根天線可用于為在線定位系統(tǒng)提供雙天線輔助航向更新。激光雷達的采樣率為 10Hz，GNSS 的采樣率為 1Hz，IMU 為 100Hz。

圖 5.實驗平臺：(a) 多傳感器系統(tǒng)，(b) 安裝在車輛內(nèi)的系統(tǒng)側(cè)視圖。

路試軌跡如圖6a所示。車輛從位于肯辛頓的新南威爾士大學(xué)（UNSW）校園開往La Perouse（Section A），然后返回UNSW（Section B）。在本研究中，前向旅程（從 UNSW 到 La Perouse）用于生成道路的高精度 3D 點云地圖，而后向旅程（從 La Perouse 到 UNSW）用于測試激光雷達/基于3D點云地圖的定位方法。

圖 6.(a) 谷歌地圖上的道路測試軌跡（藍色）；(b) 局部坐標系中具有 RTK 定位狀態(tài)的整個軌跡的 GNSS/INS 定位。

為了對定位性能進行定量分析，選擇了軌跡的三個部分（圖 6 b）。對于行駛軌跡上的每個選定路段，前向行程和后向行程的 GNSS-RTK 狀態(tài)均為“整數(shù)模糊固定”。因此，離線建圖結(jié)果預(yù)計在 5 厘米左右的水平上是準確的。對于回程（從 La Perouse 到 UNSW），所選路段將有準確的 GNSS/INS 定位結(jié)果作為參考，以評估基于激光雷達/3D 點云地圖的定位方法的性能。

5.2. 激光雷達/GNSS/INS 制圖

獲取的前進旅程數(shù)據(jù)集（從 UNSW 到 La Perouse）用于生成道路環(huán)境的地理參考點云圖。地理參考地圖是使用激光雷達里程計幀到幀匹配和 GNSS/INS 定位/姿態(tài)生成的。圖 7顯示了離線地圖系統(tǒng)架構(gòu)的概覽。

圖 7.激光雷達/GNSS/INS 測繪系統(tǒng)架構(gòu)概覽。

GNSS/INS系統(tǒng)可以提供大地定位和姿態(tài)信息。由于此地圖生成是離線執(zhí)行的，因此可以獲得最佳 GNSS/INS 軌跡。GNSS/INS 導(dǎo)出的位置和姿態(tài)結(jié)果用作逐幀匹配的初始值，以將新合并的點云傳輸?shù)絽⒖紟?。這樣，點云就可以進行地理配準。當(dāng) GNSS 結(jié)果不可用時，慣性導(dǎo)航 6-DOF 姿態(tài)結(jié)果可用于在重新獲取 GNSS 信號之前生成初始轉(zhuǎn)換。在進行激光雷達測距時，使用正態(tài)分布變換 (NDT) 掃描匹配算法將每個當(dāng)前幀與前一幀進行匹配，初始變換信息由 GNSS/INS 提供。圖8），匹配前通過無損檢測提高配準精度。

圖 8.激光雷達掃描框架的掃描視圖 (a) 原始掃描視圖；(b) 預(yù)處理后的視圖。

圖 9顯示了匹配前的兩個掃描視圖?？雌饋磉@兩個掃描視圖在特征上略有不同?？梢陨蓙碜詢蓚€掃描視圖的匹配點云（圖 10）。

**圖 9.**用于掃描匹配 的兩個有序激光雷達掃描幀（(a) 先前掃描幀；(b ) 當(dāng)前掃描幀）的掃描視圖。

圖 10.匹配兩個排序的激光雷達掃描幀后生成的地圖點云。

通過對所有可用的激光雷達掃描依次進行激光雷達測距，可以將新匹配的點云與先前生成的點云地圖合并，可以獲得整個軌跡的累積地圖并進行地理配準，如圖 11所示。

圖 11.從 UNSW 到 La Perouse 的全球地理參考路線圖（框架：ECEF，單位：米）來自基于 3D 點云的地圖。

通過放大圖 11，可以看到道路地圖的細節(jié)，并且可以將其對應(yīng)的真實世界道路視圖與 Google Earth 圖像進行比較（因為該地圖是地理參考的）。圖 12顯示了此生成地圖的一個放大部分與 Google Earth 中相應(yīng)視圖的比較。

圖 12. (a) 生成的地圖和 (b) 同一位置的 Google 地球視圖 的一部分。

這張生成的地圖很好地展示了道路環(huán)境的結(jié)構(gòu)，包括道路邊緣、建筑物、樹木和沿路停放的車輛。

三個坐標已知的控制點位于 UNSW Scientia Lawn 周圍。這些控制點可用于評估生成的點云的準確性。通過將地圖內(nèi)已識別控制點的坐標與實際已知位置進行比較，發(fā)現(xiàn) X、Y 和 Z 軸上的差異約為 2-8 厘米。因此，離線生成的地圖精度被認為是5厘米。

5.3. 使用激光雷達掃描和 GeoReferenced 3D 點云地圖匹配進行定位

根據(jù) A 部分（從 UNSW 到 La Perouse 的前向旅程）的數(shù)據(jù)生成的地理參考 3D 點云地圖可以用于支持 B 部分（從 La Perouse 到 UNSW 的后向旅程）的基于激光雷達的定位，方法是匹配激光雷達掃描到地圖?；谠诰€激光雷達/3D 地圖匹配的定位方法的過程如圖 13所示. INS 用于支持基于激光雷達/3D 地圖的在線定位。為了顯示不同融合級別的性能，研究了兩種融合方法。第一種方法簡單地利用 IMU 作為輔助傳感器，直接使用 INS 解決方案作為掃描/地圖匹配的初始信息。第二種融合方法是一種緊耦合方法，它不僅使用 INS 解決方案來支持匹配，而且還包含一個基于 EKF 的錯誤狀態(tài)更新步驟，可增強慣性導(dǎo)航性能。

圖 13.擬議的基于激光雷達/3D 地圖匹配的定位系統(tǒng)架構(gòu)概述。(a) 方法一：融合IMU作為輔助傳感器；(b) 方法 2：使用基于 EKF 的緊耦合方法融合 IMU。

方法2由兩部分組成：掃描匹配和EKF融合。首先，如果慣性導(dǎo)航信息不可用，可以使用幀到幀激光雷達里程計來支持定位。在初始化錯誤狀態(tài) EKF 后，慣性導(dǎo)航估計的位姿將為當(dāng)前激光雷達掃描幀提供一個粗略的位姿，并且可以關(guān)閉激光雷達里程計以降低計算負荷。利用INS提供的粗略位置，從預(yù)先生成的全局地圖中搜索選擇局部地圖，提高匹配效率。當(dāng)前激光雷達框架和本地地圖之間基于無損檢測的掃描匹配是通過基于慣性的初始變換矩陣進行的?？梢垣@得激光雷達估計的車輛姿態(tài)。如果需要，還可以生成新的實時路線圖。

得到激光雷達位姿后，可以得到激光雷達位姿與慣性傳播位姿的差值，通過誤差狀態(tài)EKF估計慣性導(dǎo)航信息內(nèi)的誤差，然后反饋給慣性系統(tǒng)，改進位姿結(jié)果和偏差估計。當(dāng)有 GNSS 信息時，如 RTK 定位結(jié)果，也可用于修正慣性導(dǎo)航信息，以提高定位系統(tǒng)的準確性和可靠性。

對于激光雷達、INS 和GNSS的數(shù)據(jù)融合，當(dāng)前的一些工作提出使用基于圖優(yōu)化的方法來生成最優(yōu)定位和建圖解決方案[ 179、257、258、259]. 然而，其中一些經(jīng)過后處理或高度依賴 GNSS 數(shù)據(jù)來減輕導(dǎo)航漂移，甚至忽略 IMU 偏差。由于對于我們基于在線激光雷達/地圖匹配的定位方法，可靠的慣性導(dǎo)航解決方案對于為掃描/地圖匹配過程提供良好的初始化以及提高本地地圖搜索和選擇的效率和準確性至關(guān)重要，及時的 IMU偏差校正至關(guān)重要，使用 EKF 更容易實現(xiàn)。由于我們的測試是在 GNSS 信號經(jīng)常丟失的市區(qū)進行的，因此對 IMU 狀態(tài)的反饋也應(yīng)取決于激光雷達數(shù)據(jù)，尤其是在 GNSS 中斷期間。此外，估計不確定性是分析系統(tǒng)解決方案的重要參數(shù)，很少在基于圖的方法中估計，但可以通過 EKF 方法直接估計。因此，在我們當(dāng)前的方法 2 中，EKF 方法用于融合激光雷達/地圖定位、GNSS 和慣性導(dǎo)航結(jié)果。方法 1 和方法 2 的比較還突出了將 IMU 傳感器用作單獨的輔助傳感器和用作緊密耦合的輔助傳感器之間的區(qū)別。

5.3.1. 激光雷達/3D 地圖定位系統(tǒng)的估計結(jié)果

由于本次城市道路測試沒有地面實況信息，因此將基于激光雷達/地圖匹配的解決方案與三個選定軌跡段內(nèi)的 GNSS/INS 解決方案進行比較（圖 14），在此期間 RTK 狀態(tài)為“模糊固定” ”（圖 6b）。

圖 14.所提出的基于激光雷達/地圖匹配的定位方法與參考 GNSS/INS 定位方法在三個軌跡部分的坐標差異。(a) 方法一：融合IMU作為輔助傳感器；(b) 方法 2：使用基于 EKF 的緊耦合方法融合 IMU。紅色和綠色框表示具有不同時間戳的坐標差異較大的時代。

表 3顯示了基于激光雷達/地圖匹配的定位與參考 GNSS/INS 定位結(jié)果之間的比較。對于方法一，結(jié)果差異在零附近波動，它們的平均值在厘米到分米級別。所有三個部分的標準偏差都在 0.1-0.2 m 左右，因此我們將大于 0.6 m 的坐標差異視為可能的異常值。具有異常值的 epoch 約占總測試數(shù)據(jù)的 1.7%，這意味著異常值的存在很少見。異常值的可能原因?qū)⒃谙乱还?jié)中討論。對于方法 2，結(jié)果具有更好的準確性。標準偏差在0.05 m左右，遠低于方法1。從圖14可以看出，在方法 1 顯示可能的異常值期間，方法 2 與參考值的差異較小，這表明緊耦合方法對異常值的魯棒性比簡單地使用 INS 解決方案進行初始化要強。

表 3.對于圖 14 中的軌跡部分 1、2 和 3，基于激光雷達/地圖匹配的定位與參考 GNSS/INS 定位結(jié)果之間差異的平均值和標準偏差。(a) 方法一：融合IMU作為輔助傳感器；(b) 方法 2：使用基于 EKF 的緊耦合方法融合 IMU。

5.3.2. 數(shù)值結(jié)果的質(zhì)量分析

檢查具有大跳躍的時期（例如圖 14中的“紅色和綠色框”期間）的測量細節(jié)，以調(diào)查檢測到的異常值的可能原因。對于圖 14中的 Trajectory Section 1 （紅框），通過方法 1 發(fā)現(xiàn)在繞環(huán)島行駛時，存在一些較大的異常值。Lidar/map 系統(tǒng)和 GNSS/INS 解決方案圍繞該環(huán)島的軌跡及其Google 地圖中的視圖如圖 15所示?？梢钥闯?，GNSS/INS 解決方案（圖 15黃線）在該區(qū)域更平滑，因為 GNSS 整數(shù)模糊度是“固定的”，而如果僅使用 IMU 作為簡單助手，激光雷達/地圖解決方案與參考軌跡有一些差異（方法 1，圖 15 藍線）。

圖 15.基于激光雷達/地圖匹配的定位方法 1（藍色）、方法 2（紅色）和 GNSS/INS 定位（黃色）的軌跡：(a) Google 地圖中的視圖；(b) 在環(huán)島周圍的局部坐標系中查看。

圖 16顯示了該環(huán)島的地圖視圖。可以看出，道路駕駛側(cè)的預(yù)生成地圖結(jié)構(gòu)不是很清晰，因為它缺少軌跡周圍的特征?；匦幬挥诼糜尉包c的停車場。該地區(qū)周圍沒有建筑物，樹木也很少。由于測試是在晚上進行的，因此可以用作特征的停放車輛并不多。因此，匹配步驟的質(zhì)量可能較差，從而導(dǎo)致定位精度下降。

圖 16. (a) 生成的地圖和 (b) 環(huán)島周圍相同位置的 Google Earth 視圖 的一部分。

圖 17顯示了此時距離閾值為 20 m 的激光雷達掃描視圖，可以看出該激光雷達掃描沒有太多可用的特征，尤其是在預(yù)處理之后。當(dāng)軌跡部分 1（綠色框）中出現(xiàn)另一組異常值時，可以找到具有較少特征的類似道路環(huán)境，如圖14所示。在這種情況下，擴展范圍閾值可以通過包含更多特征來提高準確性，但是，它會增加計算負擔(dān)并受到更多異常源的影響。通過更緊密地融合 IMU 來合并慣性運動模型可能會使定位系統(tǒng)對這種無特征的條件更加穩(wěn)健（圖 15紅線）。

圖 17.環(huán)島周圍軌跡部分 1 中具有大異常值的紀元 40,647 s 的掃描幀（(a) 原始掃描視圖；(b) 預(yù)處理后的視圖）。

異常值的另一個主要來源是主車輛周圍的其他移動實體。圖 18、圖 19和圖 20顯示了在定位階段存在較大異常值時的激光雷達視圖。

圖 18.軌跡部分 2 中具有大異常值的歷元 40,854 s 的掃描幀：后面的車輛正在駛向另一條道路，(a) 激光雷達掃描；(b) 谷歌地球視圖。

圖 19.軌跡部分 2 中具有大異常值的歷元 40,888 s 的掃描幀，檢測到對向駕駛車輛，(a) 激光雷達掃描；(b) 谷歌地球視圖。

圖 20.軌跡第 3 節(jié)中具有大離群值的歷元 41,103 s 的掃描幀，一輛高大的公共汽車駛過 (a) 激光雷達掃描；(b) 谷歌地球視圖。

無論其他移動車輛是在道路的同一側(cè)還是在道路的另一側(cè)，這樣的移動車輛都會影響基于激光雷達/地圖匹配的定位的質(zhì)量。當(dāng)移動車輛與本車在道路同一側(cè)時，最初檢測到或與本車速度不同，或轉(zhuǎn)彎行駛到另一條道路時，都會導(dǎo)致錯誤估計。這將使該車輛不再被檢測到（圖 14軌跡部分 2 和圖 18中的紅色框）。

一旦宿主車輛檢測到對面行駛的車輛，定位估計誤差可能達到 1-1.5 m（圖 14軌跡部分 2 和圖 19中的綠色框）。

移動元素的類型也會影響異常值的存在。大多數(shù)時候，垂直位置估計受移動元素的影響較小。但是，勾選Trajectory Section 3（圖14 ）中的紅框，可以發(fā)現(xiàn)垂直方向的差異遠高于其他部分。通過查看激光雷達視圖的細節(jié)，發(fā)現(xiàn)在那個路段，一輛高大的公共汽車從主車輛旁邊駛過（圖 20 ），這意味著當(dāng)前激光雷達掃描和預(yù)先生成的地圖之間的垂直差異可能導(dǎo)致一些系統(tǒng)的垂直偏差。

道路環(huán)境中的移動物體將是測量異常值的主要來源，因為系統(tǒng)將預(yù)先生成的地圖視為固定參考地圖。因此，如果有任何移動物體導(dǎo)致預(yù)生成地圖和當(dāng)前掃描幀的結(jié)構(gòu)不同，就會出現(xiàn)異常值。移動物體，例如其他車輛，可能存在于先前的道路測繪階段和當(dāng)前的道路掃描中以用于定位。對于離線高清地圖生成步驟，應(yīng)仔細識別并從靜態(tài) 3D 點云地圖中刪除此類移動對象。對于在線步驟，可以基于清潔的預(yù)生成地圖來識別和刪除移動對象，或者直接使用傳感器數(shù)據(jù)實現(xiàn)語義分割。166 ] 可以區(qū)分基于 CNN 的運動和靜止物體。因此，可以去除可能檢測到的移動物體，或者可以將可能的道路環(huán)境變化更新到全局地圖中，以提高未來在同一道路路徑上行駛的準確性。這些方法可以在感知步驟中進行。一些數(shù)值質(zhì)量控制方法的幫助也可能有助于在定位和建圖步驟中完成這項任務(wù)，例如 FDI 方法，或離群點檢測和識別方法，它可以直接估計和減輕來自各種資源的離群點的影響，不僅是移動異常值，還有其他傳感器或模型故障。

一些FDI方法或完整性監(jiān)測方法[ 255 , 256 ]已經(jīng)成功應(yīng)用于EKF框架下的GNSS/INS集成系統(tǒng)。由于在本案例研究中，EKF 方法用于融合激光雷達/地圖定位結(jié)果和 INS 姿勢以生成高頻精確姿勢解決方案，因此這些質(zhì)量控制方法也表明了該定位系統(tǒng)的潛力。這將是未來的研究課題。

6、結(jié)論

本文簡要回顧了不同的 SLAM 方法及其特點。SLAM 已成為自動駕駛中定位、建圖、規(guī)劃和控制的關(guān)鍵方法。它顯示了在為自動駕駛和道路環(huán)境中的車輛定位生成高分辨率地圖方面取得了可喜的進展。已經(jīng)確定了不同 SLAM 技術(shù)的優(yōu)點和缺點，并討論了它們在自動駕駛中的應(yīng)用。

定位和導(dǎo)航算法的可信度是自動駕駛的一個重要問題。有許多挑戰(zhàn)限制了 SLAM 技術(shù)的性能，從而影響定位和導(dǎo)航結(jié)果的安全性。本綜述中提到了這些具有挑戰(zhàn)性的問題和可能的解決方案。此外，為了確保安全性，應(yīng)從準確性、一致性、精確性、可靠性和完整性等方面對算法的性能進行定量評估。簡要討論了評估這些質(zhì)量的方法。

進行了真實世界的道路測試，以演示 SLAM 在具有多傳感器集成的自動駕駛中的應(yīng)用。數(shù)值結(jié)果表明，GNSS/INS 輔助激光雷達系統(tǒng)可以生成地理參考高密度點云地圖。這張預(yù)先生成的地圖可以用來支持在線定位，已經(jīng)達到了厘米級的精度。這種基于激光雷達/地圖匹配的定位方法也可用于在 GNSS 信號不可用期間支持自動駕駛系統(tǒng)，這使其適用于市區(qū)駕駛。IMU 測量值的更緊密耦合融合將使基于激光雷達/地圖的定位比簡單地利用慣性解決方案作為輔助信息更準確和對異常值更穩(wěn)健。

未來的研究應(yīng)該集中在如何檢測移動實體并減輕它們在 3D 點云建圖和定位過程中的影響。此外，應(yīng)研究此類基于激光雷達/GNSS/INS 的車輛定位和繪圖系統(tǒng)的完整性監(jiān)控程序。