用于SLAM中點云地圖綜合評估的開源框架

在SLAM中評估大規(guī)模的點云地圖仍頗具挑戰(zhàn)，主要原因在于缺乏統(tǒng)一、穩(wěn)健且高效的評估框架。本文提出了MapEval，這是一個用于點云地圖綜合評估的開源框架。在模擬數(shù)據(jù)集和真實世界數(shù)據(jù)集上開展的大量實驗表明，MapEval在保持評估完整性的同時，速度至少提高了100-500倍。MapEval庫將會開源，以推動機器人領(lǐng)域標準化的地圖評估實踐。

01 本文核心內(nèi)容

A.動機與挑戰(zhàn)

SLAM已成為移動機器人領(lǐng)域的一項基礎(chǔ)性技術(shù)，能夠?qū)崿F(xiàn)機器人在未知環(huán)境中的自主導(dǎo)航。盡管SLAM包含定位和建圖任務(wù)，但當前的評估方法主要側(cè)重于軌跡精度，這只是通過定位性能間接反映地圖質(zhì)量。這種間接評估方式，再加上獲取高精度真實軌跡數(shù)據(jù)的固有困難，對現(xiàn)實世界中SLAM的部署構(gòu)成了顯著限制，因為地圖質(zhì)量直接影響諸如路徑規(guī)劃和避障等下游任務(wù)。直接的地圖質(zhì)量評估提供了更全面、更可靠的評估范式。例如，如圖1所示，不同區(qū)域的地圖精度差異顯著，這凸顯了評估全局幾何精度和局部一致性的必要性。這些互補的方面能夠捕捉到不同的誤差來源和尺度，然而現(xiàn)有的評估方法通常只關(guān)注其中一個方面，導(dǎo)致對SLAM性能的評估不完整。缺乏一個能同時兼顧這兩個方面的統(tǒng)一評估框架，已成為推進SLAM技術(shù)以及確保其在現(xiàn)實應(yīng)用中的可靠性的關(guān)鍵瓶頸。盡管其重要性毋庸置疑，但以下三個基本挑戰(zhàn)阻礙了穩(wěn)健的地圖評估框架的發(fā)展：

1)缺乏統(tǒng)一的評估標準：軌跡評估得益于諸如EVO等標準化工具，但地圖質(zhì)量評估卻呈現(xiàn)碎片化?，F(xiàn)有的方法聚焦于孤立的方面，如全局精度或局部一致性，缺乏一個能整合這些互補指標的統(tǒng)一框架。這種碎片化阻礙了不同SLAM系統(tǒng)之間的公平和全面比較。

2)傳統(tǒng)指標的固有局限性：SLAM地圖具有大規(guī)模、環(huán)境噪聲以及稀疏的真實基準等獨特特征，這給現(xiàn)有指標帶來了獨特的挑戰(zhàn)。當前的指標難以在噪聲敏感度、完整性(COM)以及同時捕捉全局和局部屬性的能力之間取得平衡，往往導(dǎo)致對SLAM性能的誤導(dǎo)性評估。

3)可擴展性和計算效率：傳統(tǒng)指標，如倒角距離(ChamferDistance，CD)和瓦瑟斯坦距離(地球搬運工距離，WassersteinDistance，EMD)，在應(yīng)用于包含數(shù)百萬個點的SLAM地圖時，計算成本變得過高。這種可擴展性的限制嚴重制約了它們在現(xiàn)實世界場景中的實際應(yīng)用，在系統(tǒng)部署中，高效評估至關(guān)重要。

02 主要貢獻

我們構(gòu)建了MapEval，這是一個用于全面點云地圖評估的開源框架，對現(xiàn)有評估指標進行了系統(tǒng)性分析，并為一致性的質(zhì)量評估確立了清晰的指導(dǎo)準則。

我們借助體素化高斯近似對瓦瑟斯坦距離加以改進，提出了新穎的評估指標，在相同的誤差標準下達成了高效且穩(wěn)健的性能表現(xiàn)。

我們在各類SLAM系統(tǒng)中開展了大量實驗來驗證我們的框架，與傳統(tǒng)方法相比，實現(xiàn)了100-500倍的提速。

03 方法架構(gòu)

MapEval評估流程概述。該框架首先從真實傳感器和SLAM算法獲取稠密點云地圖（左側(cè)），接著利用初始姿態(tài)估計進行稠密地圖對齊（中間），最后進行映射評估。

04 實驗

A.實驗設(shè)置

1)數(shù)據(jù)集與基準真值：我們在四個不同的數(shù)據(jù)集上對MapEval進行評估，分別是：FusionPortable（FP）、NewerCollege（NC）、GEODE（GE）以及我們自行收集的MS數(shù)據(jù)集。這些數(shù)據(jù)集涵蓋了多樣的環(huán)境條件和掃描模式，基準真值地圖是通過高精度掃描儀以毫米級精度獲取的。MS數(shù)據(jù)集是通過我們的多傳感器平臺（見圖3）收集的，采用精度為6毫米的LeicaRTC360掃描儀。表II總結(jié)了每個序列的關(guān)鍵特征。

2)基準方法：我們將MapEval與兩個先進的SLAM系統(tǒng)進行基準比較：FAST-LIO2（FL2）和PALoc。這些系統(tǒng)代表了不同的地圖構(gòu)建方式，PALoc結(jié)合了閉環(huán)優(yōu)化和先驗地圖約束，以減少在大規(guī)模環(huán)境中的全局漂移誤差。

3)實現(xiàn)細節(jié)：我們的評估實驗整合了軌跡和地圖質(zhì)量評估。對于軌跡評估，我們采用了絕對軌跡誤差（ATE）。在地圖質(zhì)量評估中，對于AWD和SCS指標，使用了對應(yīng)閾值τ=0.2米和體素大小為3.0米。MME計算在所有序列中均采用一致的0.1米搜索半徑。我們使用Open3D和PCL庫來實現(xiàn)該框架，實驗在配備了英特爾i7-12700kCPU和96GBRAM的臺式計算機上進行。

B.模擬實驗

我們利用序列S2的基準真值地圖（28,633,510個點，覆蓋30m×7m×4m區(qū)域）進行模擬實驗，以驗證我們所提出的MapEval框架的穩(wěn)健性和有效性。

1)噪聲敏感性分析：為評估度量對噪聲的穩(wěn)健性，我們有系統(tǒng)地向基準真值地圖引入隨機采樣的對稱高斯噪聲（1厘米-50厘米）。表III中的實驗結(jié)果呈現(xiàn)了幾個驗證我們所提框架的關(guān)鍵發(fā)現(xiàn)。首先，AC隨著噪聲水平從20厘米增加到50厘米，呈現(xiàn)出與直覺相悖的行為，其值降低，而CD和AWD則表現(xiàn)出一致的誤差增長。這種差異是因為AC僅考慮距離閾值τ（方程2）內(nèi)的內(nèi)點。相比之下，AWD通過基于體素的高斯近似（方程4）納入完整的點分布，從而保持穩(wěn)健性。對均值差異和協(xié)方差結(jié)構(gòu)的Wasserstein距離（方程5）的考量使得AWD能夠捕捉全局變形，同時對局部變化保持穩(wěn)健。其次，在存在小尺度噪聲（1厘米-10厘米）時，SCS對局部幾何變化表現(xiàn)出預(yù)期的敏感性，同時保持穩(wěn)健性。隨著噪聲水平進一步增加（10厘米-50厘米），由于直接依賴于點級統(tǒng)計數(shù)據(jù)，傳統(tǒng)度量指標（如MME）變得不穩(wěn)定。然而，SCS通過利用Wasserstein距離的空間分布，在表征局部一致性方面保持穩(wěn)定行為。這種穩(wěn)健性源于我們基于體素的方法，其通過統(tǒng)計聚合有效地過濾了點級噪聲。

2)異常值穩(wěn)健性分析：我們進一步通過向基準真值地圖引入不同的異常值比率（0.01%-10%）和高斯異常值距離（10厘米-100,000厘米）來評估我們所提出的度量指標。表IV揭示了我們所提出度量指標的卓越穩(wěn)健性。對于極小的異常值污染（0.1%）和大的噪聲范圍（10厘米-100,000厘米），傳統(tǒng)度量指標表現(xiàn)出極大的敏感性，AC由于其點級閾值機制趨近于零，而CD由于直接依賴點到點距離（方程3），如圖4所示表現(xiàn)出不穩(wěn)定的增長。相比之下，AWD通過利用Wasserstein距離的統(tǒng)計特性保持了穩(wěn)健的性能?；隗w素的高斯近似通過考慮異常值對整體分布而非單個點的影響，有效地處理了異常值。在中等噪聲尺度（1000厘米-10,000厘米）下，CD由于局部結(jié)構(gòu)愈發(fā)扭曲而無法提供有意義的評估。AWD通過在Wasserstein距離計算中考慮位置和結(jié)構(gòu)差異，成功捕捉到噪聲增加的趨勢。對于更高的異常值比率（10%），SCS保持了對局部一致性的穩(wěn)健表征，而MME由于對點級熵變化的敏感性而表現(xiàn)出反直覺的行為。這一全面的驗證表明，我們所提出的度量指標顯著提高了點云地圖評估的穩(wěn)健性，特別是在存在大量噪聲和異常值的挑戰(zhàn)性場景中。

C.真實世界實驗

1)基于定位精度的地圖評估：我們首先分析了室內(nèi)（S5-S10）和室外環(huán)境（S14）中地圖質(zhì)量與定位精度之間的關(guān)聯(lián)。此實驗將定位精度作為驗證我們所提出度量標準的參考。表V中的結(jié)果在不同場景下呈現(xiàn)出顯著的模式。在有限的室內(nèi)環(huán)境（S5-S10）中，F(xiàn)L2覆蓋的局部地圖自然限制了閉環(huán)的優(yōu)勢，兩種算法實現(xiàn)了可比擬的全局精度。然而，傳統(tǒng)度量呈現(xiàn)出不一致的表現(xiàn)：在序列S5中，盡管PALoc在定位精度上更優(yōu)，反映在更好的CD、COM和AWD值上，但其AC得分較低。同樣，在序列S7、S9和S10中，F(xiàn)L2實現(xiàn)了更好的定位精度，AWD得分更優(yōu)，但CD表現(xiàn)較差。這種差異突顯了CD在表征局部地圖質(zhì)量方面的局限性，同時驗證了AWD在捕捉有意義的幾何差異方面的穩(wěn)健性。室外場景（S14）為我們的度量標準的有效性提供了極具說服力的證據(jù)。由于PALoc采用了閉環(huán)優(yōu)化，其在定位精度上顯著優(yōu)于FL2。雖然CD在兩種方法之間顯示出極小的差異，但我們的AWD成功捕捉到了這種全局精度的提升，與第II-C節(jié)中描述的Wasserstein距離的理論優(yōu)勢相符。圖5提供了S14的詳細可視化，通過誤差圖、體素誤差分布和一致性度量對FL2和PALoc進行了比較。結(jié)果表明，PALoc通過更好的AC、AWD和CDF度量實現(xiàn)了更卓越的全局精度。然而，PALoc的SCS性能相較于FL2略有下降，這與MME評估結(jié)果一致。此觀察揭示了一個重要的權(quán)衡：盡管閉環(huán)優(yōu)化減少了全局漂移，但可能會引入影響地圖一致性的局部幾何變形。

2)多樣化環(huán)境中的地圖評估：我們進一步在具有挑戰(zhàn)性的場景中驗證了我們的度量標準，包括走廊（S0）、自動扶梯（S4）、樓梯（S12）和植被密集區(qū)域（S13），如表V所示。在這些更廣闊的環(huán)境中，PALoc相較于FL2展現(xiàn)出顯著提升的全局精度，這被AWD準確捕獲。然而，我們的SCS度量表明這種全局優(yōu)化偶爾會損害局部一致性。傳統(tǒng)度量未能察覺這種全局精度與局部一致性之間的權(quán)衡，這體現(xiàn)了AWD和SCS在地圖評估中的互補性質(zhì)。圖6中的自動扶梯場景（S3）尤其突出了我們方法的優(yōu)勢。盡管視覺檢查和AC值證實了PALoc具有更優(yōu)的局部精度，但CD由于對噪聲的敏感性給出了矛盾的結(jié)果。我們的AWD通過基于體素的高斯近似，在準確反映真實質(zhì)量差異的同時保持了穩(wěn)健性。這些真實世界的實驗驗證了我們所提出度量標準的兩個關(guān)鍵優(yōu)勢。其一，AWD相較于CD在大規(guī)模環(huán)境中（特別是存在顯著漂移時）對全局精度的評估更可靠。其二，AWD和SCS的結(jié)合使得能夠?qū)θ志群途植恳恢滦赃M行全面評估，揭示了傳統(tǒng)度量所遺漏的重要權(quán)衡。

D.計算效率

我們對表II中所有數(shù)據(jù)集上MapEval的計算效率進行了剖析，將傳統(tǒng)度量（AC/CD+MME）與我們所提出的方法（Voxel.+AWD+SCS）加以對比。鑒于龐大的點云數(shù)量，我們甚至為快速計算MME采用了多線程技術(shù)。表VII給出了不同地圖規(guī)模下的處理時長。對于密集場景（約10^9個點，S1、S3、S4、S11、S13、S14），傳統(tǒng)度量需要數(shù)百至數(shù)千秒，而我們的單線程實現(xiàn)僅需數(shù)十秒即可完成。在中等密度環(huán)境（10^6-10^7個點，S5-S10）中，我們的方法實現(xiàn)了亞秒級的處理時間，在保持評估質(zhì)量的同時，相比傳統(tǒng)方法實現(xiàn)了100-500倍的提速。

E.參數(shù)敏感性分析

我們針對序列S1開展了參數(shù)敏感性分析，旨在探究體素大小對度量性能的影響。圖7闡釋了體素大小與三個關(guān)鍵指標：AWD、SCS以及計算時間之間的關(guān)系。AWD隨著體素大小呈現(xiàn)近乎線性的增長，從5厘米體素時的4.90厘米增至70厘米體素時的135.66厘米。這一趨勢反映出在較大體素的Wasserstein距離計算中，均值差異占據(jù)主導(dǎo)地位。相比之下，SCS在不同體素大小下保持穩(wěn)定，展現(xiàn)出其在捕捉局部一致性模式方面不依賴于空間分辨率的穩(wěn)健性。計算時間隨著體素大小的增加顯著降低，直至在約15厘米處達到拐點，從5厘米時的162.10秒降至60厘米以上時的約5秒?；谟嬎阈屎投攘糠€(wěn)定性之間的平衡，我們建議在實際應(yīng)用中采用2.0米至4.0米的體素大小。

05 總結(jié)

我們提出了MapEval，這是一個用于SLAM中點云地圖綜合評估的開源框架。該框架引入了兩個互補的度量指標：AWD和SCS，分別用于全局精度和局部一致性的評估。通過廣泛的實驗，我們表明，與傳統(tǒng)方法相比，我們的方法實現(xiàn)了100-500倍的提速，同時在各種不同的場景中保持了強勁的性能。MapEval將會發(fā)布，以促進機器人領(lǐng)域標準化的地圖質(zhì)量評估，推動可靠的SLAM系統(tǒng)的發(fā)展。