將高級(jí)語義信息隱式地嵌入到檢測和描述過程中來提取全局可靠的特征

介紹

以往的特征檢測和匹配算法側(cè)重于提取大量冗余的局部可靠特征，這樣會(huì)導(dǎo)致效率和準(zhǔn)確性有限，特別是在大規(guī)模環(huán)境中挑戰(zhàn)性的場景，比如天氣變化、季節(jié)變化、光照變化等等。

本文將高級(jí)語義信息隱式地嵌入到檢測和描述過程中來提取全局可靠的特征，即他們?cè)O(shè)計(jì)了一個(gè)語義感知檢測器，能夠從可靠的區(qū)域(如建筑物、交通車道)檢測關(guān)鍵點(diǎn)，并隱式地抑制不可靠的區(qū)域(如天空、汽車)，而不是依賴于顯式的語義標(biāo)簽。通過減少對(duì)外觀變化敏感的特征數(shù)量，并避免加入額外的語義分割網(wǎng)絡(luò)，提高了關(guān)鍵點(diǎn)匹配的準(zhǔn)確性。此外，生成的描述符嵌入了語義信息后具有更強(qiáng)的鑒別能力，提供了更多的inliers。

論文實(shí)驗(yàn)是在Aachen DayNight和RobotCar-Seasons數(shù)據(jù)集上進(jìn)行的長時(shí)大規(guī)模視覺定位測試。

出發(fā)點(diǎn)

目前最先進(jìn)效果最好的特征檢測和描述算法都是基于學(xué)習(xí)的方法，由于有大量的訓(xùn)練數(shù)據(jù)，這些方法能夠通過聚焦于有判別性的特征，即從更可靠的區(qū)域(如建筑物、交通車道)中提取關(guān)鍵點(diǎn)，但是訓(xùn)練中缺少語義信息，他們選擇全局可靠的關(guān)鍵點(diǎn)的能力有限，如下圖所示，他們更喜歡從物體中提取局部可靠的特征，包括那些對(duì)長時(shí)定位沒有幫助的特征(如天空、樹、汽車)，這導(dǎo)致精度有限。

雖然也有方法融入過語義這些高層次信息，但它們需要額外的分割網(wǎng)絡(luò)在測試時(shí)提供語義標(biāo)簽，并且很容易出現(xiàn)分割錯(cuò)誤，本文則隱式地融入語義信息到檢測和描述中去，以此提高匹配的性能，進(jìn)而提升下游視覺定位的性能。

主要貢獻(xiàn)

1.提出了一種新的特征網(wǎng)絡(luò)，在訓(xùn)練時(shí)隱式地將語義融入到檢測和描述過程中，使模型能夠在測試時(shí)產(chǎn)生端到端的語義感知特征。

2.采用語義感知和特征感知相結(jié)合的引導(dǎo)策略來使得模型更有效地嵌入語義信息。

3.在長時(shí)定位任務(wù)上優(yōu)于以往的局部特征，具有與先進(jìn)匹配算法相當(dāng)?shù)木群洼^高的效率。

Pipeline

如上圖所示，模型由一個(gè)編碼器和兩個(gè)解碼器組成。一個(gè)編碼器負(fù)責(zé)從圖像中提取High level的特征，一個(gè)解碼器預(yù)測可靠性圖, 一個(gè)解碼器產(chǎn)生描述符。

語義引導(dǎo)的特征檢測：

特征檢測器預(yù)測的可靠性圖為,之前方法預(yù)測的可靠性圖是由紋理的豐富度主導(dǎo)的。如下圖所示，以往的方法只揭示了像素在局部層面的可靠性，缺乏全局層面的穩(wěn)定性，本文通過考慮局部可靠性和全局穩(wěn)定性來重新定義特征的可靠性。

其中局部可靠性這里用super-point預(yù)測的可靠性圖，全局穩(wěn)定性是根據(jù)像素所屬的語義標(biāo)簽來確定其全局穩(wěn)定性。具體來說，將ADE20k數(shù)據(jù)集中的120個(gè)語義標(biāo)簽按照它們隨時(shí)間變化的方式分為四類，分別表示為Volatile、Dynamic、Short-term和Long-term。

Volatile(如天空、水)是不斷變化的，對(duì)于定位來說是多余的。

Dynamic(如汽車、行人)每天都在移動(dòng)，可能會(huì)因?yàn)橐脲e(cuò)誤的匹配而導(dǎo)致定位錯(cuò)誤。

Short-term(如樹)可以用于短期定位任務(wù)(如VO/SLAM)，但它們對(duì)光照(低反照率)和季節(jié)條件的變化很敏感。

Long-term(如建筑、交通燈)不受上述變化的影響，是長時(shí)定位的理想對(duì)象。

而且他們沒有直接過濾不穩(wěn)定的特征，而是根據(jù)期望的抑制程度，根據(jù)經(jīng)驗(yàn)分配的穩(wěn)定性值對(duì)特征重新排序。其中，Long-term對(duì)象對(duì)于短期和長期定位都是魯棒的，因此將其穩(wěn)定性值設(shè)置為1.0，Short-term對(duì)于短期定位很有用，將其穩(wěn)定性設(shè)置為0.5。Volatile和Dynamic類別的穩(wěn)定性值被設(shè)置為0.1，因?yàn)樗鼈儗?duì)于短期/長期定位都沒有用處。重新排序策略鼓勵(lì)模型優(yōu)先使用穩(wěn)定的特征，當(dāng)發(fā)現(xiàn)不穩(wěn)定的關(guān)鍵點(diǎn)時(shí)，使用來自其他對(duì)象的關(guān)鍵點(diǎn)作為補(bǔ)償，增加了模型對(duì)各種任務(wù)的魯棒性(如特征匹配、短期定位)。

然后將局部可靠性圖與全局穩(wěn)定性圖相乘得到全局可靠性圖。

語義引導(dǎo)的特征描述：

通過在描述符中嵌入語義來增強(qiáng)它們的區(qū)分能力。與之前的描述符僅根據(jù)局部patch信息區(qū)分關(guān)鍵點(diǎn)不同的是，本文的描述符加強(qiáng)了同一類特征的相似性，同時(shí)保留了類內(nèi)匹配的不相似性。但在訓(xùn)練過程中，這兩種力量相互沖突，因?yàn)轭愰g判別能力需要擠壓同一類中描述符的空間，而類內(nèi)判別能力需要增加空間。

為了解決這個(gè)問題，本文基于兩種不同的度量設(shè)計(jì)里類間損失和類內(nèi)損失。

類間損失：先通過最大化不同標(biāo)簽描述符之間的歐幾里德距離來增強(qiáng)特征的語義一致性。這使得特征可以從具有相同標(biāo)簽的候選對(duì)象中找到對(duì)應(yīng)，減少了搜索空間，從而提高了匹配的準(zhǔn)確性。定義了基于三態(tài)損失的類間損失，該損失具有硬邊距，用于將一批不同標(biāo)簽的所有可能的正負(fù)關(guān)鍵點(diǎn)分離開來。

類內(nèi)損失：為了確保類內(nèi)損失不會(huì)與類間損失沖突，放寬了具有相同標(biāo)簽的描述符之間距離的限制。采用了軟排序損失，而不是使用硬邊的三重?fù)p失，通過優(yōu)化正樣本和負(fù)樣本的排序而不是它們的距離。通過對(duì)所有樣本的排序進(jìn)行優(yōu)化，而不是像帶硬邊緣的三態(tài)損失那樣在正負(fù)對(duì)之間強(qiáng)制設(shè)置硬邊界，軟排序損失也保持了同一類對(duì)象上特征的多樣性。

最終的損失為：

實(shí)驗(yàn)

在Aachen (v1.0和v1.1)和RobotCar-Seasons數(shù)據(jù)集上測試了各種光照、季節(jié)和天氣條件下的方法。

Aachen v1.0包含了在亞琛城市周圍捕獲的4328張參考圖片和922張(824天，98夜)查詢圖片。

Aachen v1.1對(duì)v1.0進(jìn)行了擴(kuò)展，添加了2369張參考圖片和93張夜間查詢圖片。

RobotCar-Seasons有26121個(gè)參考圖像和11934個(gè)查詢圖像，由于郊區(qū)白天(雨、雪、黃昏、冬季)查詢圖像的條件多樣，夜間查詢圖像的光照條件較差，因此具有一定的挑戰(zhàn)性。

采用錯(cuò)誤閾值(2?，0.25m)，(5?，0.5m)，(10?，5m)的成功率作為度量。

baseline：

基線包括經(jīng)典的方法(C)，如AS v1.1、CSL和CPF以及使用語義的方法(S)，如LLN、SMC、SSM、DASGIL、ToDayGAN和LBR。

還與學(xué)習(xí)的特征和稀疏/密集匹配器(M)進(jìn)行了比較，例如，Superglue (SPG) ， SGMNet ， ClusterGNN和ASpanFormer ， LoFTER ， Patch2Pix ， Dual-RCNet。

可以看出其方法在定位下游任務(wù)和最先進(jìn)的方法表現(xiàn)持平或超過。

匹配定性結(jié)果：

運(yùn)行時(shí)間比較：

其方法可以說是又快又準(zhǔn)了！