0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

常用的RGB-D SLAM解決方案

3D視覺(jué)工坊 ? 來(lái)源:計(jì)算機(jī)視覺(jué)工坊 ? 2024-04-16 09:37 ? 次閱讀

目前室內(nèi)RGB-D SLAM的sota方法有哪些呢?

由于室內(nèi)場(chǎng)景的稠密三維重建是一個(gè)非?;馃岬难芯款I(lǐng)域了,到目前為止出現(xiàn)了許許多多好的研究工作,恕能力和時(shí)間的限制,不能進(jìn)行一一介紹,所以對(duì)目前一些比較常用的RGB-D SLAM解決方案進(jìn)行介紹。

1.BundleFusion

BundleFusion是一種稠密的實(shí)時(shí)室內(nèi)場(chǎng)景三維重建算法框架。輸入為RGB-D相機(jī)采集的并且是對(duì)齊好的RGB圖像和深度圖的數(shù)據(jù)流。輸出為重建好的稠密三維場(chǎng)景模型。

整個(gè)算法流程如下圖所示:

b2286352-fb88-11ee-a297-92fbcf53809c.png

其優(yōu)點(diǎn)在于重建效果在所有RGB-D SLAM中靠前,支持在GPU上實(shí)時(shí)魯棒跟蹤,可以在跟蹤失敗時(shí)移動(dòng)到重建成功的地方進(jìn)行重定位,匹配上后繼續(xù)跟蹤。

但是缺點(diǎn)在于由于成像傳感器存在噪音,稀疏關(guān)鍵點(diǎn)匹配可能產(chǎn)生小的局部誤匹配。這些誤匹配可能會(huì)在全局優(yōu)化中傳播,導(dǎo)致誤差累積。實(shí)際重建時(shí)效果和所使用深度相機(jī)的性能、待重建場(chǎng)景的紋理豐富程度關(guān)系很大。

論文獲取地址:http://arxiv.org/pdf/1604.01093.pdf

項(xiàng)目地址:https://graphics.stanford.edu/projects/bundlefusion/

源碼獲取地址:https://github.com/niessner/BundleFusion

2.InfiniTAM

InfiniTAM是牛津大學(xué)于2016年發(fā)表的稠密SLAM方案,目前已經(jīng)發(fā)展到了v3版本,該方案基于KinectFusion和體素塊哈希表發(fā)展而來(lái)。首先,InfiniTAM方案在建圖部分利用TSDF模型(截?cái)喾?hào)距離場(chǎng))進(jìn)行建模,只是在建模的時(shí)候,不是對(duì)整個(gè)空間都劃分等大小的網(wǎng)格,而是只在場(chǎng)景表面的周圍劃分網(wǎng)格,且只為待重建的表面上的體素塊分配顯存,并使用哈希表這一結(jié)構(gòu)來(lái)管理GPU對(duì)體素塊的內(nèi)存分配和數(shù)據(jù)訪問(wèn)。通過(guò)這樣的方法,InfiniTAM 大大減小了稠密建圖對(duì) GPU 的內(nèi)存消耗,提升了算法效率。

算法流程如下圖所示:

b2376adc-fb88-11ee-a297-92fbcf53809c.png

項(xiàng)目地址:https://www.robots.ox.ac.uk/~victor/infinitam/index.html

代碼獲取地址:https://github.com/victorprad/InfiniTAM

3.RTAB-Map

RTAB-Map(基于外觀的實(shí)時(shí)映射)是一種基于RGB-D、立體和激光雷達(dá)的SLAM算法框架,它以基于外觀的增量閉環(huán)檢測(cè)為基礎(chǔ)。閉環(huán)檢測(cè)使用詞袋法來(lái)確定新圖像來(lái)自先前位置或新位置的可能性。當(dāng)閉環(huán)檢測(cè)假設(shè)被接受時(shí),一個(gè)新的約束將被添加到地圖的圖形中,然后圖形優(yōu)化器將地圖中的誤差最小化。RTAB-Map可單獨(dú)與手持Kinect、立體攝像頭或3D激光雷達(dá)配合使用,用于6DoF地圖繪制;也可與配備激光測(cè)距儀的機(jī)器人配合使用,用于3DoF地圖繪制。

算法流程如下圖所示:

b24f8c0c-fb88-11ee-a297-92fbcf53809c.png

其優(yōu)點(diǎn)在于定位精度很準(zhǔn),支持視覺(jué)、激光傳感器,支持跨平臺(tái)、ROS,在線處理

缺點(diǎn)在于魯棒性不是很好,如果建圖時(shí)間和重定位時(shí)間間隔得比較久,或者光線變化都很明顯的話,重定位會(huì)失敗。而且點(diǎn)云網(wǎng)格化用possion重建,不是主流的TSDF,速度會(huì)慢。

項(xiàng)目地址:https://introlab.github.io/rtabmap/

代碼獲取地址:https://github.com/introlab/rtabmap

4.ORB-SLAM3

在前作ORB-SLAM2的基礎(chǔ)上,大佬于2020年7月開(kāi)源了ORB-SLAM3的論文和源碼。ORB-SLAM3支持的設(shè)備和功能更多,支持單目、雙目、RGB-D相機(jī),針孔、魚(yú)眼,視覺(jué)慣性里程計(jì),多地圖等,幾乎覆蓋了視覺(jué)SLAM各個(gè)分支??傮w來(lái)說(shuō),ORB-SLAM3基本框架、代碼結(jié)構(gòu)都是ORB-SLAM2的延伸,但是加入了很多新的方法,實(shí)現(xiàn)了更好的效果。

主要系統(tǒng)架構(gòu)如下圖所示:

b25f443a-fb88-11ee-a297-92fbcf53809c.png

論文獲取地址:https://arxiv.org/pdf/2007.11898.pdf

審核編輯:黃飛

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 機(jī)器人
    +關(guān)注

    關(guān)注

    212

    文章

    28933

    瀏覽量

    209710
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    4832

    瀏覽量

    129797
  • SLAM
    +關(guān)注

    關(guān)注

    23

    文章

    428

    瀏覽量

    32016
  • 激光雷達(dá)
    +關(guān)注

    關(guān)注

    970

    文章

    4067

    瀏覽量

    190957

原文標(biāo)題:室內(nèi)RGB-D SLAM解決方案有哪些?

文章出處:【微信號(hào):3D視覺(jué)工坊,微信公眾號(hào):3D視覺(jué)工坊】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    動(dòng)態(tài)環(huán)境中基于神經(jīng)隱式表示的RGB-D SLAM

    神經(jīng)隱式表示已經(jīng)被探索用于增強(qiáng)視覺(jué)SLAM掩碼算法,特別是在提供高保真的密集地圖方面。
    的頭像 發(fā)表于 01-17 10:39 ?1022次閱讀
    動(dòng)態(tài)環(huán)境中基于神經(jīng)隱式表示的<b class='flag-5'>RGB-D</b> <b class='flag-5'>SLAM</b>

    RGB接口靜電放電防護(hù)方案

    抑制器:ESD03V32D-LC常用產(chǎn)品: 符合要求:IEC 61000-4-2 ESD替代選項(xiàng):其他解決方案:? 高速信號(hào) I/O 接口-ESD 防護(hù)? 普通信號(hào) I/O 接口-ESD 防護(hù)其他
    發(fā)表于 04-21 14:40

    如何去開(kāi)發(fā)一款基于RGB-D相機(jī)與機(jī)械臂的三維重建無(wú)序抓取系統(tǒng)

    基于RGB-D相機(jī)與機(jī)械臂的三維重建無(wú)序抓取系統(tǒng)有哪些關(guān)鍵技術(shù)?如何去開(kāi)發(fā)一款基于RGB-D相機(jī)與機(jī)械臂的三維重建無(wú)序抓取系統(tǒng)?基于RGB-D相機(jī)與機(jī)械臂的三維重建無(wú)序抓取系統(tǒng)是由哪些部分組成的?
    發(fā)表于 09-08 06:12

    幾種典型的SLAM應(yīng)用場(chǎng)景和它的解決方案

    產(chǎn)品過(guò)渡的階段。行業(yè)中已經(jīng)出現(xiàn)了一些以SLAM技術(shù)為主的產(chǎn)品,但離進(jìn)入千家萬(wàn)戶還有一定的距離。 本文將從SLAM的基本技術(shù),典型SLAM的應(yīng)用以及目前行業(yè)中使用的解決方案來(lái)介紹。 ▍
    發(fā)表于 09-22 16:11 ?2次下載

    基于RGB-D圖像物體識(shí)別方法

    針對(duì)傳統(tǒng)的顏色一深度(RGB-D)圖像物體識(shí)別的方法所存在的圖像特征學(xué)習(xí)不全面、特征編碼魯棒性不夠等問(wèn)題,提出了基于核描述子局部約束線性編碼( KD-LLC)的RGB-D圖像物體識(shí)別方法。首先,在
    發(fā)表于 12-07 10:22 ?1次下載
    基于<b class='flag-5'>RGB-D</b>圖像物體識(shí)別方法

    RGB-D圖像是什么

    RGB-D圖像其實(shí)是兩幅圖像。
    的頭像 發(fā)表于 11-01 11:46 ?1.9w次閱讀

    結(jié)合背景與前景的RGB-D圖像顯著性檢測(cè)模型

    RGB-D圖像顯著性檢測(cè)是指在傳統(tǒng)的2D圖像中附加深度信息從而提取顯著對(duì)象,但是現(xiàn)有的顯著性檢測(cè)模型,大多數(shù)只關(guān)注顯著物體本身,卻忽略了背景信息。因此,提岀了一個(gè)新穎的昰著性檢測(cè)模型,將深度信息同時(shí)
    發(fā)表于 04-13 11:31 ?0次下載
    結(jié)合背景與前景的<b class='flag-5'>RGB-D</b>圖像顯著性檢測(cè)模型

    基于UWB、里程計(jì)和RGB-D融合的室內(nèi)定位方法

    的思想,僅消耗極少部分的計(jì)算資源就可以將各個(gè)傳感器融合起來(lái),提高了系統(tǒng)精度。實(shí)驗(yàn)結(jié)果表明,該方法可以將定位誤差抑制在10cm以內(nèi)將偏轉(zhuǎn)角誤差抑制在1以內(nèi),徹底解決單一RGB-D攝像頭SLAM時(shí)跟蹤失敗的問(wèn)題。
    發(fā)表于 04-25 14:47 ?14次下載
    基于UWB、里程計(jì)和<b class='flag-5'>RGB-D</b>融合的室內(nèi)定位方法

    用于SLAM的神經(jīng)隱含可擴(kuò)展編碼

    我們提出了NICE-SLAM,一個(gè)密集的RGB-D SLAM系統(tǒng),它具有實(shí)時(shí)性、可擴(kuò)展性、預(yù)測(cè)性和對(duì)各種挑戰(zhàn)性場(chǎng)景的魯棒性。
    的頭像 發(fā)表于 01-30 11:19 ?824次閱讀

    用于快速高保真RGB-D表面重建的神經(jīng)特征網(wǎng)格優(yōu)化的GO-Surf

    我們提出了GO-Surf,一種直接的特征網(wǎng)格優(yōu)化方法,用于從RGB-D序列中準(zhǔn)確和快速地重建表面。
    的頭像 發(fā)表于 03-17 16:35 ?834次閱讀

    基于RGB-D相機(jī)的三維重建和傳統(tǒng)SFM和SLAM算法有什么區(qū)別?

    輸入數(shù)據(jù)流不同。在基于RGB-D相機(jī)的三維重建中,輸入有深度信息和彩色信息,并且深度信息起主導(dǎo)作用,而在SLAM和SFM算法中輸入的是主要是彩色信息,個(gè)別工作也有結(jié)合深度信息。
    發(fā)表于 03-23 12:28 ?1464次閱讀

    用于神經(jīng)場(chǎng)SLAM的矢量化對(duì)象建圖

    vMAP 是一種基于神經(jīng)場(chǎng)的對(duì)象級(jí)密集 SLAM 系統(tǒng),可根據(jù) RGB-D 輸入流實(shí)時(shí)自動(dòng)構(gòu)建對(duì)象級(jí)場(chǎng)景模型。
    的頭像 發(fā)表于 06-15 09:29 ?930次閱讀
    用于神經(jīng)場(chǎng)<b class='flag-5'>SLAM</b>的矢量化對(duì)象建圖

    瞄準(zhǔn)AGV/AMR領(lǐng)域-維感科技發(fā)布高性價(jià)比RGB-D ToF相機(jī)DS86/87

    維感科技于近期正式對(duì)外發(fā)售極具性價(jià)比的3D ToF RGB-D深度相機(jī)新品DS86/87,零售價(jià)格分別為4,199元與4,999元。
    發(fā)表于 06-16 09:40 ?628次閱讀
    瞄準(zhǔn)AGV/AMR領(lǐng)域-維感科技發(fā)布高性價(jià)比<b class='flag-5'>RGB-D</b> ToF相機(jī)DS86/87

    一個(gè)動(dòng)態(tài)環(huán)境下的實(shí)時(shí)語(yǔ)義RGB-D SLAM系統(tǒng)

    大多數(shù)現(xiàn)有的視覺(jué)SLAM方法嚴(yán)重依賴于靜態(tài)世界假設(shè),在動(dòng)態(tài)環(huán)境中很容易失效。本文提出了一個(gè)動(dòng)態(tài)環(huán)境下的實(shí)時(shí)語(yǔ)義RGB-D SLAM系統(tǒng),該系統(tǒng)能夠檢測(cè)已知和未知的運(yùn)動(dòng)物體。為了減少計(jì)算成本,其只對(duì)
    的頭像 發(fā)表于 08-25 16:49 ?795次閱讀
    一個(gè)動(dòng)態(tài)環(huán)境下的實(shí)時(shí)語(yǔ)義<b class='flag-5'>RGB-D</b> <b class='flag-5'>SLAM</b>系統(tǒng)

    一種基于RGB-D圖像序列的協(xié)同隱式神經(jīng)同步定位與建圖(SLAM)系統(tǒng)

    提出了一種基于RGB-D圖像序列的協(xié)同隱式神經(jīng)同步定位與建圖(SLAM)系統(tǒng),該系統(tǒng)由完整的前端和后端模塊組成,包括里程計(jì)、回環(huán)檢測(cè)、子圖融合和全局優(yōu)化。
    的頭像 發(fā)表于 11-29 10:35 ?719次閱讀
    一種基于<b class='flag-5'>RGB-D</b>圖像序列的協(xié)同隱式神經(jīng)同步定位與建圖(<b class='flag-5'>SLAM</b>)系統(tǒng)