0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

NeuralLift-360:將野外的2D照片提升為3D物體

3D視覺(jué)工坊 ? 來(lái)源:泡泡機(jī)器人SLAM ? 2023-04-16 10:02 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

摘要

虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)(XR)帶來(lái)了對(duì)3D內(nèi)容生成的不斷增長(zhǎng)需求。然而,創(chuàng)建高質(zhì)量的3D內(nèi)容需要人類(lèi)專(zhuān)家進(jìn)行繁瑣的工作。在本文中,我們研究了將單個(gè)圖像提升為3D對(duì)象的具有挑戰(zhàn)性的任務(wù),并首次展示了能夠生成與給定參考圖像相對(duì)應(yīng)的具有360°視圖的可信3D對(duì)象。通過(guò)條件化參考圖像,我們的模型可以滿(mǎn)足從圖像合成物體新視角的永恒好奇心。我們提出了NeuralLift-360,一種新穎框架,利用深度感知神經(jīng)輻射場(chǎng)生成可信3D對(duì)象,并通過(guò)CLIP引導(dǎo)擴(kuò)散先驗(yàn)學(xué)習(xí)概率驅(qū)動(dòng)3D提升,并通過(guò)比例不變深度排名損失減輕深度誤差。我們?cè)谡鎸?shí)和合成圖像上進(jìn)行了全面實(shí)驗(yàn),在這些實(shí)驗(yàn)中,NeuralLift-360優(yōu)于當(dāng)前最先進(jìn)方法。

主要貢獻(xiàn)

? 針對(duì)野外的單張圖片,我們展示了將其提升到3D的有前景的結(jié)果。我們使用NeRF作為有效的場(chǎng)景表示,并整合來(lái)自擴(kuò)散模型的先驗(yàn)知識(shí)。

? 我們提出了一種以CLIP為引導(dǎo)的采樣策略,有效地將擴(kuò)散模型的先驗(yàn)知識(shí)與參考圖像結(jié)合起來(lái)。

? 當(dāng)參考圖像難以精確描述時(shí),我們?cè)诒3制渖啥鄻觾?nèi)容以指導(dǎo)NeRF訓(xùn)練的能力的同時(shí),對(duì)單張圖像進(jìn)行擴(kuò)散模型的微調(diào)。

? 我們引入了一種使用排名信息的尺度不變深度監(jiān)督。這種設(shè)計(jì)減輕了對(duì)準(zhǔn)確多視角一致深度估計(jì)的需求,并擴(kuò)大了我們算法的應(yīng)用范圍。

主要方法

74b2a322-dbb6-11ed-bfe3-dac502259ad0.png

1.從單個(gè)2D圖像中生成3D點(diǎn)云:首先,使用一個(gè)預(yù)訓(xùn)練的2D圖像到3D點(diǎn)云模型來(lái)生成初始點(diǎn)云。然后,使用一個(gè)深度感知神經(jīng)輻射場(chǎng)來(lái)對(duì)點(diǎn)云進(jìn)行細(xì)化和修正。具體地,該神經(jīng)輻射場(chǎng)將每個(gè)點(diǎn)的深度值作為輸入,并輸出一個(gè)向量場(chǎng),該向量場(chǎng)將每個(gè)點(diǎn)移動(dòng)到其正確的位置。

2.從3D點(diǎn)云中生成可渲染的3D網(wǎng)格:使用一個(gè)基于深度學(xué)習(xí)的方法來(lái)將點(diǎn)云轉(zhuǎn)換為可渲染的3D網(wǎng)格。具體地,該方法使用一個(gè)編碼器網(wǎng)絡(luò)將3D點(diǎn)云編碼為特征向量,并使用一個(gè)解碼器網(wǎng)絡(luò)將特征向量解碼為可渲染的3D網(wǎng)格。

3.從可渲染的3D網(wǎng)格中生成360°視圖:使用一個(gè)基于深度學(xué)習(xí)的方法來(lái)生成與給定參考圖像相對(duì)應(yīng)的具有360°視圖的可信3D對(duì)象。具體地,該方法使用一個(gè)編碼器網(wǎng)絡(luò)將參考圖像編碼為特征向量,并使用一個(gè)解碼器網(wǎng)絡(luò)將特征向量解碼為360°視圖。

4.使用CLIP引導(dǎo)擴(kuò)散先驗(yàn)學(xué)習(xí)概率驅(qū)動(dòng)3D提升:使用一個(gè)基于擴(kuò)散的方法來(lái)生成3D對(duì)象,并使用CLIP模型來(lái)指導(dǎo)擴(kuò)散過(guò)程。具體地,該方法使用一個(gè)初始的3D對(duì)象,并通過(guò)多次迭代來(lái)擴(kuò)散該對(duì)象。在每次迭代中,使用CLIP模型來(lái)計(jì)算當(dāng)前3D對(duì)象與參考圖像之間的相似度,并將相似度作為概率分布來(lái)指導(dǎo)擴(kuò)散過(guò)程。

5.使用比例不變深度排名損失減輕深度誤差:使用一個(gè)比例不變深度排名損失來(lái)訓(xùn)練模型,以減輕深度誤差。具體地,該損失函數(shù)將每個(gè)像素的深度值與其在圖像中的排名相關(guān)聯(lián),并使用比例不變的方式來(lái)計(jì)算損失。這種方法可以減輕深度誤差,并提高模型的性能。

主要結(jié)果

74d99612-dbb6-11ed-bfe3-dac502259ad0.png

74e515aa-dbb6-11ed-bfe3-dac502259ad0.png

74f6fe46-dbb6-11ed-bfe3-dac502259ad0.png

審核編輯 :李倩

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 編碼器
    +關(guān)注

    關(guān)注

    45

    文章

    3787

    瀏覽量

    137685
  • 網(wǎng)格
    +關(guān)注

    關(guān)注

    0

    文章

    141

    瀏覽量

    16310
  • 深度學(xué)習(xí)
    +關(guān)注

    關(guān)注

    73

    文章

    5557

    瀏覽量

    122685

原文標(biāo)題:NeuralLift-360:將野外的2D照片提升為3D物體

文章出處:【微信號(hào):3D視覺(jué)工坊,微信公眾號(hào):3D視覺(jué)工坊】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    如何同時(shí)獲取2d圖像序列和相應(yīng)的3d點(diǎn)云?

    如何同時(shí)獲取2d圖像序列和相應(yīng)的3d點(diǎn)云?以上來(lái)自于谷歌翻譯以下為原文How to obtain the sequence of 2d image and corresponding 3d
    發(fā)表于 11-13 11:25

    請(qǐng)問(wèn)怎么才能將AD中的3D封裝庫(kù)轉(zhuǎn)換為2D的封裝庫(kù)?

    請(qǐng)問(wèn)怎么AD中的3D封裝庫(kù)轉(zhuǎn)換為2D的封裝庫(kù)
    發(fā)表于 06-05 00:35

    為什么3D2D模型不能相互轉(zhuǎn)換?

    AD17.1.5軟件,3D2D模型不能相互轉(zhuǎn)換,按3可以進(jìn)入3D模型,按2不可以進(jìn)入2D模型,
    發(fā)表于 09-20 05:35

    如何促使2D3D視覺(jué)檢測(cè)的性能成倍提升?

    本文介紹的三個(gè)應(yīng)用案例展示了業(yè)界上先進(jìn)的機(jī)器視覺(jué)軟件和及其圖像預(yù)處理技術(shù)如何促使2D3D視覺(jué)檢測(cè)的性能成倍提升。
    發(fā)表于 02-22 06:56

    視覺(jué)處理,2d照片轉(zhuǎn)3d模型

    首先,太陽(yáng)高度是恒定的。 照片每像素的亮度可求。我們只需要求出太陽(yáng)與眼睛到物體的夾角就能求出3d模型。 最多就是各種物質(zhì)的反射率。 英偉達(dá)的oir芯片就是做汽車(chē)視覺(jué)的,大家去取取經(jīng)。 有時(shí),2
    發(fā)表于 05-21 17:13

    2D3D視頻自動(dòng)轉(zhuǎn)換系統(tǒng)

    研究和實(shí)現(xiàn)了一個(gè)基于OMAP3530的2D3D視頻自動(dòng)轉(zhuǎn)換系統(tǒng),重點(diǎn)研究深度圖獲取和深度信息渲染等主要核心技術(shù)及其實(shí)現(xiàn)。該系統(tǒng)利用OMAP3530其特有的雙核結(jié)構(gòu),進(jìn)行系統(tǒng)優(yōu)化:由其ARM處理器
    發(fā)表于 03-06 14:20 ?1次下載
    <b class='flag-5'>2D</b>到<b class='flag-5'>3D</b>視頻自動(dòng)轉(zhuǎn)換系統(tǒng)

    適用于顯示屏的2D多點(diǎn)觸摸與3D手勢(shì)模塊

    本視頻展示結(jié)合多點(diǎn)觸摸與3D手勢(shì)模塊的Microchip顯示解決方案。支持2D/3D功能的顯示屏是Microchip基于GestIC?技術(shù)的最新解決方案。顯示屏上結(jié)合了
    的頭像 發(fā)表于 06-06 02:45 ?5427次閱讀

    如何把OpenGL中3D坐標(biāo)轉(zhuǎn)換成2D坐標(biāo)

    在OpenGL中,一切事物都在3D空間中,但我們的屏幕坐標(biāo)確實(shí)2D像素?cái)?shù)組,OpenGL大部分工作就是把3D坐標(biāo)轉(zhuǎn)換成適應(yīng)屏幕的2D像素。3D
    的頭像 發(fā)表于 07-09 10:40 ?8834次閱讀

    3D 機(jī)器視覺(jué)為什么逐步取代 2D 識(shí)別技術(shù)?

    不難判斷,在此趨勢(shì)下,3D 機(jī)器視覺(jué)面臨較快的增長(zhǎng)趨勢(shì),3D 視覺(jué)未來(lái)逐步取代 2D 識(shí)別技術(shù),在許多“痛點(diǎn)型應(yīng)用場(chǎng)景”中大顯身手,發(fā)展
    的頭像 發(fā)表于 08-21 10:33 ?5377次閱讀

    阿里研發(fā)全新3D AI算法,2D圖片搜出3D模型

    AI技術(shù)的研究正在從2D走向更高難度的3D。12月3日,記者獲悉,阿里技術(shù)團(tuán)隊(duì)研發(fā)了全新3D AI算法,可基于2D圖片精準(zhǔn)搜索出相應(yīng)的
    的頭像 發(fā)表于 12-04 15:49 ?3889次閱讀

    3d人臉識(shí)別和2d人臉識(shí)別的區(qū)別

    首先是3d人臉識(shí)別和2d人臉識(shí)別圖像數(shù)據(jù)獲取不同。3D人臉識(shí)別是以3D攝像頭立體成像,而2D是以2D
    發(fā)表于 02-05 16:00 ?5.1w次閱讀

    探討一下2D3D拓?fù)浣^緣體

    這樣的物理規(guī)范,具有很高的普適性,applicable 到所有維度空間。對(duì)二維 2D 拓?fù)浣^緣體 (2D - TI) 和三維 3D 拓?fù)浣^緣體 (3D - TI),其體 - 邊對(duì)應(yīng)性由
    的頭像 發(fā)表于 11-23 10:23 ?3331次閱讀

    2D/3D圖表和圖形添加到WindowsForms應(yīng)用程序中

    ? 2D/3D圖表和圖形添加到WindowsForms應(yīng)用程序中 包括您可能需要的所有功能,并以100%托管代碼編寫(xiě)。很好地集成到儀表板和商業(yè)智能軟件中。由響應(yīng)迅速的支持團(tuán)隊(duì)提供支持。 14種主要
    的頭像 發(fā)表于 06-15 11:45 ?4684次閱讀

    2D3D視覺(jué)技術(shù)的比較

    作為一個(gè)多年經(jīng)驗(yàn)的機(jī)器視覺(jué)工程師,我詳細(xì)介紹2D3D視覺(jué)技術(shù)的不同特點(diǎn)、應(yīng)用場(chǎng)景以及它們能夠解決的問(wèn)題。在這個(gè)領(lǐng)域內(nèi),2D3D視覺(jué)技術(shù)
    的頭像 發(fā)表于 12-21 09:19 ?1780次閱讀

    一文了解3D視覺(jué)和2D視覺(jué)的區(qū)別

    一文了解3D視覺(jué)和2D視覺(jué)的區(qū)別 3D視覺(jué)和2D視覺(jué)是兩種不同的視覺(jué)模式,其區(qū)別主要體現(xiàn)在立體感、深度感和逼真度上。本文詳細(xì)闡述這些區(qū)別,
    的頭像 發(fā)表于 12-25 11:15 ?4342次閱讀

    電子發(fā)燒友

    中國(guó)電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會(huì)員交流學(xué)習(xí)
    • 獲取您個(gè)性化的科技前沿技術(shù)信息
    • 參加活動(dòng)獲取豐厚的禮品