0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

EmerNeRF:全面基于NeRF的自動駕駛仿真框架,無需分割

3D視覺工坊 ? 來源:計算機(jī)視覺工坊 ? 2023-11-21 10:23 ? 次閱讀

0. 筆者個人體會

自動駕駛中,感知、表示和重建動態(tài)場景對于代理程序理解并與其環(huán)境進(jìn)行交互至關(guān)重要。傳統(tǒng)的仿真框架大多強(qiáng)依賴于識別跟蹤等感知模塊的有監(jiān)督學(xué)習(xí),這樣在數(shù)據(jù)集層面上限制了模型表示各種復(fù)雜場景的能力。這幾年中NeRF(神經(jīng)輻射場)的爆炸式發(fā)展也逐漸融入了自動駕駛行業(yè),然而當(dāng)前端到端的以NeRF為基礎(chǔ)自動駕駛方針框架并不多。

本文將介紹最近英偉達(dá)開源的框架EmerNeRF。不同于之前依然需要實例分割標(biāo)簽的框架,EmerNeRF進(jìn)一步擺脫了圖像以外訓(xùn)練標(biāo)簽的需求。這里也推薦工坊推出的新課程《深度剖析面向自動駕駛領(lǐng)域的車載傳感器空間同步(標(biāo)定)》。

1. 效果展示

EmerNeRF 可以模擬車靜止、高速時的場景,在相機(jī)曝光不匹配、復(fù)雜的天氣干擾、以及復(fù)雜光照差異下都可以工作。206ec9e0-880d-11ee-939d-92fbcf53809c.png

EmerNeRF剛剛開源,并提供了復(fù)雜場景數(shù)據(jù)集NOTR,有多種玩法。

2. 摘要

本文提出的EmerNeRF基于NeRF,可以自監(jiān)督地同時捕獲野外場景的幾何形狀、外觀、運(yùn)動和語義。EmerNeRF將場景分層為靜態(tài)場和動態(tài)場,在instant-NGP對三維空間進(jìn)行Hash的基礎(chǔ)上,多尺度增強(qiáng)動態(tài)對象的渲染精度。通過結(jié)合靜態(tài)場、動態(tài)場和光流(場景流)場,EmerNeRF能夠在不依賴于有監(jiān)督動態(tài)對象分割或光流估計的前提下表示高度動態(tài)的場景,并實現(xiàn)了最先進(jìn)的性能。

3. 算法解析

EmerNeRF為得到四維的時空表示,將整體場景分解為一個表征背景的靜態(tài)場,一個構(gòu)成動態(tài)前景的動態(tài)場,一個表征運(yùn)動的光流場和一個天空預(yù)測的模塊構(gòu)成。具體地,所有分解后的輻射場都以instant-NGP為backbone,也即使用可微的hash grids參數(shù)化每個神經(jīng)輻射場。靜態(tài)場的輸入僅有位置,動態(tài)場與光流場的輸入則為位置與相應(yīng)的時間。

20be1900-880d-11ee-939d-92fbcf53809c.png

后半部分的多頭解碼器則全部由MLP完成,這里為了達(dá)到合成的目的,比instant-NGP多出了一個預(yù)測shadow ratio的頭。這個0到1之間的shadow ratio 用來控制動態(tài)前景體素與靜態(tài)背景體素間的合成比例。另外,基于靜態(tài)場的體素占比總體場景體素較大的假設(shè),EmerNeRF在NeRF的基礎(chǔ)損失上額外加了一項動態(tài)體素密度的約束。這種設(shè)計不再需要預(yù)先做額外的實例分割,充分利用了NeRF本身的特性。

場景流估計

為了進(jìn)一步解除密集的光流標(biāo)簽監(jiān)督,EmerNeRF使用了假設(shè),多幀特征聚合只對temporally-consistent的特征有效。因此,額外的場景流分支不僅要學(xué)習(xí)動態(tài)物體間的關(guān)系,還要能夠有效聚合幀間關(guān)系,以便讓RGB信息能夠監(jiān)督光流。具體地,還是采取hash grid + MLP的組合,這里的MLP輸出為6維,包含前向3維和反向3維的轉(zhuǎn)移預(yù)測。而特征聚合則是采用了當(dāng)前時間戳與前后共三步的特征加權(quán)平均值。

解決一下使用ViT中位置編碼的問題

單純使用NeRF輸出顏色場和體素密度場,還達(dá)不到仿真的要求。為了能給有關(guān)語義場景理解任務(wù)鋪好路,EmerNeRF將2D視覺基礎(chǔ)模型(Vision Foundation Model)應(yīng)用到4D的時空數(shù)據(jù)。然而在使用目前最先進(jìn)的模型例如DINOv2時,Positional Embedding(PE)的feature pattern 不太正常:

20e513ca-880d-11ee-939d-92fbcf53809c.png

無論 3D 視點如何變化,feature pattern卻在圖像中保持固定,從而破壞了3D 多視圖一致性。

EmerNeRF基于 ViT 提取特征的觀察 逐圖像進(jìn)行映射,并且這些 PE pattern在不同圖像中顯示(幾乎)一致。這表明單個PE pattern可能足以表示此共享的現(xiàn)象。因此,這里假設(shè)PE pattern為一個加性噪聲模型,這樣從原始特征中減去就能獲得無PE特征。有了這個假設(shè),我們構(gòu)造可學(xué)習(xí)且全局共享的 2D 特征圖 U 來作為補(bǔ)償。

218d358c-880d-11ee-939d-92fbcf53809c.png

對于目標(biāo)像素坐標(biāo)(u, v),首先對無 PE 特征進(jìn)行體積渲染,然后對U進(jìn)行雙線性插值并使用單層MLP解碼得到PE pattern特征,然后將其添加到無PE特征中。

4. 實驗

在Waymo公開數(shù)據(jù)集的基礎(chǔ)上,本文提出新數(shù)據(jù)集NeRF On-The-Road (NOTR)。

NOTR包含120個獨特的駕駛序列,分為32個靜態(tài)場景、32個動態(tài)場景和56個包含七種挑戰(zhàn)條件的場景:靜態(tài)、高速、曝光不匹配、黃昏/黎明、陰天、多雨和夜間。

駕駛感知任務(wù):動態(tài)物體的邊界框,地面真實的3D場景流動以及3D語義占用。我們希望這個數(shù)據(jù)集能夠促進(jìn)NeRF在駕駛場景中的研究,將NeRF的應(yīng)用從僅僅的視圖合成擴(kuò)展到運(yùn)動理解,例如3D流動,以及場景理解,比如語義。

場景分類NOTR 靜態(tài)場景遵循StreetSuRF中提出的劃分,其中包含沒有移動物體的干凈場景。動態(tài)場景,這些場景在駕駛記錄中經(jīng)常出現(xiàn),是根據(jù)光照條件選擇的,以區(qū)分它們與“多樣化”類別中的場景。Diverse-56樣本也可能包含動態(tài)物體,但它們主要基于自車狀態(tài)(例如,自車靜止、高速、相機(jī)曝光不匹配)、天氣條件(例如,雨天、昏暗)、以及光照差異(例如,夜晚、黃昏/黎明)進(jìn)行劃分。

渲染實驗包含了靜態(tài),動態(tài)的新視角合成評估

在場景分解上,EmerNeRF主要與D^2 NeRF 與HyperNeRF相比較,在靜態(tài)和動態(tài)的圖像合成任務(wù)上均領(lǐng)先。

21b111fa-880d-11ee-939d-92fbcf53809c.png

隱式場景流任務(wù)

在場景流估計任務(wù)上, EmerNeRF主要與目前僅有的工作NSFP(Neural scene flow prior)相比較,并采用相同的評估指標(biāo):

3D端點誤差(EPE3D),計算為所有點預(yù)測值與實際地面真實值之間的平均L2距離;

Acc5,代表EPE3D小于5厘米或相對誤差在5%以下的點的比例;

Acc10,表示EPE3D小于10厘米或相對誤差在10%以下的點的比例;

θ,表示預(yù)測值與地面真實值之間的平均角度誤差。比較結(jié)果如下:

21c62db0-880d-11ee-939d-92fbcf53809c.png

下游感知任務(wù)

為了調(diào)查ViT位置編碼模式對三維感知和特征合成的影響,這里的ablation study主要比較是否帶有本文提出的位置編碼分解模塊對于下游任務(wù)的影響。這里采用了few-shot的occupancy估計,這里使用的Occ3D數(shù)據(jù)集為不同尺寸occupancy 提供了語義標(biāo)注。對于每個序列,妹隔10幀允許帶著標(biāo)簽,這樣產(chǎn)生10%的有標(biāo)簽數(shù)據(jù)。占用的坐標(biāo)是輸入到預(yù)訓(xùn)練的EmerNeRF模型以計算每個類的特征centroid。然后剩余 90% 的幀用于query,并根據(jù)其最近的特征質(zhì)心進(jìn)行分類。

21debff6-880d-11ee-939d-92fbcf53809c.png

PE改進(jìn)的ablation study

通過比較包含 PE 和無 PE 模型的特征 PSNR,能夠發(fā)現(xiàn)使用EmerNeRF中提出的PE分解方法時特征合成質(zhì)量顯著提高,尤其對于 DINOv2。而DINOv1受 PE 模式的影響較小。這里也推薦工坊推出的新課程《深度剖析面向自動駕駛領(lǐng)域的車載傳感器空間同步(標(biāo)定)》。

222c1580-880d-11ee-939d-92fbcf53809c.png

5. 總結(jié)

今天筆者為大家介紹了一種基于NeRF的簡單而強(qiáng)大的自動駕駛仿真框架 EmerNeRF。EmerNeRF 解決了基于 Transformer 的框架中特征時出現(xiàn)的問題性位置嵌入模式。由于使用NeRF的思路,EmerNeRF在靜態(tài)場景重建、新視角合成還是場景流估計方面都是以自監(jiān)督的方式學(xué)習(xí)的,而無需依賴于地面真實對象標(biāo)注或預(yù)先訓(xùn)練的模型。同時,EmerNeRF 在傳感器模擬方面表現(xiàn)出色,可以處理文中提出的NOTR數(shù)據(jù)集中具有挑戰(zhàn)性的駕駛場景。







審核編輯:劉清

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • RGB
    RGB
    +關(guān)注

    關(guān)注

    4

    文章

    803

    瀏覽量

    59592
  • 自動駕駛
    +關(guān)注

    關(guān)注

    788

    文章

    14200

    瀏覽量

    169536
  • Hash算法
    +關(guān)注

    關(guān)注

    0

    文章

    43

    瀏覽量

    7505
  • 車載傳感器
    +關(guān)注

    關(guān)注

    0

    文章

    47

    瀏覽量

    4568
  • MLP
    MLP
    +關(guān)注

    關(guān)注

    0

    文章

    57

    瀏覽量

    4488

原文標(biāo)題:英偉達(dá)最新開源|EmerNeRF:全面基于NeRF的自動駕駛仿真框架,無需分割

文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦
    熱點推薦

    FPGA在自動駕駛領(lǐng)域有哪些應(yīng)用?

    。未來,F(xiàn)PGA將會更多地應(yīng)用于自動泊車、自動剎車、防碰撞、自動駕駛拐彎等領(lǐng)域,為自動駕駛的實現(xiàn)提供更加全面和強(qiáng)大的支持。同時,隨著技術(shù)的不
    發(fā)表于 07-29 17:09

    FPGA在自動駕駛領(lǐng)域有哪些優(yōu)勢?

    。 長期可維護(hù)性: 隨著自動駕駛技術(shù)的不斷發(fā)展和更新,系統(tǒng)需要經(jīng)常進(jìn)行維護(hù)和升級。FPGA的可編程性和可配置性使得系統(tǒng)維護(hù)和升級變得更加容易和靈活。用戶可以通過重新編程FPGA來更新算法或優(yōu)化性能,而無需
    發(fā)表于 07-29 17:11

    【話題】特斯拉首起自動駕駛致命車禍,自動駕駛的冬天來了?

    `特斯拉首起自動駕駛致命車禍,自動駕駛的冬天來了?“一個致命的事故一定是由多個小的錯誤組成的。”  7月初,特斯拉發(fā)表博客敘述了NHTSA(美國國家公路交通安全管理局)正在著手調(diào)查第一起Tesla
    發(fā)表于 07-05 11:14

    自動駕駛真的會來嗎?

    ,包括進(jìn)行3D雷達(dá)開發(fā),進(jìn)行360度探測,獲得更完整、全面的數(shù)據(jù)。但大家也知道新型硬件方面成本居高不下,需要時間等到硬件成本不斷降低,才能廣泛應(yīng)用?!睆堣唇榻B說:  她稱在特斯拉事故之后,圍繞自動駕駛
    發(fā)表于 07-21 09:00

    自動駕駛的到來

      傳統(tǒng)汽車廠商更趨向于通過技術(shù)的不斷積累,場景的不斷豐富,逐步從輔助駕駛過渡到半自動駕駛,進(jìn)而在將來最終實現(xiàn)無人駕駛;某些高科技公司則希望通過各種外部傳感器實時采集海量數(shù)據(jù),處理器經(jīng)過數(shù)據(jù)分析然后
    發(fā)表于 06-08 15:25

    AI/自動駕駛領(lǐng)域的巔峰會議—國際AI自動駕駛高峰論壇

    由南德意志出版及活動有限公司舉辦的 國際AI自動駕駛高峰論壇 將于 2017年11月28/29日 在 德國慕尼黑 舉辦,中德聯(lián)合股份公司作為中國獨家合作伙伴,誠邀您撥冗蒞臨!【活動背景】AI
    發(fā)表于 09-13 13:59

    如何讓自動駕駛更加安全?

    的博園路和北安德路之間,有一段長約5.6公里的公共道路,這是一條全面支持車對車信息交換的智能道路。獲得測試牌照的自動駕駛汽車,正是在這條開放的路上進(jìn)行路測。專家認(rèn)為,自動駕駛技術(shù)是多選擇、交叉性、綜合性
    發(fā)表于 05-13 00:26

    自動駕駛汽車的處理能力怎么樣?

    作在未來20 - 30年中,自動駕駛汽車(AV)將改變我們的駕駛習(xí)慣、運(yùn)輸行業(yè)并更廣泛地影響社會。 我們不僅能夠?qū)⑵囌賳镜轿覀兊募议T口并在使用后將其送走,自動駕駛汽車還將挑戰(zhàn)個人擁有汽車的想法,并
    發(fā)表于 08-07 07:13

    自動駕駛系統(tǒng)要完成哪些計算機(jī)視覺任務(wù)?

    Geiger 的研究主要集中在用于自動駕駛系統(tǒng)的三維視覺理解、分割、重建、材質(zhì)與動作估計等方面。他主導(dǎo)了自動駕駛領(lǐng)域著名數(shù)據(jù)集 KITTI 及多項自動駕駛計算機(jī)視覺任務(wù)的基準(zhǔn)體系建設(shè),
    發(fā)表于 07-30 06:49

    自動駕駛系統(tǒng)設(shè)計及應(yīng)用的相關(guān)資料分享

    作者:余貴珍、周彬、王陽、周亦威、白宇目錄第一章 自動駕駛系統(tǒng)概述1.1 自動駕駛系統(tǒng)架構(gòu)1.1.1 自動駕駛系統(tǒng)的三個層級1.1.2 自動駕駛系統(tǒng)的基本技術(shù)架構(gòu)1.2
    發(fā)表于 08-30 08:36

    自動駕駛技術(shù)的實現(xiàn)

    k隨著汽車電子的日益復(fù)雜化以及汽車電子電氣架構(gòu)(EEA)的升級,人們對于聯(lián)網(wǎng)智能汽車的需求也在逐步上升,大量先進(jìn)技術(shù)往汽車上應(yīng)用,如高級駕駛輔助系統(tǒng)(ADAS)、自動駕駛等,這些新技術(shù)也對車載網(wǎng)絡(luò)
    發(fā)表于 09-03 08:31

    美國自動駕駛政策框架發(fā)布,自動駕駛立法國際呼聲高漲

    發(fā)聲,發(fā)布自動駕駛政策框架, 旨在從政策法規(guī)層面破除自動駕駛行業(yè)發(fā)展障礙 , 以實現(xiàn)美國自動駕駛技術(shù)全面部署。 我國在
    的頭像 發(fā)表于 03-17 17:02 ?2811次閱讀

    自動駕駛仿真工具

    仿真平臺側(cè)重于提供虛擬場景的搭建,以測試自動駕駛軟件的性能,第一類是專門的自動駕駛模擬仿真軟件,如Prescan、 VTD、51sim-one、Panosim、GaiA等等。第二類是
    發(fā)表于 06-01 14:31 ?2次下載
    <b class='flag-5'>自動駕駛</b><b class='flag-5'>仿真</b>工具

    Autoware自動駕駛框架介紹

    之前巴拉過百度Apollo自動駕駛的學(xué)習(xí)資料, 最近看ROS的時候,發(fā)現(xiàn)也有一個針對自動駕駛框架Autoware,今天就來分享下Autoware.
    發(fā)表于 06-02 14:40 ?1次下載
    Autoware<b class='flag-5'>自動駕駛</b><b class='flag-5'>框架</b>介紹

    自動駕駛場景圖像分割(Unet)

    本文使用matlab環(huán)境,測試了自動駕駛場景的圖像分割任務(wù)。分割網(wǎng)絡(luò)使用Unet。 一千張標(biāo)注圖像,最終訓(xùn)練精度達(dá)到 90%。 ? ?數(shù)據(jù)準(zhǔn)備 場景預(yù)標(biāo)注數(shù)據(jù)下載地址: Semantic
    發(fā)表于 06-07 11:58 ?0次下載
    <b class='flag-5'>自動駕駛</b>場景圖像<b class='flag-5'>分割</b>(Unet)

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學(xué)習(xí)
    • 獲取您個性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品