0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

聊聊自動(dòng)駕駛感知系統(tǒng)

jf_78858299 ? 來(lái)源:智駕最前沿 ? 作者:智駕最前沿 ? 2023-05-17 10:58 ? 次閱讀

感知是什么?

自動(dòng)駕駛賽道中,感知的目的是為了模仿人眼采集相關(guān)信息,為后續(xù)做決策提供必要的信息。根據(jù)所做決策的任務(wù)不同,感知可以包括很多子任務(wù):如車道線檢測(cè)、3D目標(biāo)檢測(cè)、障礙物檢測(cè)、紅綠燈檢測(cè)等等;再根據(jù)感知預(yù)測(cè)出的結(jié)果,完成決策;最后根據(jù)決策結(jié)果執(zhí)行相應(yīng)的操作(如變道、超車等);

如何進(jìn)行感知?

由于感知是為了模仿人眼獲取周圍的環(huán)境信息,那就必然需要用到傳感器來(lái)完成信息的采集工作;目前在自動(dòng)駕駛領(lǐng)域中用到的傳感器包括:攝像頭(camera)、激光雷達(dá)(lidar)、毫米波雷達(dá)(radar)等;

圖片

可以看到傳感器的種類眾多且成本參差不齊,所以如何使用這些傳感器進(jìn)行感知任務(wù),各個(gè)自動(dòng)駕駛廠商都有各自的解決方案;

純視覺(jué)的感知方案

目前Tesla是純視覺(jué)感知方案的典型代表;

純視覺(jué)感知方案的優(yōu)缺點(diǎn)也很明顯:優(yōu)點(diǎn):價(jià)格成本很低;缺點(diǎn):攝像頭采集到的圖片是2D的,缺少深度信息,深度信息需要靠算法學(xué)習(xí)得到,缺少魯棒性;

多傳感器融合的感知方案

目前大多數(shù)廠商采用的都是多傳感器融合的解決方案;其優(yōu)缺點(diǎn)是:優(yōu)點(diǎn):能夠充分利用不同工作原理的傳感器,提升對(duì)不同場(chǎng)景下的整體感知精度,也可以在某種傳感器出現(xiàn)失效時(shí),其他傳感器可以作為冗余備份,提高系統(tǒng)的魯棒性;缺點(diǎn):由于采用多種傳感器價(jià)格相比純視覺(jué)高很多;

多傳感器融合的感知方案

傳感器后融合

所謂后融合,是指各傳感器針對(duì)目標(biāo)物體單獨(dú)進(jìn)行深度學(xué)習(xí)模型推理,從而各自輸出帶有傳感器自身屬性的結(jié)果;每種傳感器的識(shí)別結(jié)果輸入到融合模塊,融合模塊對(duì)各傳感器在不同場(chǎng)景下的識(shí)別結(jié)果,設(shè)置不同的置信度,最終根據(jù)融合策略進(jìn)行決策。

整體流程圖如下:

圖片圖源:https://mp.weixin.qq.com/s/bmy9EsQaLNPQQKt9mPTroA

優(yōu)點(diǎn):不同的傳感器都獨(dú)立進(jìn)行目標(biāo)識(shí)別,解耦性好,且各傳感器可以互為冗余備份;同時(shí)后融合方案便于做標(biāo)準(zhǔn)的模塊化開(kāi)發(fā),把接口封裝好,提供給主機(jī)廠“即插即用”;對(duì)于主機(jī)廠來(lái)說(shuō),每種傳感器的識(shí)別結(jié)果輸入到融合模塊,融合模塊對(duì)各傳感器在不同場(chǎng)景下的識(shí)別結(jié)果,設(shè)置不同的置信度,最終根據(jù)融合策略進(jìn)行決策。

缺點(diǎn):存在“時(shí)間上的感知不連續(xù)”及“空間上的感知碎片化”

空間上的感知碎片化

由于車身四周的lidar、camera角度的安裝問(wèn)題,多個(gè)傳感器實(shí)體無(wú)法實(shí)現(xiàn)空間域內(nèi)的連續(xù)覆蓋和統(tǒng)一識(shí)別,導(dǎo)致攝像頭只捕捉到了目標(biāo)的一小部分,無(wú)法根據(jù)殘缺的信息作出正確的檢測(cè)結(jié)果,從而使得后續(xù)的融合效果無(wú)法保證。

時(shí)間上的感知不連續(xù)

攝像頭采集到的結(jié)果是以幀為單位的,常用的感知方法是把連續(xù)單幀的檢測(cè)結(jié)果串聯(lián)起來(lái),類似后融合的策略,無(wú)法充分利用時(shí)序上的有用信息。

傳感器前融合

所謂前融合,是將各個(gè)傳感器采集到的數(shù)據(jù)匯總到一起,經(jīng)過(guò)數(shù)據(jù)同步后,對(duì)這些原始數(shù)據(jù)進(jìn)行融合。

整體流程圖如下:

圖片圖源:https://mp.weixin.qq.com/s/bmy9EsQaLNPQQKt9mPTroA

優(yōu)點(diǎn):讓數(shù)據(jù)更早的做融合,使數(shù)據(jù)更有關(guān)聯(lián)性;比如把激光雷達(dá)的點(diǎn)云數(shù)據(jù)和攝像頭的像素級(jí)數(shù)據(jù)進(jìn)行融合,數(shù)據(jù)的損失也會(huì)比較少。

缺點(diǎn):由于不同傳感器獲取的數(shù)據(jù)(攝像圖獲取的像素?cái)?shù)據(jù)以及激光雷達(dá)獲取的點(diǎn)云數(shù)據(jù)),其坐標(biāo)系是不同的;視覺(jué)數(shù)據(jù)是2D空間,而激光雷達(dá)的點(diǎn)云數(shù)據(jù)是3D空間。所以在異構(gòu)數(shù)據(jù)的融合時(shí),有兩種途徑:途徑一:在圖像空間利用點(diǎn)云數(shù)據(jù)提供深度信息;途徑二:在點(diǎn)云空間利用視覺(jué)數(shù)據(jù)提供語(yǔ)義特征,進(jìn)行點(diǎn)云染色或特征渲染;

所以為了保證將不同坐標(biāo)系下的數(shù)據(jù)(像素?cái)?shù)據(jù)、點(diǎn)云數(shù)據(jù))轉(zhuǎn)換到同一坐標(biāo)系下進(jìn)行數(shù)據(jù)融合方便后續(xù)的感知任務(wù),BEV(Bird Eye View)視角下的感知逐漸受到廣泛的關(guān)注。

傳感器中融合

所謂中融合,就是先將各個(gè)傳感器采集到的數(shù)據(jù)通過(guò)神經(jīng)網(wǎng)絡(luò)提取數(shù)據(jù)的特征,再對(duì)神經(jīng)網(wǎng)絡(luò)提取到的多種傳感器特征進(jìn)行特征級(jí)的融合,從而更有可能得到最佳感知結(jié)果。對(duì)異構(gòu)數(shù)據(jù)提取到的特征在BEV空間進(jìn)行特征級(jí)的融合,一來(lái)數(shù)據(jù)損失少,二來(lái)算力消耗也較少(相對(duì)于前融合),所以針對(duì)BEV視角下的感知任務(wù),采用中融合的策略比較多。

BEV視角下的感知任務(wù)范式

  • 將攝像頭數(shù)據(jù)(2D圖片)輸入到特征提取網(wǎng)絡(luò)中完成多個(gè)攝像頭數(shù)據(jù)的特征提取;
  • 將所有攝像頭數(shù)據(jù)提取到的特征通過(guò)網(wǎng)絡(luò)學(xué)習(xí)的方式映射到BEV空間下;
  • 在BEV空間下,進(jìn)行異構(gòu)數(shù)據(jù)的融合,將圖像數(shù)據(jù)在BEV空間下映射的特征與激光雷達(dá)點(diǎn)云特征進(jìn)行融合;(可選,如BEVFormer僅用6個(gè)攝像頭構(gòu)建BEV空間特征)
  • 進(jìn)行時(shí)序融合,融合前幾個(gè)時(shí)刻的特征,增強(qiáng)感知能力;(個(gè)人認(rèn)為:引入時(shí)序特征后可以在一定程度上解決遮擋問(wèn)題)
  • 根據(jù)獲得到BEV特征,用于下游任務(wù);(車道線檢測(cè)、障礙物檢測(cè)、3D目標(biāo)檢測(cè)等子任務(wù),相當(dāng)于整個(gè)模型是一個(gè)多任務(wù)學(xué)習(xí)模型)

BEV視角下的感知具有的優(yōu)勢(shì)

  • 跨攝像頭融合和異構(gòu)數(shù)據(jù)融合更容易實(shí)現(xiàn)

跨攝像頭融合或者異構(gòu)數(shù)據(jù)進(jìn)行融合時(shí),由于不同數(shù)據(jù)其表示的坐標(biāo)系不同,需要用很多后處理規(guī)則去關(guān)聯(lián)不同傳感器的感知結(jié)果,流程非常復(fù)雜。在BEV空間內(nèi)做融合后,通過(guò)網(wǎng)絡(luò)自主學(xué)習(xí)映射規(guī)則,產(chǎn)生BEV特征用于感知下游任務(wù),算法實(shí)現(xiàn)更加簡(jiǎn)單,并且BEV空間內(nèi)視覺(jué)感知到的物體大小和朝向也都能直接得到表達(dá)。

  • 時(shí)序融合更容易實(shí)現(xiàn)

在構(gòu)建BEV空間時(shí),可以很容易地融合時(shí)序信息,使得獲取的BEV特征可以更好地實(shí)現(xiàn)下游的一些感知任務(wù),如測(cè)速任務(wù)。

  • 一定程度上緩解感知任務(wù)中的遮擋問(wèn)題

傳統(tǒng)的2D感知任務(wù)只能感知看得見(jiàn)的目標(biāo),對(duì)于遮擋完全無(wú)能為力,而在BEV空間內(nèi),可以基于先驗(yàn)知識(shí)或者利用時(shí)序融合,對(duì)被遮擋的區(qū)域進(jìn)行預(yù)測(cè),從而“腦補(bǔ)”出被遮擋區(qū)域可能存在物體。雖然“腦補(bǔ)”出的物體,有一定“想象”的成分,但這對(duì)于下游的規(guī)控模塊仍有很多好處。

  • 方便多任務(wù)學(xué)習(xí)

使用傳統(tǒng)方法做感知任務(wù)時(shí),需要依次做目標(biāo)識(shí)別、追蹤和運(yùn)動(dòng)預(yù)測(cè),更像是個(gè)“串行系統(tǒng)”,上游的誤差會(huì)傳遞到下游從而造成誤差累積;而在BEV空間內(nèi),感知和運(yùn)動(dòng)預(yù)測(cè)在統(tǒng)一空間內(nèi)完成,因而可以通過(guò)神經(jīng)網(wǎng)絡(luò)直接做端到端優(yōu)化,“并行”出結(jié)果,這樣既可以避免誤差累積,也大大減少了人工邏輯的作用,讓感知網(wǎng)絡(luò)可以通過(guò)數(shù)據(jù)驅(qū)動(dòng)的方式來(lái)自學(xué)習(xí),從而更好地實(shí)現(xiàn)功能迭代。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
收藏 0人收藏

    評(píng)論

    相關(guān)推薦

    未來(lái)已來(lái),多傳感器融合感知自動(dòng)駕駛破局的關(guān)鍵

    駕駛的關(guān)鍵的是具備人類的感知能力,多傳感器融合感知正是自動(dòng)駕駛破局的關(guān)鍵。昱感微的雷視一體多傳感器融合方案就好像一雙比人眼更敏銳的眼睛,可以為自動(dòng)駕
    發(fā)表于 04-11 10:26

    FPGA在自動(dòng)駕駛領(lǐng)域有哪些應(yīng)用?

    是FPGA在自動(dòng)駕駛領(lǐng)域的主要應(yīng)用: 一、感知算法加速 圖像處理:自動(dòng)駕駛中需要通過(guò)攝像頭獲取并識(shí)別道路信息和行駛環(huán)境,這涉及到大量的圖像處理任務(wù)。FPGA在處理圖像上的運(yùn)算速度快,可并行性強(qiáng),且功耗
    發(fā)表于 07-29 17:09

    谷歌的自動(dòng)駕駛汽車是醬紫實(shí)現(xiàn)的嗎?

    控制技術(shù),不是可以實(shí)現(xiàn)自動(dòng)駕駛么?呵呵,是不是想得太簡(jiǎn)單了,不知道谷歌這種自動(dòng)駕駛汽車這背后是不是基于類似的技術(shù)?感興趣的可以出來(lái)聊聊
    發(fā)表于 06-14 16:15

    自動(dòng)駕駛的到來(lái)

    ?! 】傊?,與其他領(lǐng)域類似,攻擊與防守將會(huì)是一個(gè)長(zhǎng)久的話題,目前的做法是盡量提高攻擊成本,不斷提升自身防御能力。這就要求自動(dòng)駕駛系統(tǒng)必須要具備軟件實(shí)時(shí)升級(jí)的能力。
    發(fā)表于 06-08 15:25

    即插即用的自動(dòng)駕駛LiDAR感知算法盒子 RS-Box

    ,即可快速、無(wú)縫地將激光雷達(dá)感知模塊嵌入到自己的無(wú)人駕駛方案中,真正實(shí)現(xiàn)“一鍵獲得自動(dòng)駕駛激光雷達(dá)環(huán)境感知能力”。RS-BoxLiDAR感知
    發(fā)表于 12-15 14:20

    高級(jí)安全駕駛員輔助系統(tǒng)助力自動(dòng)駕駛

    而言,我們關(guān)注的是自動(dòng)駕駛汽車的技術(shù)可行性。如今,我們對(duì)防抱死制動(dòng)系統(tǒng) (ABS) 及安全氣囊等被動(dòng)安全系統(tǒng),或者電動(dòng)助力轉(zhuǎn)向系統(tǒng)與電子發(fā)動(dòng)機(jī)管理都已習(xí)以為常了。這些
    發(fā)表于 09-14 11:03

    UWB主動(dòng)定位系統(tǒng)自動(dòng)駕駛中的應(yīng)用實(shí)踐

    ,可稱為輔助駕駛。比如自適應(yīng)巡航、自動(dòng)緊急剎車等,系統(tǒng)開(kāi)始對(duì)車輛有主動(dòng)的操控行為;L2系統(tǒng)自動(dòng)駕駛車輛,但
    發(fā)表于 12-14 17:30

    如何讓自動(dòng)駕駛更加安全?

    是讓交通出行更安全,比如自動(dòng)駕駛的智能感知車距功能可以提高道路使用效率,降低人為操作失誤,有利于道路通暢。從看到緊急情況到剎車發(fā)揮作用,自動(dòng)駕駛比人的反應(yīng)更快。同時(shí),也不會(huì)出現(xiàn)疲勞駕駛
    發(fā)表于 05-13 00:26

    智能感知方案怎么幫助實(shí)現(xiàn)安全的自動(dòng)駕駛?

    未來(lái),自動(dòng)駕駛將不再是科幻電影里的橋段,這是未來(lái)汽車的一個(gè)趨勢(shì),感知自動(dòng)駕駛的重要組成部分,同時(shí)安全性至關(guān)重要。作為全球第7大汽車半導(dǎo)體供應(yīng)商,安森美半導(dǎo)體提供全面的智能感知方案,包
    發(fā)表于 07-31 07:11

    自動(dòng)駕駛汽車中傳感器的分析

    特斯拉在五月份發(fā)生的自動(dòng)駕駛事故,和最近在Defcon上演示的如何干擾傳感器,都充分說(shuō)明了傳感器在自動(dòng)駕駛中的重要性:環(huán)境感知自動(dòng)駕駛實(shí)現(xiàn)的基礎(chǔ),如果不能正確地
    發(fā)表于 05-14 07:34

    轉(zhuǎn)發(fā):聊聊邊緣計(jì)算在自動(dòng)駕駛中的應(yīng)用場(chǎng)景

    控制三部分。類似于人類駕駛員在駕駛過(guò)程中,通過(guò)視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等感官系統(tǒng)感知行駛環(huán)境和車輛狀態(tài),自動(dòng)駕駛
    發(fā)表于 07-21 14:12

    自動(dòng)駕駛系統(tǒng)設(shè)計(jì)及應(yīng)用的相關(guān)資料分享

    作者:余貴珍、周彬、王陽(yáng)、周亦威、白宇目錄第一章 自動(dòng)駕駛系統(tǒng)概述1.1 自動(dòng)駕駛系統(tǒng)架構(gòu)1.1.1 自動(dòng)駕駛
    發(fā)表于 08-30 08:36

    自動(dòng)駕駛技術(shù)的實(shí)現(xiàn)

    k隨著汽車電子的日益復(fù)雜化以及汽車電子電氣架構(gòu)(EEA)的升級(jí),人們對(duì)于聯(lián)網(wǎng)智能汽車的需求也在逐步上升,大量先進(jìn)技術(shù)往汽車上應(yīng)用,如高級(jí)駕駛輔助系統(tǒng)(ADAS)、自動(dòng)駕駛等,這些新技術(shù)也對(duì)車載網(wǎng)絡(luò)
    發(fā)表于 09-03 08:31

    一文聊聊自動(dòng)駕駛感知系統(tǒng)

    ”的重要環(huán)節(jié),可以讓自動(dòng)駕駛汽車和駕駛員一樣,讀懂周圍的交通要素。感知系統(tǒng)是利用車載傳感器以及車聯(lián)網(wǎng)技術(shù)來(lái)獲取道路、車輛位置、障礙物、車輛自身位置等信息,并將獲取的這些信息傳輸給車載控
    的頭像 發(fā)表于 07-18 08:38 ?1650次閱讀

    聊聊自動(dòng)駕駛離不開(kāi)的感知硬件

    自動(dòng)駕駛飛速發(fā)展,繞不開(kāi)感知、決策和控制決策的經(jīng)典框架,而感知作為自動(dòng)駕駛汽車“感官”的重要組成部分,決定了自動(dòng)駕駛
    的頭像 發(fā)表于 08-23 10:18 ?618次閱讀

    電子發(fā)燒友

    中國(guó)電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會(huì)員交流學(xué)習(xí)
    • 獲取您個(gè)性化的科技前沿技術(shù)信息
    • 參加活動(dòng)獲取豐厚的禮品