一文讀懂自動(dòng)駕駛的激光雷達(dá)與視覺融合感知

激光雷達(dá)傳感器vs圖像傳感器

激光雷達(dá)是一種用于精準(zhǔn)獲取物體三維位置的傳感器，本質(zhì)上是激光探測(cè)和測(cè)距。憑借在目標(biāo)輪廓測(cè)量、通用障礙物檢出等方面所具有的極佳性能，正在成為L(zhǎng)4自動(dòng)駕駛的核心配置。

然而，激光雷達(dá)的測(cè)距范圍（一般在200米左右，不同廠商的量產(chǎn)型號(hào)指標(biāo)各異）導(dǎo)致感知范圍遠(yuǎn)小于圖像傳感器。

又由于其角分辨率（一般為0.1°或0.2°）比較小，導(dǎo)致點(diǎn)云的分辨率遠(yuǎn)小于圖像傳感器，在遠(yuǎn)距離感知時(shí)，投射到目標(biāo)物上的點(diǎn)可能及其稀疏，甚至無法成像。對(duì)于點(diǎn)云目標(biāo)檢測(cè)來說，算法真正能用的點(diǎn)云有效距離大約只有100米左右。

圖像傳感器能以高幀率、高分辨率獲取周圍復(fù)雜信息，且價(jià)格便宜，可以部署多個(gè)不同F(xiàn)OV和分辨率的傳感器，用于不同距離和范圍的視覺感知，分辨率可以達(dá)到2K-4K。

但圖像傳感器是一種被動(dòng)式傳感器，深度感知不足，測(cè)距精度差，特別是在惡劣環(huán)境下完成感知任務(wù)的難度會(huì)大幅提升。

在面對(duì)強(qiáng)光、夜晚低照度、雨雪霧等天氣和光線環(huán)境，智能駕駛對(duì)傳感器的算法要求很高。激光雷達(dá)雖然對(duì)環(huán)境光線影響不敏感，但對(duì)于積水路面、玻璃墻面等，測(cè)距將收到很大影響。

可以看出，激光雷達(dá)和圖像傳感器各有優(yōu)劣。大多數(shù)高級(jí)別智能駕駛乘用車選擇將不同傳感器進(jìn)行融合使用，優(yōu)勢(shì)互補(bǔ)、冗余融合。

這樣的融合感知方案也成為了高級(jí)別自動(dòng)駕駛的關(guān)鍵技術(shù)之一。

基于深度學(xué)習(xí)的點(diǎn)云和圖像融合感知

點(diǎn)云和圖像的融合屬于多傳感器融合（Multi-Sensor Fusion,MSF）的技術(shù)領(lǐng)域，有傳統(tǒng)的隨機(jī)方法和深度學(xué)習(xí)方法，按照融合系統(tǒng)中信息處理的抽象程度，主要分為三個(gè)層次：

數(shù)據(jù)層融合（Early Fusion）

首先將傳感器的觀測(cè)數(shù)據(jù)融合，然后從融合的數(shù)據(jù)中提取特征進(jìn)行識(shí)別。在3D目標(biāo)檢測(cè)中，PointPainting（CVPR20）采用這種方式，PointPainting方法先是對(duì)圖像做語義分割，并將分割后的特征通過點(diǎn)到圖像像素的矩陣映射到點(diǎn)云上，然后將這個(gè)“繪制點(diǎn)”的點(diǎn)云送到3D點(diǎn)云的檢測(cè)器對(duì)目標(biāo)Box進(jìn)行回歸。

特征層融合（Deep Fusion）

先從每種傳感器提供的觀測(cè)數(shù)據(jù)中提取各自然數(shù)據(jù)特征，對(duì)這些特征融合后進(jìn)行識(shí)別。在基于深度學(xué)習(xí)的融合方法中，這種方式對(duì)點(diǎn)云和圖像分支都各自采用特征提取器，對(duì)圖像分支和點(diǎn)云分支的網(wǎng)絡(luò)在前反饋的層次中逐語義級(jí)別融合，做到多尺度信息的語義融合。

基于深度學(xué)習(xí)的特征層融合方法，對(duì)于多個(gè)傳感器之間的時(shí)空同步要求很高，一旦同步不好，直接影響特征融合的效果。同時(shí)，由于尺度和視角的差異，LiDAR和圖像的特征融合很難達(dá)到1+1>2的效果。

決策層融合（Late Fusion）

相對(duì)前兩種來說，是復(fù)雜度最低的一種融合方式。不在數(shù)據(jù)層或特征層融合，是一種目標(biāo)級(jí)別的融合，不同傳感器網(wǎng)絡(luò)結(jié)構(gòu)互不影響，可以獨(dú)立訓(xùn)練和組合。

由于決策層融合的兩類傳感器和檢測(cè)器相互獨(dú)立，一旦某傳感器發(fā)生故障，仍可進(jìn)行傳感器冗余處理，工程上魯棒性更好。

隨著激光雷達(dá)與視覺融合感知技術(shù)的不斷迭代，以及不斷積累的知識(shí)場(chǎng)景與案例，會(huì)出現(xiàn)越來越多的全棧融合計(jì)算解決方案為自動(dòng)駕駛帶來更加安全與可靠的未來。

審核編輯：湯梓紅