自動(dòng)駕駛上下求索之路—感知

“一元復(fù)始，萬(wàn)象更新”。經(jīng)歷了去年自動(dòng)駕駛的寒冬，自動(dòng)駕駛行業(yè)正在重新孕育新生，以其堅(jiān)韌的發(fā)展力量引領(lǐng)新一輪的科技變革。度盡劫波，自動(dòng)駕駛的發(fā)展道路正愈發(fā)清晰——“漸進(jìn)式”以一步一個(gè)腳印，穩(wěn)打穩(wěn)扎，指明了自動(dòng)駕駛的發(fā)展道路。而隨著自動(dòng)駕駛的等級(jí)逐步提升，解決一個(gè)個(gè)corner cases就成了技術(shù)進(jìn)步的關(guān)鍵，在這其中最先需要提升的便是自動(dòng)駕駛的感知能力。

把自動(dòng)駕駛當(dāng)作一個(gè)工程項(xiàng)目來(lái)看的話(huà)，感知、規(guī)劃、控制便是其中的一個(gè)模塊。今天我們就來(lái)聊聊這個(gè)模塊的頭部——感知。

和人類(lèi)一樣，智能駕駛汽車(chē)想要自己開(kāi)上路，首先需要對(duì)周?chē)h(huán)境有一個(gè)認(rèn)識(shí)，而智能汽車(chē)的”眼睛“、”耳朵“就是由多種傳感器組成。

現(xiàn)在行業(yè)里喜歡提一個(gè)新名詞：”行泊一體“。

其實(shí)無(wú)論是行車(chē)還是泊車(chē)，最常用的三種傳感器便是攝像頭、毫米波雷達(dá)和激光雷達(dá)。

有了這些傳感器是不是就能實(shí)現(xiàn)自動(dòng)駕駛呢？答案顯然是否定的，我們還需要對(duì)采集到的數(shù)據(jù)進(jìn)行處理，提取出對(duì)我們有用的信息，才能進(jìn)行下一步的規(guī)劃和控制。

俗話(huà)說(shuō)”工欲善其事，必先利其器“。

只有打磨好自動(dòng)駕駛感知算法，與優(yōu)質(zhì)的硬件相匹配，才能獲得好的感知結(jié)果。接下來(lái)我們就按照三款傳感器量產(chǎn)上車(chē)的時(shí)間順序倒序來(lái)講講其基本的感知算法。

一、激光雷達(dá)感知算法

激光雷達(dá)的輸出產(chǎn)物是點(diǎn)云，近處非常稠密、遠(yuǎn)處又非常稀疏的點(diǎn)云，數(shù)量以萬(wàn)計(jì)數(shù)。因此，Lidar的感知算法任務(wù)就是如何從這堆點(diǎn)云中完成目標(biāo)的檢測(cè)。這里的檢測(cè)包括了物體的大小、位置、類(lèi)別、朝向和速度等等，涵蓋了目標(biāo)的各種特征。

激光雷達(dá)生成的3D點(diǎn)云

Lidar的點(diǎn)云感知算法分為基于啟發(fā)式的方法和基于深度學(xué)習(xí)的方法。在深度學(xué)習(xí)沒(méi)有大規(guī)模運(yùn)用之前，人們用的都是啟發(fā)式的方法。

面對(duì)一個(gè)復(fù)雜問(wèn)題，正常的思路也是從啟發(fā)式入手?？臻g中這么多的點(diǎn)，我哪知道誰(shuí)和誰(shuí)是同一個(gè)物體的呢？但是有一點(diǎn)我是能確定的，這就像是點(diǎn)云空間的“公理”：空間上位置接近的點(diǎn)來(lái)自同一個(gè)障礙物。這很好理解，我點(diǎn)云是掃描到物體產(chǎn)生的，那產(chǎn)生的一坨靠在一起的點(diǎn)必然是來(lái)自同一個(gè)物體的，你不可能把FOV里兩個(gè)相隔很遠(yuǎn)的點(diǎn)關(guān)聯(lián)成一個(gè)物體吧。這個(gè)公理有個(gè)高大上的名字，叫空間平滑性假設(shè)。

有了這個(gè)假設(shè)，我們就可以把點(diǎn)云建成圖，利用圖論的知識(shí)來(lái)分割，實(shí)現(xiàn)切圖聚類(lèi)。

對(duì)于一個(gè)圖G，有頂點(diǎn)V，邊E和權(quán)重W。我們把所有的點(diǎn)云看做空間中的點(diǎn)，這些點(diǎn)之間可以用邊連接起來(lái)。距離較遠(yuǎn)的兩個(gè)點(diǎn)之間的邊賦低權(quán)重，而距離較近的兩個(gè)點(diǎn)之間的邊賦高權(quán)重，通過(guò)對(duì)所有數(shù)據(jù)點(diǎn)組成的圖進(jìn)行切圖，讓切圖后不同的子圖間邊權(quán)重之和盡可能的低，而子圖內(nèi)的邊權(quán)重之和盡可能的高，從而達(dá)到聚類(lèi)的目的。

這種方法叫做譜聚類(lèi)（spectral clustering）。這種方法的優(yōu)點(diǎn)在于解釋性非常好，如果出現(xiàn)什么bad case，只需要專(zhuān)門(mén)針對(duì)這種情況調(diào)整一下參數(shù)即可解決。但是缺點(diǎn)在于分割的規(guī)則過(guò)于簡(jiǎn)單，又丟失了語(yǔ)義信息，像道路旁的草叢這種邊緣不清晰的就沒(méi)法很好分割。

譜聚類(lèi)（spectral clustering）原理總結(jié)那既然啟發(fā)式的方法沒(méi)法很好地像人一樣進(jìn)行目標(biāo)分割，我們就來(lái)想想人是怎么做分割的，僅僅是通過(guò)距離遠(yuǎn)近我們就認(rèn)為那些點(diǎn)云是屬于同一個(gè)目標(biāo)的嗎？不，我們?nèi)祟?lèi)會(huì)首先根據(jù)它是個(gè)什么東西，來(lái)判斷它應(yīng)該有多大，邊界在什么地方來(lái)為環(huán)境中的目標(biāo)進(jìn)行分割的。這層至關(guān)重要的信息就是啟發(fā)式方法中丟棄的語(yǔ)義信息，而想要使用這層特征，就需要深度學(xué)習(xí)的方法，通過(guò)數(shù)據(jù)驅(qū)動(dòng)，讓模型去挖掘其中蘊(yùn)含的語(yǔ)義信息，這就是深度學(xué)習(xí)做目標(biāo)檢測(cè)識(shí)別的原理。

深度學(xué)習(xí)方法在自動(dòng)駕駛激光雷達(dá)目標(biāo)檢測(cè)中的應(yīng)用始于2010年代。當(dāng)時(shí)，研究人員使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）來(lái)處理激光雷達(dá)數(shù)據(jù)，并在檢測(cè)和分類(lèi)目標(biāo)方面取得了一些成功。隨著深度學(xué)習(xí)技術(shù)的進(jìn)步和數(shù)據(jù)量的增加，這些方法變得更加準(zhǔn)確和高效。現(xiàn)在，深度學(xué)習(xí)方法已成為自動(dòng)駕駛激光雷達(dá)目標(biāo)檢測(cè)的主流技術(shù)。

以點(diǎn)云卷積神經(jīng)網(wǎng)絡(luò)（PointNet）為例，這種模型能夠處理點(diǎn)云數(shù)據(jù)，并在點(diǎn)云數(shù)據(jù)上實(shí)現(xiàn)目標(biāo)檢測(cè)。PointNet能夠在沒(méi)有明顯結(jié)構(gòu)的點(diǎn)云數(shù)據(jù)上取得較好的性能。

由于深度學(xué)習(xí)在激光雷達(dá)點(diǎn)云數(shù)據(jù)處理上方法層出不窮，且與圖像數(shù)據(jù)進(jìn)行融合處理成為一種主流趨勢(shì)，因此就不在此過(guò)多介紹了，之后會(huì)結(jié)合具體論文與大家一同分析學(xué)習(xí)。

二、視覺(jué)感知算法

視覺(jué)感知任務(wù)作為機(jī)器模仿人類(lèi)最重要的一環(huán)而早早地被安排上了汽車(chē)輔助駕駛系統(tǒng)。但在應(yīng)用初期，其感興趣范圍還比較狹窄，只關(guān)注于前方的近距離目標(biāo)、車(chē)道線(xiàn)的識(shí)別、行人的輔助檢測(cè)等等，這些應(yīng)用能夠支持車(chē)輛進(jìn)行縱向運(yùn)動(dòng)的控制。

這一時(shí)期的視覺(jué)算法主要是基于計(jì)算機(jī)圖像處理技術(shù)的，基于規(guī)則的。通過(guò)提取各種各種的邊緣算子完成模型邊緣提取和分割。通過(guò)人工構(gòu)造特征+淺層分類(lèi)器實(shí)現(xiàn)感知任務(wù)。但隨著視覺(jué)感知任務(wù)變得越來(lái)越重要，簡(jiǎn)單的目標(biāo)檢測(cè)已不能cover更高階自動(dòng)駕駛的需求，因其總體上是一種low-level的視覺(jué)算法。

車(chē)道線(xiàn)檢測(cè)技術(shù)而當(dāng)前，深度學(xué)習(xí)在視覺(jué)感知中扮演了重要的角色。當(dāng)前智能駕駛中的視覺(jué)感知算法主要包括深度學(xué)習(xí)方法，如卷積神經(jīng)網(wǎng)絡(luò)（CNN）和卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)器（YOLO，SSD等）。當(dāng)然最新的方向包括Transformer以及BEV感知，還有去年Tesla AI Day上公開(kāi)的Occupancy Network。

計(jì)算機(jī)視覺(jué)技術(shù)的突飛猛進(jìn)自然帶起了自動(dòng)駕駛中的視覺(jué)感知，但是需要注意攝像頭的視角約束與結(jié)構(gòu)化道路的約束，它并不像CV圖像里的一切皆有可能，而是發(fā)生在實(shí)實(shí)在在道路上的視覺(jué)感知。

同時(shí)這種感知已不簡(jiǎn)簡(jiǎn)單單是2D輸出，而是對(duì)三維信息提出了要求，因此三維目標(biāo)檢測(cè)技術(shù)就會(huì)更加受到重視。

一般的視覺(jué)感知流程框圖是像素信號(hào)輸入進(jìn)來(lái)，首先做detection，隨后做2D到3D的投影轉(zhuǎn)換，這部分可以和激光雷達(dá)數(shù)據(jù)結(jié)合起來(lái)，之后做Tracking。不同的架構(gòu)中使用深度學(xué)習(xí)的地方不同，有只在檢測(cè)任務(wù)里使用CNN的，后面兩個(gè)模塊仍使用傳統(tǒng)方法，這樣子可以保證實(shí)時(shí)性，因?yàn)樽詣?dòng)駕駛對(duì)實(shí)時(shí)性要求很高，很多論文中花里胡哨的神經(jīng)網(wǎng)絡(luò)模型實(shí)際上沒(méi)法部署到車(chē)上。而現(xiàn)在也有端到端訓(xùn)練的趨勢(shì)，即把檢測(cè)到追蹤打包放進(jìn)一個(gè)網(wǎng)絡(luò)中訓(xùn)練，通過(guò)大量喂數(shù)據(jù)，直接得到最終的目標(biāo)位置、距離等信息。同時(shí)，由于視覺(jué)感知不止目標(biāo)檢測(cè)追蹤這一個(gè)任務(wù)，而其他任務(wù)使用的輸入又都是相同的，因此可以在模型輸出時(shí)采用多頭結(jié)構(gòu)，一套網(wǎng)絡(luò)多個(gè)輸出，同時(shí)完成檢測(cè)、分類(lèi)、分割等多重任務(wù)。

BEV Former

三、毫米波雷達(dá)感知算法

作為最早上車(chē)的感知零部件，毫米波雷達(dá)的感知算法往往是各家自動(dòng)駕駛方案供應(yīng)商所忽略的。究其根本并非是其不重要，而是這部分Know-how被牢牢把握在國(guó)際Tier1巨頭手里，主機(jī)廠(chǎng)和自動(dòng)駕駛公司只能拿到輸出的目標(biāo)，對(duì)他們而言，毫米波雷達(dá)感知就是一個(gè)黑盒。

Continental ARS540全球第一款量產(chǎn)4D毫米波雷達(dá)

但實(shí)際上，由于毫米波雷達(dá)不受光線(xiàn)、雨霧天氣影響，并且探測(cè)距離特別遠(yuǎn)，在ACCAEB功能上應(yīng)用非常純熟，因此毫米波雷達(dá)的感知結(jié)果相當(dāng)重要。即使在視覺(jué)主導(dǎo)的感知體系中，由于雷達(dá)能直接探測(cè)目標(biāo)的距離和速度，因此這兩者的權(quán)重相比于攝像頭的檢測(cè)是要高很多的。

毫米波雷達(dá)與激光雷達(dá)同為雷達(dá)，因此得到的輸入其實(shí)都是點(diǎn)云。但是毫米波雷達(dá)的點(diǎn)云要比激光雷達(dá)稀疏的多，哪怕是反射比較強(qiáng)烈的金屬物體，例如車(chē)身，毫米波雷達(dá)依舊只能打出十幾個(gè)點(diǎn)，而對(duì)于行人這種RCS小得多的目標(biāo)，能打出一兩個(gè)點(diǎn)就很不錯(cuò)了。這就是為什么毫米波雷達(dá)做行人檢測(cè)和目標(biāo)分類(lèi)不擅長(zhǎng)的原因。

由于點(diǎn)云非常稀疏，這就導(dǎo)致依賴(lài)大量數(shù)據(jù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)發(fā)揮不了其特長(zhǎng)，故而毫米波雷達(dá)的感知算法還是基于規(guī)則的方法，以一個(gè)個(gè)人工手動(dòng)調(diào)的參數(shù)作為閾值，組成了毫米波雷達(dá)感知算法的框架。

與激光雷達(dá)感知類(lèi)似，毫米波雷達(dá)也是首先對(duì)點(diǎn)云進(jìn)行聚類(lèi)，這里面常用的就是JPDA這樣的關(guān)聯(lián)算法，通過(guò)與目標(biāo)關(guān)聯(lián)，獲得每一幀點(diǎn)云的具體位置和速度。生成目標(biāo)后，對(duì)目標(biāo)進(jìn)行維護(hù)，這里的維護(hù)就包括預(yù)測(cè)和更新的卡爾曼濾波手法，從而實(shí)現(xiàn)多目標(biāo)的穩(wěn)定跟蹤。在FOV視野范圍內(nèi)，確保目標(biāo)保持同一個(gè)ID，連續(xù)不斷地進(jìn)行追蹤。

在主線(xiàn)任務(wù)外，還會(huì)做一些目標(biāo)長(zhǎng)寬、orientation、存在概率等的屬性的判斷，幫助感知系統(tǒng)確認(rèn)這是一個(gè)真實(shí)的可以使用的目標(biāo)。

除了對(duì)目標(biāo)的檢測(cè)追蹤，毫米波雷達(dá)感知算法還能夠給出車(chē)道線(xiàn)的預(yù)測(cè)、道路邊界描述以及Freespace等感知信息。

由于傳統(tǒng)的毫米波雷達(dá)天線(xiàn)不具有測(cè)高能力，具有測(cè)高功能的4D毫米波雷達(dá)已進(jìn)入量產(chǎn)。4D毫米波雷達(dá)由于天線(xiàn)通道成倍增加，因此獲得的點(diǎn)云數(shù)量有了大幅度提升，因此具備了深度學(xué)習(xí)的應(yīng)用條件。這部分感知算法還處于研發(fā)當(dāng)中，算是毫米波雷達(dá)感知中非常前言的東西。

總結(jié)路漫漫其修遠(yuǎn)兮，自動(dòng)駕駛的道路不是一帆風(fēng)順的，Corner case也是不斷出現(xiàn)的。只有不斷提升感知硬件的能力、完善感知算法的模型，才能確保在當(dāng)前人工智能水平下智能汽車(chē)完成高級(jí)別自動(dòng)駕駛功能。

審核編輯 ：李倩