關(guān)于無人駕駛視覺感知系統(tǒng)的分析和介紹

這是說在沒有GPS的的情況下，依靠模擬人類的視覺感知方位和障礙么？

先有請杜勇博士——

杜勇，2016年博士畢業(yè)于中科院自動(dòng)化研究所模式識別國家重點(diǎn)實(shí)驗(yàn)室，主要從事深度學(xué)習(xí)、視頻分析、行為識別、視覺目標(biāo)檢測跟蹤及識別方面的研究。

先從導(dǎo)航地圖的使用說起

首先，設(shè)想這樣一個(gè)問題，我們計(jì)劃開車去往一個(gè)陌生的地方，通常我們會首先打開導(dǎo)航地圖，規(guī)劃一下總體路線，這個(gè)地圖并不需要特別高的精度。

然后我們在導(dǎo)航地圖的幫助下沿著預(yù)先規(guī)劃好的路線開車趕往目的地，一路上我們需要通過眼睛觀察周邊的行車環(huán)境，必要時(shí)需要耳朵來輔助，實(shí)時(shí)根據(jù)周圍的路況來決策并控制車輛前行。

也就是說，我們并不需要預(yù)先知道所要行駛的道路上及周邊每一個(gè)目標(biāo)的精確方位及狀態(tài)，只要沿著預(yù)定的路線行進(jìn)并確保車輛安全行駛，最終一定可以到達(dá)目的地。

概括來說，我們需要具備兩個(gè)條件，即普通的導(dǎo)航地圖和實(shí)時(shí)感知并控制車輛運(yùn)行的能力。以此分析，未來無人駕駛的一種合理實(shí)現(xiàn)方式是車輛可以根據(jù)一份普通的導(dǎo)航地圖，結(jié)合自身強(qiáng)大的環(huán)境感知能力實(shí)現(xiàn)自主駕駛，其重點(diǎn)就在于環(huán)境感知。

問題來了，現(xiàn)在的車輛對周邊環(huán)境怎么感知？

一種是通過車載激光雷達(dá)主動(dòng)掃描，以實(shí)現(xiàn)對周圍目標(biāo)的定位和測距；另一種則是純視覺模式，簡單講就是利用攝像頭采集車輛周圍環(huán)境數(shù)據(jù)，并通過計(jì)算機(jī)視覺算法分析車輛周圍目標(biāo)的方位和運(yùn)動(dòng)參數(shù)。

其中，前者技術(shù)已較為成熟。后者雖起步較晚，但得益于近幾年計(jì)算機(jī)視覺和深度學(xué)習(xí)的快速發(fā)展而進(jìn)步神速。

高精度的激光雷達(dá)雖然可以實(shí)現(xiàn)車輛對周圍環(huán)境的精確感知，但因其成本高昂，難以大規(guī)模商業(yè)應(yīng)用。同時(shí)單純地依靠激光雷達(dá)并不能定位出車輛在路面上的具體位置，必須配屬高精地圖，這并不是一種經(jīng)濟(jì)理想的方案。

而純視覺的感知模式成本較低，客觀上也符合人類開車過程中對周圍環(huán)境的感知模式，是一種比較理想的方案，但其難點(diǎn)在于算法設(shè)計(jì)。

我們怎么去做車輛對周圍環(huán)境的感知？

其實(shí)說起來并不復(fù)雜。

第一需要確定出車輛自身在路面上的相對位置，第二則需要確定出車輛周圍目標(biāo)相對于車輛自身的位置及運(yùn)動(dòng)狀態(tài)。

總體上，位置信息的確定涉及到可行駛區(qū)域分割、車道線檢測、車輛行人等目標(biāo)檢測及視覺測距，運(yùn)動(dòng)狀態(tài)的估計(jì)涉及到目標(biāo)跟蹤和視覺測距，車輛周圍環(huán)境信息的描述則需要建立統(tǒng)一的坐標(biāo)系。

客觀上，這些都關(guān)系到無人駕駛的核心問題，即行車安全，因此技術(shù)指標(biāo)需求都很高；但相對而言，對目標(biāo)檢測的召回率要求最高，畢竟行車方向上一定范圍內(nèi)的目標(biāo)一旦漏檢，就很可能釀成事故，對車道線的檢測精度要求次之，而對可行駛區(qū)域分割精度要求相對較低。

雖然當(dāng)前計(jì)算機(jī)視覺和深度學(xué)習(xí)的發(fā)展，為解決這些問題提供了可能，但受限于車載計(jì)算平臺的運(yùn)算能力，我們難以在車上部署重量級的深度學(xué)習(xí)模型，因此如何在車載平臺上做到最大化算法精度的同時(shí)確保較高的執(zhí)行效率是算法設(shè)計(jì)的核心問題。

為解決這一問題，需要在算法設(shè)計(jì)和模型加速兩個(gè)層面來做工作。

在算法設(shè)計(jì)層面，需要明確任務(wù)需求，針對不同指標(biāo)的要求等級來規(guī)劃算法的各步操作，統(tǒng)籌合理分配各模塊允許的計(jì)算量，實(shí)現(xiàn)總體性能的最優(yōu)化。例如，無人駕駛中目標(biāo)跟蹤的目的，是為了分析周圍目標(biāo)的運(yùn)動(dòng)狀態(tài)參量，對跟蹤問題中常見的遮擋和交叉問題的處理能力要求不高，因此，我們可以采用高速的跟蹤算法結(jié)合高精度的檢測模型來實(shí)現(xiàn)相對可靠的跟蹤過程。

降低模型的計(jì)算量

一類是利用深度學(xué)習(xí)模型連接權(quán)重分布的稀疏性，通過模型裁剪、量化編碼、模型蒸餾、二值化等方式來降低模型計(jì)算量。

第二類則是在深層剖析網(wǎng)絡(luò)局部連接作用的基礎(chǔ)上通過優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)來降低網(wǎng)絡(luò)冗余，從而提高計(jì)算效率，典型代表如MobileNet。

第三是針對已經(jīng)訓(xùn)練好的模型通過優(yōu)化底層計(jì)算時(shí)的并行計(jì)算密度來提高模型inference過程的執(zhí)行效率，該類方法針對性很強(qiáng)，主要適用于GPU計(jì)算平臺，典型的實(shí)現(xiàn)如NVIDIA的TensorRT，其實(shí)現(xiàn)方式?jīng)Q定了對inception結(jié)構(gòu)的網(wǎng)絡(luò)具有很高的加速比（具體加速效果還受制于GPU的IO帶寬和流處理器數(shù)量）。

一般情況下，車載計(jì)算平臺主要是FPGA或者相對低端的GPU。若為FPGA，合適的優(yōu)化加速方法是模型裁剪、量化編碼和二值化，當(dāng)然在進(jìn)行這些工作之前也可以先進(jìn)行模型蒸餾；若計(jì)算平臺為低端GPU，最好的方式是結(jié)合任務(wù)需求設(shè)計(jì)針對性的具有inception結(jié)構(gòu)的網(wǎng)絡(luò)模型，在部署時(shí)先經(jīng)channel裁剪再基于TensorRT（或者自己實(shí)現(xiàn)TensorRT的計(jì)算方式）做高倍加速。

單純地基于視覺來解決無人車的路況感知問題是可行的，但是還有很長的路要走，無人車的發(fā)展過程應(yīng)該是一個(gè)視覺逐步替代高端激光雷達(dá)的過程。

現(xiàn)實(shí)中任何一款傳感器都存在穩(wěn)定性問題，都會有其優(yōu)勢和不足，為了確保行車安全這一最核心要素，未來無人車的環(huán)境感知部分一定是多傳感融合的結(jié)果。