Mobileye公布最新自動(dòng)駕駛方案

2020年9月24日，吉利汽車與Mobileye正式簽約，將使用EyeQ5做自動(dòng)駕駛，同時(shí)，Mobileye也公布了最新的自動(dòng)駕駛方案。

11個(gè)攝像頭中，4個(gè)魚眼短距離的泊車用攝像頭，7個(gè)遠(yuǎn)距離自動(dòng)駕駛用攝像頭，包括前向6個(gè)，后向1個(gè)。與EyeQ4最大不同之處在于三目攝像頭被雙目取代了，三目攝像頭實(shí)際是單目攝像頭在不同F(xiàn)OV上的擴(kuò)展，特斯拉和國(guó)內(nèi)新興造車的輔助駕駛或自動(dòng)駕駛方案都是采用三目。而Mobileye這次沒(méi)有用三目，擋風(fēng)玻璃后視鏡位置是兩個(gè)單目攝像頭，F(xiàn)OV分別是28度和120度。

考慮到兩個(gè)攝像頭之間的距離，顯然不是奔馳那樣傳統(tǒng)的Stereo Camera立體雙目攝像頭，并且根據(jù)這兩個(gè)攝像頭的FOV看，也不是主攝像頭。倒車鏡上則有一個(gè)FOV為100度的攝像頭，A柱下方還有一個(gè)側(cè)向的FOV為100度的攝像頭。 實(shí)際上Mobileye的前部六個(gè)攝像頭（可能后部的攝像頭也參與了）構(gòu)成了SfM（Structurefrom Motion）。Stereo Vision（立體視覺(jué)）SfM比較稀疏，再進(jìn)一步稠密化就是Multi ViewStereo，即MVS。雖然這七個(gè)攝像頭都是單目，但他們是合在一起工作的，應(yīng)該叫多目立體視覺(jué)。 Mobileye有關(guān)SfM的專利主要有三個(gè)，一個(gè)是2014年的DenseStructure from motion，另一個(gè)是2017年的StereoAuto-Calibration From Structure-from-motion，還有一個(gè)是2020年的COMFORTRESPONSIBILITY SENSITIVITY SAFETY MODEL（長(zhǎng)達(dá)197頁(yè)），其中雖未提及SfM具體算法，但描述了SfM Stereo Image的處理流程。

Mobileye的Stereo Image處理流程

自動(dòng)駕駛領(lǐng)域，感知部分的任務(wù)就是建立一個(gè)準(zhǔn)確的3D環(huán)境模型。深度學(xué)習(xí)加單目三目是無(wú)法完成這個(gè)任務(wù)的。單目和三目攝像頭的致命缺陷就是目標(biāo)識(shí)別（分類）和探測(cè)（Detection）是一體的，無(wú)法分割的。

必須先識(shí)別才能探測(cè)得知目標(biāo)的信息，而深度學(xué)習(xí)肯定會(huì)出現(xiàn)漏檢，也就是說(shuō)3D模型有缺失，因?yàn)樯疃葘W(xué)習(xí)的認(rèn)知范圍來(lái)自其數(shù)據(jù)集，而數(shù)據(jù)集是有限的，不可能窮舉所有類型，因此深度學(xué)習(xí)容易出現(xiàn)漏檢而忽略前方障礙物，如果無(wú)法識(shí)別目標(biāo)，單目就無(wú)法獲得距離信息，系統(tǒng)就會(huì)認(rèn)為前方障礙物不存在危險(xiǎn)，不做任何減速，特斯拉多次事故大多都是這個(gè)原因。 傳統(tǒng)算法，則可能無(wú)法識(shí)別前方障礙物，但依然能夠獲知前方障礙物的信息，能夠最大限度地保證安全。當(dāng)然這需要傳感器配合，激光雷達(dá)和雙目立體視覺(jué)都是以傳統(tǒng)算法為核心（因?yàn)樗恍枰R(shí)別目標(biāo)，自然就不需要深度學(xué)習(xí)，當(dāng)然你也可以用深度學(xué)習(xí)處理激光雷達(dá)數(shù)據(jù)，但不是為了識(shí)別目標(biāo)）。

其次，深度學(xué)習(xí)是一個(gè)典型的黑盒子系統(tǒng)，汽車上任何事物都必須具備可解釋性和確定性，深度學(xué)習(xí)并不具備。傳統(tǒng)車廠盡量避免在直接有關(guān)汽車安全領(lǐng)域使用深度學(xué)習(xí)，當(dāng)然，深度學(xué)習(xí)是識(shí)別目標(biāo)準(zhǔn)確度最高的方法，不得不用。大部分車廠會(huì)堅(jiān)持使用可解釋的具備確定性的傳統(tǒng)圖像算法，直到深度學(xué)習(xí)變成白盒子。

上圖為Waymo深度學(xué)習(xí)科學(xué)家drago anguelov 2019年2月在MIT在講述無(wú)人車感知系統(tǒng)時(shí)，坦承機(jī)器學(xué)習(xí)的不足，單目系統(tǒng)漏檢無(wú)法避免，特別是在交通復(fù)雜的中國(guó)。深度學(xué)習(xí)的漏檢和算力沒(méi)有任何關(guān)系，再?gòu)?qiáng)大的算力也無(wú)法避免漏檢，也就無(wú)法避免事故。 若要解決漏檢這個(gè)問(wèn)題，或者說(shuō)構(gòu)建一個(gè)沒(méi)有缺失的3D環(huán)境模型就必須用將識(shí)別與探測(cè)分離，無(wú)需識(shí)別也可以探測(cè)目標(biāo)的信息，忘掉深度學(xué)習(xí)，傳統(tǒng)的做法是激光雷達(dá)和雙目立體視覺(jué)。但激光雷達(dá)商業(yè)化，車載化一直進(jìn)展緩慢，雙目的缺陷是立體匹配算法門檻太高，在線標(biāo)定非常困難，只有奔馳、斯巴魯、路虎和雷克薩斯運(yùn)用的比較好。寶馬雖然高端車型使用雙目，但實(shí)測(cè)結(jié)果并不理想，寶馬如今也部分放棄了雙目路線，電動(dòng)SUV領(lǐng)域還未放棄雙目。

除了激光雷達(dá)和雙目立體視覺(jué)外還有一種方法，這就是今天要說(shuō)的主角：SfM。在雙目立體視覺(jué)中，兩個(gè)相機(jī)之間的相對(duì)位姿是通過(guò)標(biāo)定靶精確標(biāo)定出來(lái)的，在重建時(shí)直接使用三角法進(jìn)行計(jì)算；而在SfM中該相對(duì)位姿是需要在重建之前先計(jì)算的。雙目必須兩個(gè)鏡頭輸入兩張照片雙目重建方法，SfM和MVS屬于單目重建多目立體視覺(jué)，輸入的是一系列同一物體和場(chǎng)景的多視圖。SfM得到的通常是稀疏點(diǎn)云，而經(jīng)過(guò)MVS處理極線約束后可建立稠密點(diǎn)云，可以媲美激光雷達(dá)點(diǎn)云，也就是Mobileye所說(shuō)的Vidar。

SfM的框架圖

Structure fromMotion（SfM）是一個(gè)估計(jì)相機(jī)參數(shù)及三維點(diǎn)位置的問(wèn)題。一個(gè)基本的SfM pipeline可以描述為:對(duì)每張2維圖片檢測(cè)特征點(diǎn)（feature point），對(duì)每對(duì)圖片中的特征點(diǎn)進(jìn)行匹配，只保留滿足幾何約束的匹配，最后執(zhí)行一個(gè)迭代式的、魯棒的SfM方法來(lái)恢復(fù)攝像機(jī)的內(nèi)參（intrinsic parameter）和外參(extrinsic parameter)。并由三角化得到三維點(diǎn)坐標(biāo)，然后使用Bundle Adjustment進(jìn)行優(yōu)化。常見(jiàn)的SfM方法可以分為增量式（incremental/sequentialSfM）,全局式（global SfM），混合式（hybrid SfM）,層次式（hierarchica SfM）。這些都是傳統(tǒng)OpenCV算法，跟深度學(xué)習(xí)無(wú)關(guān)，而如今，簡(jiǎn)單易學(xué)深度學(xué)習(xí)橫掃一切，復(fù)雜難學(xué)的傳統(tǒng)算法人才非常稀缺，導(dǎo)致SfM幾乎沒(méi)有商業(yè)化的例子。

SfM最初是假定相機(jī)圍繞靜態(tài)場(chǎng)景運(yùn)動(dòng)，實(shí)際就是相機(jī)獲取在目標(biāo)不同位置的圖像，因此可以用放置多個(gè)相機(jī)取代運(yùn)動(dòng)的單一相機(jī)。為了避免干擾，28度FOV與兩個(gè)100度FOV的攝像頭構(gòu)成SfM系統(tǒng)。SfM通常針對(duì)靜止目標(biāo)（古建筑物居多），移動(dòng)目標(biāo)難度極大，干擾因素比較多，大部分人都望而卻步。 在MVS重建精準(zhǔn)3D尺寸模型領(lǐng)域有個(gè)難點(diǎn)，即尺度因子不確定性，這個(gè)可以用其他傳感器如高精度IMU獲取真實(shí)尺寸校準(zhǔn)，但高精度IMU太貴了，還有一種方法就是DNN。也可以看作用先驗(yàn)尺寸數(shù)據(jù)推算實(shí)際尺寸。當(dāng)然也有傳統(tǒng)的非深度學(xué)習(xí)方法。

上圖即Mobileye的VIDAR，基于比較簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)DNN，對(duì)算力要求遠(yuǎn)低于圖像識(shí)別分類的CNN?；谏疃葘W(xué)習(xí)的3D點(diǎn)云和mesh重構(gòu)是較難以計(jì)算的，因?yàn)樯疃葘W(xué)習(xí)一個(gè)物體完整的架構(gòu)需要大量數(shù)據(jù)的支持。傳統(tǒng)的3D模型是由vertices和mesh組成的，因此不一樣的數(shù)據(jù)尺寸data size造成了訓(xùn)練的困難。所以后續(xù)大家都用voxelization(Voxel)的方法把所有CAD model轉(zhuǎn)成binary voxel模式(有值為1，空缺為0)這樣保證了每個(gè)模型都是相同的大小。利用一個(gè)標(biāo)準(zhǔn)的CNN結(jié)構(gòu)對(duì)原始input image進(jìn)行編碼，然后用Deconv進(jìn)行解碼，最后用3D LSTM的每個(gè)單元重構(gòu)output voxel。3D voxel是三維的，它的精度成指數(shù)增長(zhǎng)，所以它的計(jì)算相對(duì)復(fù)雜。

這個(gè)多目立體視覺(jué)制造出來(lái)的VIDAR與真實(shí)的Lidar當(dāng)然有一定差距，與傳統(tǒng)的雙目立體視覺(jué)相比精度也有一定差距，畢竟雙目立體視覺(jué)發(fā)展了20年，不過(guò)多目比雙目覆蓋面更廣。

Mobileye SuperVision的系統(tǒng)框架圖

在2020年Mobileye的專利里也提到了雙處理器設(shè)置，第一個(gè)視覺(jué)處理器檢測(cè)道路標(biāo)識(shí)、交通標(biāo)識(shí)，并根絕ROADBOOK做定位，第二個(gè)視覺(jué)處理器則處理SfM，并發(fā)送到第一個(gè)視覺(jué)處理器，構(gòu)建起一個(gè)帶有完整道路結(jié)構(gòu)的3D環(huán)境模型。 和英偉達(dá)、特斯拉以及一堆視覺(jué)加速器廠家比，Mobileye并不擅長(zhǎng)硬件高算力，EyeQ5的算力只有24TOPS，低于英偉達(dá)Xavier的32TOPS，2022年即將量產(chǎn)的Orin高達(dá)200TOPS。

Mobileye擅長(zhǎng)的是算法，SfM和MVS將筑起一道算法護(hù)城河，并借此提高安全。EyeQ5預(yù)計(jì)在2021年3月量產(chǎn)，盡管其算力與許多國(guó)內(nèi)初創(chuàng)廠家相比都低，但高算力不代表安全，EyeQ5依然獲得吉利、寶馬等4個(gè)大整車廠的訂單。 加入佐思數(shù)據(jù)平臺(tái)會(huì)員，可獲得Mobileye立體視覺(jué)專利完整版。

原文標(biāo)題：忘掉單目和三目吧，Mobileye轉(zhuǎn)向立體視覺(jué)

文章出處：【微信公眾號(hào)：佐思汽車研究】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq