奧迪、奔馳與博世一系列代客泊車技術(shù)都源自V-Charge

Valet Charge簡稱V-Charge，代客泊車并充電是歐盟在2011年贊助的一個研發(fā)項(xiàng)目，項(xiàng)目始于2011年6月1日，于2015年9月30日結(jié)束，總成本869.5萬歐元，其中歐盟贊助563萬歐元。

V-Charge項(xiàng)目結(jié)束后，博世、大眾、奔馳致力將其產(chǎn)業(yè)化，今天我們看到的奧迪、奔馳與博世一系列代客泊車技術(shù)都源自V-Charge。項(xiàng)目由瑞士理工學(xué)院電腦視覺與幾何實(shí)驗(yàn)室領(lǐng)導(dǎo)，博世、大眾、牛津大學(xué)、帕爾瑪大學(xué)與布倫瑞克工業(yè)大學(xué)共同完成。德國Carmeq和IAV公司也有部分貢獻(xiàn)。

Valet Charge是為電動車設(shè)計(jì)的，主要是基于無線充電停車位。Valet Charge設(shè)想將無線充電系統(tǒng)埋在車位下方，電動車停在車位上，無需任何操作即可充電，這要求泊車的位置精度很高，大約±10厘米。無線充電這個設(shè)想在2011年非常超前，不過Valet Charge項(xiàng)目并未考慮開發(fā)大功率無線充電系統(tǒng)。

即使今天，電動車的無線充電也是極為罕見。當(dāng)年，大眾聯(lián)合德國機(jī)器人公司KUKA特別設(shè)計(jì)了充電機(jī)器人，機(jī)器人會自動取下充電槍插入充電插孔內(nèi)，即便是到今天這種設(shè)計(jì)也很超前，而大眾在10年前就有此設(shè)想了。

Valet Charge包含六大核心技術(shù)，即使在今天看來仍然非常先進(jìn)，領(lǐng)先于今天一些所謂的全自動泊車系統(tǒng)。它實(shí)際就是低速（時速低于10公里）場景的L4系統(tǒng)，同時還包括V2I技術(shù)和DTN網(wǎng)絡(luò)技術(shù)。我們將分五篇詳細(xì)介紹Valet Charge的核心技術(shù)，第一篇為感知，第二篇為地圖，第三篇為通訊，第四篇為定位，第五篇為運(yùn)動規(guī)劃。

Valet Charge車輛端框架如上，核心和奔馳一樣，以雙目做棒狀像素，用柵格占有法提供導(dǎo)航。

Valet Charge的傳感器布局如上圖，包括前后兩個雙目攝像頭，4個魚眼攝像頭，12個超聲波傳感器，精簡版里沒有后雙目攝像頭。所有傳感器都由博世提供。前雙目攝像頭基線長12厘米，使用120萬像素CMOS圖像傳感器，水平FOV為45度，垂直FOV為25度?？蓪?yīng)停車場的低照度環(huán)境，今天捷豹路虎全系列都使用了這顆雙目攝像頭。有效距離12.5米到25米，最大距離50米，在停車場足夠用了。后雙目使用130萬像素圖像傳感器，水平FOV為120度，基線長5厘米，有效距離只有5米。4個魚眼攝像頭像素都為130萬，水平FOV為185度，有效距離大約3米。所有攝像頭的幀率都很低，僅為8幀，畢竟2011年的圖像處理能力不強(qiáng)。12個超聲波雷達(dá)，其中8個為前后短距離雷達(dá)，最遠(yuǎn)1.5米，4個為兩側(cè)長距離雷達(dá)，最遠(yuǎn)可達(dá)7米。超聲波傳感器垂直FOV為60度，水平為120度。

感知部分分三項(xiàng)，分別是定位、動態(tài)環(huán)境感知和靜態(tài)環(huán)境感知。定位由瑞士蘇黎世理工學(xué)院無人駕駛實(shí)驗(yàn)室與大眾聯(lián)合完成。靜態(tài)感知部分，前后雙目和超聲波感知由博世完成，單目的SFM由蘇黎世理工學(xué)院電腦視覺與幾何實(shí)驗(yàn)室完成，大眾完成柵格地圖融合。動態(tài)環(huán)境方面，大眾完成用雙目目標(biāo)追蹤，立體假設(shè)聚類，單目檢測與聚類、動態(tài)目標(biāo)聚類、停車位線框增強(qiáng)都由意大利帕爾馬大學(xué)用單目魚眼完成。

上圖為靜態(tài)場景感知構(gòu)成，也可以看作是三種傳感器的融合，包括雙目、超聲波和魚眼攝像頭。

其中雙目是核心。魚眼主要使用SFM做3D重建，主要用來彌補(bǔ)雙目視角窄的缺點(diǎn)。

雙目相機(jī)可以提供幾百個目標(biāo)相對自車的距離，但是只要高度在某一區(qū)間內(nèi)的目標(biāo)的距離，也就是高度分割。這種類似于奔馳棒狀像素的做法可以直接求得可行駛空間（Free Space），也可以只提供障礙物的距離數(shù)值。

為了彌補(bǔ)雙目視角窄的不足，達(dá)到360度全覆蓋的3D場景重建，特別附加了魚眼360度SfM。SfM的全稱為Structure from Motion，即通過相機(jī)的移動來確定目標(biāo)的空間和幾何關(guān)系，是三維重建的一種常見方法。它與Kinect這種3D攝像頭最大的不同在于，它只需要普通的RGB攝像頭即可，因此成本更低廉，且受環(huán)境約束較小，在室內(nèi)和室外均能使用。缺點(diǎn)就是只能針對低速，小空間場合，且非常消耗運(yùn)算資源。SfM算法是一種基于各種收集到的無序圖片進(jìn)行三維重建的離線算法。在進(jìn)行核心的算法structure-from-motion之前需要一些準(zhǔn)備工作，挑選出合適的圖片。

首先從圖片中提取焦距信息(之后初始化BA需要)，然后利用SIFT等特征提取算法去提取圖像特征，用kd-tree模型去計(jì)算兩張圖片特征點(diǎn)之間的歐式距離進(jìn)行特征點(diǎn)的匹配，從而找到特征點(diǎn)匹配個數(shù)達(dá)到要求的圖像對。對于每一個圖像匹配對，計(jì)算對極幾何，估計(jì)F矩陣并通過ransac算法優(yōu)化改善匹配對。這樣子如果有特征點(diǎn)可以在這樣的匹配對中鏈?zhǔn)降貍鬟f下去，一直被檢測到，那么就可以形成軌跡。之后進(jìn)入structure-from-motion部分，關(guān)鍵的第一步就是選擇好的圖像對去初始化整個BA過程。首先對初始化選擇的兩幅圖片進(jìn)行第一次BA，然后循環(huán)添加新的圖片進(jìn)行新的BA，最后直到?jīng)]有可以繼續(xù)添加的合適的圖片，BA結(jié)束。得到相機(jī)估計(jì)參數(shù)和場景幾何信息，即稀疏的3D點(diǎn)云。其中兩幅圖片之間的bundle adjust用的是稀疏光束平差法sba軟件包，這是一種非線性最小二乘的優(yōu)化目標(biāo)函數(shù)算法。東芝的第四代視覺識別芯片中已經(jīng)添加了SFM硬核。在停車場這樣的低速、狹小空間，SFM還是不錯的，當(dāng)然和雙目比還是精度差距較大，魯棒性也不強(qiáng)，還需要輪速編碼器。

前雙目和超聲波精度很高，SFM精度很差。

柵格地圖由大眾完成，局部動作規(guī)劃依賴柵格地圖，地圖融合了多種傳感器數(shù)據(jù)，對障礙物有明確的表示。傳感器數(shù)據(jù)更新后使用貝葉斯過濾來確定柵格占有概率。大眾使用兩種柵格地圖，第一種是駕駛層，是從駕駛員離開車后，車輛從停車場入口到停車位時使用，每個Cell的尺寸是0.1米，整體尺寸是50米，完全由前雙目完成。第二層是停車層，Cell尺寸是0.05米，整體尺寸25米。前后雙目，魚眼3D重建和超聲波數(shù)據(jù)融合。

上圖為停車層?xùn)鸥竦貓D示意圖

上圖為Valet Charge的動態(tài)感知框架，就是雙目與魚眼相機(jī)的融合。動態(tài)環(huán)境感知主要就是目標(biāo)追蹤和識別動態(tài)目標(biāo)，停車場主要就兩種動態(tài)目標(biāo)，車輛和行人，比較簡單。目標(biāo)追蹤實(shí)際是用來做動態(tài)目標(biāo)運(yùn)動預(yù)測的，光流法可以準(zhǔn)確預(yù)測目標(biāo)運(yùn)動軌跡，但大眾沒有用，只是用了簡單的擴(kuò)展開曼濾波器，因?yàn)楣饬鞣ㄏ倪\(yùn)算資源比較多，在2011-2014年還比較難實(shí)現(xiàn)，不過雙目的光流法相對比較容易，但在Valet Charge里，大眾并未提及雙目光流法，可能是因?yàn)楸捡Y握有雙目光流法的專利。

在2011-2014年，雙目傳感器和360度全景相機(jī)都相當(dāng)罕見，如今奔馳、寶馬、捷豹路虎和雷克薩斯LS系列都可以裝配雙目，也有360度全景，為Valet Charge提供了基礎(chǔ)條件。