基于3D視覺系統(tǒng)的自動(dòng)駕駛導(dǎo)航

自動(dòng)駕駛需要許多技術(shù)，但強(qiáng)大的3D感知是車輛與周圍環(huán)境互動(dòng)的先決條件。目前，最標(biāo)準(zhǔn)的方法是基于Lidar來(lái)檢測(cè)和識(shí)別物體，發(fā)現(xiàn)可行駛道路和相關(guān)任務(wù)。相比于Lidar，基于視覺信息（如圖像或視頻）的3D感知對(duì)降低成本也至關(guān)重要。

2018計(jì)算機(jī)視覺歐洲大會(huì)（European Conference on Computer Vision，簡(jiǎn)稱ECCV）主辦的這一挑戰(zhàn)要求參賽者基于3D視覺系統(tǒng)來(lái)完成自動(dòng)駕駛相關(guān)的一些相關(guān)任務(wù)，ApolloScape作為Apollo開源平臺(tái)的一部分，將為本次大會(huì)的計(jì)算機(jī)視覺社區(qū)提供一個(gè)大規(guī)模和高質(zhì)量的真實(shí)場(chǎng)景數(shù)據(jù)集。本次大會(huì)將于9月8日-14日在德國(guó)慕尼黑舉辦，該會(huì)議與CVPR、ICCV共稱為計(jì)算機(jī)視覺領(lǐng)域三大頂級(jí)學(xué)術(shù)會(huì)議。

ApolloScape是百度在2017年創(chuàng)立的的Apollo自動(dòng)駕駛開源平臺(tái)的一部分。為了刻畫高細(xì)粒度的靜態(tài)3D世界，我們使用移動(dòng)激光雷達(dá)掃描儀器從Reigl收集點(diǎn)云。這種方法產(chǎn)生的三維點(diǎn)云要比Velodyne產(chǎn)生點(diǎn)云更精確更稠密。在采集車車頂上安裝有標(biāo)定好的高分辨率相機(jī)以每一米一幀的速率同步記錄采集車周圍的場(chǎng)景。而且，整個(gè)系統(tǒng)配有高精度GPS和IMU，相機(jī)的實(shí)時(shí)位姿都可以被同步記錄。我們的采集圖像來(lái)自于中國(guó)的不同城市，比如北京、上海和深圳等。

ApolloScape擁有來(lái)自現(xiàn)實(shí)世界的高質(zhì)量的靜態(tài)場(chǎng)景的3D標(biāo)注與動(dòng)態(tài)物體的2D標(biāo)注。目前，已經(jīng)產(chǎn)出了14.7萬(wàn)張標(biāo)注，覆蓋了來(lái)自三個(gè)城市的三個(gè)站點(diǎn)周圍10KM的地域。而且，每個(gè)區(qū)域都在不同的天氣和光照條件下進(jìn)行了重復(fù)掃描。最終，ApolloSacpe將會(huì)發(fā)展成為一個(gè)不斷更新進(jìn)化的數(shù)據(jù)集，來(lái)自新的城市的數(shù)據(jù)標(biāo)注也會(huì)陸續(xù)的加入其中。ApolloSacpe計(jì)劃產(chǎn)出至少20萬(wàn)張圖片用于舉行不同的挑戰(zhàn)賽，其中將會(huì)覆蓋來(lái)自三個(gè)城市的5個(gè)站點(diǎn)的20KM的道路。在下文中，我們將會(huì)針對(duì)不同的挑戰(zhàn)任務(wù)進(jìn)行詳細(xì)的介紹。

關(guān)于挑戰(zhàn)賽

對(duì)于所有的挑戰(zhàn)，除了測(cè)試精準(zhǔn)度外（精準(zhǔn)度會(huì)用來(lái)給算法排名次），我們也要求參與者具體說(shuō)明他們所使用的算法的速度和執(zhí)行細(xì)節(jié)。我們會(huì)鼓勵(lì)實(shí)時(shí)運(yùn)行的算法，例如30 fps，也會(huì)將他們突出標(biāo)注在排行榜上，因?yàn)樗俣仁菍?shí)際應(yīng)用的關(guān)鍵屬性。

挑戰(zhàn)賽內(nèi)容：基于視覺的細(xì)粒度車道標(biāo)記分割

具有車道標(biāo)記的高精地圖通常用作自動(dòng)駕駛車輛的后端導(dǎo)航。目前，大多數(shù)高精地圖的生產(chǎn)主要由手工標(biāo)記構(gòu)建。在此挑戰(zhàn)中，我們要求參與者設(shè)計(jì)實(shí)現(xiàn)基于RGB圖像的道路基本元素的自動(dòng)檢測(cè)算法。這些分割結(jié)果直接用于高精地圖的生產(chǎn)或更新環(huán)節(jié)。這項(xiàng)任務(wù)的挑戰(zhàn)之處在于不清晰的車道標(biāo)注和擁擠復(fù)雜的交通環(huán)境。

整個(gè)數(shù)據(jù)集的Ground truth是在三維點(diǎn)云上標(biāo)注完成的。然后通過(guò)投影得到2D圖像的Ground truth。 此外， 移動(dòng)障礙物的遮擋問(wèn)題我們也通過(guò)2D圖像上的手動(dòng)標(biāo)注來(lái)完成了。參與者還可以利用相應(yīng)的視頻、相機(jī)內(nèi)參和位置來(lái)幫助分割任務(wù)。我們?cè)趫D一中舉例說(shuō)明了3D車道標(biāo)記，在圖二中列出了2D的Ground truth。詳細(xì)的評(píng)估標(biāo)準(zhǔn)請(qǐng)參考我們的ECCV挑戰(zhàn)賽網(wǎng)站（http://apolloscape.auto/ECCV/index.html）。

2.實(shí)時(shí)自定位

基于視覺的自定位，即通過(guò)圖像或視頻估計(jì)相機(jī)的6自由度位姿。與使用LIDAR相比， 具有成本低的優(yōu)勢(shì)，但同時(shí)也具有更高的挑戰(zhàn)。在我們的數(shù)據(jù)集上我們測(cè)試了最新的自定位算法如VidLoc[2],然而我們發(fā)現(xiàn)離工業(yè)應(yīng)用仍然有很大的差距（定位精度必須小于15cm）。此外，自我定位算法的實(shí)時(shí)性對(duì)于自動(dòng)駕駛也至關(guān)重要。

在這次挑戰(zhàn)中，我們提供了大量的帶有精度相機(jī)位姿的訓(xùn)練視頻。同時(shí)我們的測(cè)試視頻也來(lái)自于同一個(gè)場(chǎng)景，但是在不同的時(shí)間、不同的天氣以及交通狀況下采集的。我們的指標(biāo)與DeLS-3D[3]和PoseNet[4]相同。在圖3中，我們突出標(biāo)記了地面實(shí)況攝像頭姿勢(shì)。我們已經(jīng)將所有的Ground truth與ApolloScape發(fā)布的數(shù)據(jù)結(jié)合起來(lái)。詳細(xì)的評(píng)估標(biāo)準(zhǔn)請(qǐng)參考我們的ECCV挑戰(zhàn)賽網(wǎng)站（http://apolloscape.auto/ECCV/index.html）。

3.3D汽車實(shí)例了解

對(duì)于自動(dòng)駕駛車輛來(lái)說(shuō)，檢測(cè)其他車輛、行人、乘客等是非常重要的。系統(tǒng)必須了解每個(gè)圖像幀中每個(gè)物體的3D關(guān)系，尤其是自動(dòng)駕駛車輛周圍或附近的物體。在該挑戰(zhàn)中，參賽者需要檢測(cè)，重建和估計(jì)圖像中所有車輛的3D形狀。圖4中顯示了兩幀標(biāo)注圖像的樣例。

我們將基于平均精度（AP）來(lái)評(píng)估車輛的3D邊框果，3D形狀和姿勢(shì)。這與2D實(shí)例檢測(cè)和分割類似。詳細(xì)的評(píng)估標(biāo)準(zhǔn)請(qǐng)參考我們的ECCV挑戰(zhàn)賽網(wǎng)站（http://apolloscape.auto/ECCV/index.html）。

關(guān)于ApolloScape

目前ApolloScape已開放了14.7萬(wàn)幀的像素級(jí)語(yǔ)義標(biāo)注圖像，向全球的自動(dòng)駕駛技術(shù)研究人員提供更為實(shí)用的數(shù)據(jù)資源。通過(guò)高精度的采集、標(biāo)注，創(chuàng)造了全球最大的三維自動(dòng)駕駛數(shù)據(jù)集Scene Parsing（場(chǎng)景解析）。

此外，ApolloScape計(jì)劃為數(shù)據(jù)集拓展更多類型、更多屬性的數(shù)據(jù)：通過(guò)添加紅外圖像，幫助自動(dòng)駕駛算法更容易進(jìn)行夜間檢測(cè)；提取更稠密的軌跡信息，用于對(duì)駕駛行為進(jìn)行建模；以及通過(guò)眾包模式采集立體視覺的駕駛特殊事件圖像。開發(fā)者也可以參照我們?cè)贑VPR上發(fā)表的有關(guān)自動(dòng)駕駛數(shù)據(jù)集的論文，以便于更好的使用ApolloScape數(shù)據(jù)集。