Apollo 2.5解鎖了限定區(qū)域視覺(jué)高速自動(dòng)駕駛

上周，Apollo美研在桑尼維爾舉行了關(guān)于Apollo 2.5的Meetup。會(huì)上，Apollo美研團(tuán)隊(duì)的技術(shù)大牛與來(lái)自硅谷眾多的在校學(xué)生、車(chē)企等自動(dòng)駕駛愛(ài)好者共同分享交流了Apollo 2.5相關(guān)的深度技術(shù)。沒(méi)能到達(dá)現(xiàn)場(chǎng)的國(guó)內(nèi)開(kāi)發(fā)者可以通過(guò)以下視頻資料回顧相關(guān)技術(shù)干貨。

Apollo 2.5 Platform Overview

Jingao Wang

首先，Apollo平臺(tái)負(fù)責(zé)人王京傲為大家做了關(guān)于Apollo 2.5平臺(tái)的Overview，讓國(guó)外開(kāi)發(fā)者進(jìn)一步了解Apollo 2.5。

Apollo 2.5 解鎖了限定區(qū)域視覺(jué)高速自動(dòng)駕駛，為開(kāi)發(fā)者提供了更多場(chǎng)景、更低成本、更高性能的能力支持，開(kāi)放了視覺(jué)感知、實(shí)時(shí)相對(duì)地圖、高速規(guī)劃與控制三大能力以及更高效的開(kāi)發(fā)工具。

目前在GitHub上有9000+開(kāi)發(fā)者推薦Apollo，超過(guò)2000家合作伙伴使用Apollo，開(kāi)發(fā)者在Apollo上已經(jīng)貢獻(xiàn)了20w+行代碼，越來(lái)越多的開(kāi)發(fā)者通過(guò)Apollo搭建了屬于自己的自動(dòng)駕駛系統(tǒng)。

此外，在場(chǎng)景應(yīng)用方面，Apollo 還可支持包括乘用車(chē)、卡車(chē)、巴士、物流車(chē)、掃路車(chē)等多種車(chē)型和應(yīng)用場(chǎng)景。

Vision-Based Perception forAutonomous Driving

Tae Eun

在Apollo 2.5中，基于攝像頭的感知，簡(jiǎn)化了傳感器方案，增強(qiáng)了感知能力。在此次Meetup中，來(lái)自Apollo美研團(tuán)隊(duì)的高級(jí)架構(gòu)師Tae Eun分享了關(guān)于攝像頭的低成本視覺(jué)感知方案。

Apollo2.5 提供了多個(gè)集成式廣角攝像頭配合激光雷達(dá)，毫米波雷達(dá)的方案。其中以單目廣角攝像頭和毫米波雷達(dá)的低成本方案，相比之前2.0中64線激光雷達(dá)+廣角攝像頭+毫米波雷達(dá)的硬件配置方案，成本降低了90%。這種大幅度的成本節(jié)省，加上高效率的感知算法，將大大有助于測(cè)試有限區(qū)域的高速公路駕駛。

此外，傳感器的減少并不會(huì)降低感知的性能。在Apollo 2.5中我們使用了基于Yolo的多任務(wù)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行障礙物和車(chē)道線的檢測(cè)及分類(lèi)。

感知輸入是從攝像頭捕捉的視頻幀，我們可以將其視為一系列的靜態(tài)2D圖像，所以如何從這些視圖中計(jì)算出障礙物的3D屬性便是關(guān)鍵問(wèn)題。在我們的方法中，我們首先使用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別2D圖像中的障礙物，通過(guò)獲得的邊界框和障礙物的觀察角度。然后，我們可以使用line-segment算法，用攝像頭射線和攝像頭的校準(zhǔn)來(lái)重建3D障礙物。整個(gè)過(guò)程可以在小于0.1毫秒內(nèi)完成。

最后，我們來(lái)看看處理后的車(chē)道線邏輯。首先，用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)掃描2D圖像的每個(gè)像素以確定它是否屬于行車(chē)道，以便生成像素化的車(chē)道線。然后，使用連接分析，我們可以將相鄰的車(chē)道線像素連接起來(lái)完成整個(gè)車(chē)道線段的連接，通過(guò)多項(xiàng)式擬合確保車(chē)道線的平滑性。根據(jù)當(dāng)前車(chē)輛的位置，我們可以推導(dǎo)出車(chē)道線的語(yǔ)義含義：無(wú)論是左，右或相鄰的車(chē)道線。然后將車(chē)道線轉(zhuǎn)換到車(chē)輛坐標(biāo)系中，發(fā)送給其他需要的模塊。