Apollo 3.0開發(fā)者技術(shù)沙龍干貨要點(diǎn)

上周六，我們在北京舉辦了Apollo 3.0開發(fā)者技術(shù)沙龍活動(dòng)。縱然當(dāng)天氣溫已達(dá)40℃，也擋不住開發(fā)者對Apollo的熱情，沙龍吸引了來自車企、科技公司、高校的近400名開發(fā)者參加。本次沙龍我們邀請了Apollo團(tuán)隊(duì)的中美自動(dòng)駕駛技術(shù)專家，從車輛開放平臺(tái)、硬件開發(fā)平臺(tái)、功能安全及量產(chǎn)解決方案四個(gè)方面著手，為開發(fā)者全面解讀Apollo 3.0從研發(fā)到量產(chǎn)的技術(shù)原理。

1

Apollo 3.0自動(dòng)駕駛開放平臺(tái)介紹

Apollo技術(shù)布道師胡曠做了開場演講。他首先介紹了百度Apollo的發(fā)展歷程。在今年7月Apollo 3.0推出前，Apollo已經(jīng)在一年里迭代了4個(gè)版本，最新的版本不僅更新了激光雷達(dá)、攝像頭、毫米波雷達(dá)、組合導(dǎo)航系統(tǒng)以及超聲波雷達(dá)等硬件設(shè)施，還在自動(dòng)駕駛的感知、定位、規(guī)劃、決策以及控制等技術(shù)上進(jìn)行了升級(jí)。

在本次沙龍中，胡曠對百度Apollo 3.0的新特性進(jìn)行了詳細(xì)介紹，包括Apollo 3.0的架構(gòu)升級(jí)以及新推出的核心能力。

如圖所示，在云服務(wù)平臺(tái)以及軟件平臺(tái)方面，Apollo 3.0針對量產(chǎn)低速園區(qū)場景全面升級(jí)七大能力：低速園區(qū)感知算法、低速園區(qū)規(guī)劃算法、低速園區(qū)控制方案、賦能量產(chǎn)安全監(jiān)控、賦能量產(chǎn)HMI調(diào)試工具、賦能量產(chǎn)開發(fā)者接口、開發(fā)者貢獻(xiàn)相對地圖。

在硬件開發(fā)方面，Apollo 3.0從參考硬件升級(jí)為硬件開發(fā)平臺(tái)，新增了15種硬件選型，發(fā)布了Apollo傳感器單元，并添加底層軟件抽象層，旨在為用戶提供更多接口的同時(shí)還可以做時(shí)間戳同步及空間數(shù)據(jù)的融合。

在車輛平臺(tái)方面，Apollo 3.0從車輛參考平臺(tái)升級(jí)為車輛認(rèn)證平臺(tái)，鏈接車企與開發(fā)者需求，加速無人駕駛的部署和量產(chǎn)。

2

Apollo 3.0 PnC更新以及車輛認(rèn)證平臺(tái)介紹

Apollo控制、車輛交互技術(shù)負(fù)責(zé)人羅琦在此次分享中介紹了Apollo3.0 軟件平臺(tái)更新以及車輛認(rèn)證平臺(tái)。

Apollo軟件平臺(tái)更新

在演講中，羅琦首先對Apollo 3.0 Monitor狀態(tài)監(jiān)控模塊的升級(jí)和Guardian新模塊的加入進(jìn)行了介紹。

Monitor模塊和Guardian模塊是對于Functional safety 和 Fault handling的初步嘗試。其主要的工作方式為：Monitor系統(tǒng)實(shí)時(shí)監(jiān)測硬件及軟件各個(gè)模塊的健康狀態(tài)，以及是否收到一些最重要的信號(hào)。一旦發(fā)現(xiàn)障礙物，Monitor就會(huì)通知Guardian模塊，同時(shí)在Dreamview上通過聲音和圖像的方式提示接管。緊接著，Guardian模塊會(huì)根據(jù)Monitor發(fā)來的信息，進(jìn)行一系列的動(dòng)作。當(dāng)超聲波傳感器正常工作并且前方?jīng)]有檢測到障礙物的前提下，嘗試在10s內(nèi)緩緩?fù)＼嚕划?dāng)超聲波傳感器不正常工作或者監(jiān)測到有障礙物，會(huì)為了防止碰撞緊急剎車。

相對地圖

相對地圖最初是在Apollo 2.5中發(fā)布。目的是在一些相對簡單的路況上，降低對于高精地圖的依賴。在Apollo 2.0以及之前的開放中，高精地圖主要用于3D雷達(dá)的監(jiān)測，2D相機(jī)紅綠燈監(jiān)測，以及定位模塊的多傳感器融合。在Apollo2.5中，百度主要依賴相機(jī)進(jìn)行障礙物和車道線的監(jiān)測，同時(shí)定位模塊主要依賴相對車道線或者GPS定位。

相對地圖總共有三種工作模式：

第一種是直接由實(shí)時(shí)的感知模塊監(jiān)測到的道路邊界，以10hz的頻率生成。好處是完全脫離對高精地圖和高精定位的依賴，且部署成本較低；壞處是這種工況對于車道線本身的車道線標(biāo)注是否清晰依賴度較高，同時(shí)在這種工況下只能進(jìn)行簡單的ACC和lane keeping。

第二種是指引線加上相對地圖。這樣的方式對于定位有較強(qiáng)依賴，而對車道線本身標(biāo)注的清晰程度依賴較低。同時(shí)，可以不基于高精地圖，仍然保持較為靈活的部署方式。

第三種是基于指引線+高精地圖模式，也就是說和原本2.0的方案兼容。這樣的好處就是得到最全面和精確的地圖定位信息，但部署成本較高。

Apollo 2.5發(fā)布的是只支持單車道的方案，在Apollo 3.0以及3.0以后中，為了支持合作伙伴在這種相對地圖模式下的超車、換道等需求，Apollo加入了多車道的相對地圖支持。

這部分內(nèi)容，Apollo資深軟件工程師Yifei在上周社群分享中為大家做了詳細(xì)講解，具體內(nèi)容可參考《Apollo相對地圖：基于人工駕駛路徑的實(shí)時(shí)地圖生成》。

Lattice Planner

Lattice Planner是一種Sample Based Planning的算法，具體的算法過程為：

1. 橫向和縱向分別撒點(diǎn)， 根據(jù)實(shí)時(shí)的決策目標(biāo)，比如跟車或者停止，在車輛的狀態(tài)空間內(nèi)取不同的終點(diǎn)。用高階曲線鏈接起點(diǎn)和不同狀態(tài)的終點(diǎn)。

2. 根據(jù)體感，是否達(dá)到終點(diǎn)狀態(tài)等，對于橫向和縱向的曲線assign不同的cost。

3. 將橫縱向的曲線bundle起來形成最終的曲線，之后根據(jù)曲線bundle后的cost，從小到大排序，再檢查bundler后的曲線是否符合各種gometry constraint 和通過collision check。

4. 最終輸出滿足條件的最優(yōu)的解。

同樣， Lattice Planner也有其獨(dú)特的優(yōu)勢及劣勢。與現(xiàn)在的EM Planner對比，Lattice Planner在調(diào)試性和可理解性上都要容易很多。但是與現(xiàn)有的Planner相比，因?yàn)檐壽E之間是用高階曲線進(jìn)行連接，所以Lattice Planner在特別復(fù)雜的條件下表達(dá)能力有所欠缺。更適合相對比較容易的高速場景以及末端物流場景。

Fleet Management

Apollo定義了第三方平臺(tái)和云服務(wù)平臺(tái)的車輛接口、合作方接口、園區(qū)接口、以及起始終點(diǎn)接口。同時(shí)在百度云端服務(wù)和車端自動(dòng)駕駛系統(tǒng)中，定義了起始點(diǎn)、車輛調(diào)度整合、聚焦車輛接口以及狀態(tài)收集接口，這些接口和量產(chǎn)接口保持一致，保證了和合作方是一套調(diào)度接口，可以進(jìn)行一些功能的實(shí)現(xiàn)。

Apollo開放車輛標(biāo)準(zhǔn)

上圖為Apollo開放車輛接口標(biāo)準(zhǔn)，主要分為兩大部分：線控系統(tǒng)和車輛系統(tǒng)。對于線控系統(tǒng)，百度對接入的系統(tǒng)有著功能，性能，安全指標(biāo)等一系列要求。對于車輛系統(tǒng)本身，百度也對其中的一些功能指標(biāo)，性能指標(biāo)，安全指標(biāo)，能耗指標(biāo)具有一系列的要求。

3

自動(dòng)駕駛硬件系統(tǒng)及Apollo硬件開發(fā)平臺(tái)的簡介

百度自動(dòng)駕駛技術(shù)部高級(jí)產(chǎn)品經(jīng)理王石峰，從傳感器的產(chǎn)品定義出發(fā)介紹了整體自動(dòng)駕駛的硬件系統(tǒng)，使開發(fā)者能根據(jù)自身的自動(dòng)駕駛ODD選擇更加適用的硬件選型和方案。

自動(dòng)駕駛的硬件系統(tǒng)

從整體看自動(dòng)駕駛的硬件系統(tǒng)，可粗略分為感知、決策、控制三大模塊。

在車輛感知上，一方面要從車輛運(yùn)動(dòng)考慮到車的速度和轉(zhuǎn)角信息，另一方面還要考慮到環(huán)境感知，例如激光雷達(dá)、超聲波、攝像頭，毫米波雷達(dá)等傳感器的使用。另外，駕駛員監(jiān)測主要是通過攝像頭和生物電傳感器，生物電傳感器集成在方向盤里面，可判斷駕駛員的手是否脫離方向盤。與此同時(shí)，生物電傳感器也可以檢測駕駛員的精神狀態(tài)。

在車輛決策上，主要就是計(jì)算單元，各類傳感器信息統(tǒng)一到計(jì)算單元處理。T-BOX向上接互聯(lián)網(wǎng)，向下接CAN總線，可實(shí)現(xiàn)遠(yuǎn)程對車輛的控制。黑匣子記錄車輛控制和行駛信息，可提供信息對事故進(jìn)行判定。

在車輛控制上，主要有制動(dòng)、轉(zhuǎn)向、發(fā)動(dòng)機(jī)、變速箱，以及警告系統(tǒng)，聲音、圖像、振動(dòng)。

接下來具體到自動(dòng)駕駛硬件系統(tǒng)中的傳感器、計(jì)算單元及車輛線控。

傳感器

自動(dòng)駕駛使用的感知類的傳感器，主要有激光雷達(dá)、毫米波雷達(dá)、攝像頭、組合導(dǎo)航。激光雷達(dá)安裝在車頂，360度同軸旋轉(zhuǎn)，可以提供周圍一圈的點(diǎn)云信息。另外，激光雷達(dá)不光用于感知，也可用在定位和高精度地圖的測繪。毫米波雷達(dá)安裝在保險(xiǎn)杠上，與激光雷達(dá)原理類似，通過觀察電磁波回波入射波的差異來計(jì)算速度和距離。組合導(dǎo)航分為兩部分，一部分是GNSS板卡，另一部分是INS。當(dāng)車輛行駛到林蔭路或是建筑物附近，GPS會(huì)產(chǎn)生偏移或是信號(hào)屏蔽的情況，這時(shí)可通過與INS進(jìn)行組合運(yùn)算解決問題。

計(jì)算單元

說到自動(dòng)駕駛汽車的計(jì)算單元，首先必須考慮到冗余設(shè)計(jì)。在計(jì)算單元中，所有的CPU、GPU、FPGA都是雙冗余備份，總線上包括PCIE和Ethernet也都是雙冗余。當(dāng)所有系統(tǒng)失效的情況下，還可通過MCU發(fā)出控制指令到車輛控制單元?jiǎng)x車制動(dòng)，保證安全性。這種中央集中式的計(jì)算有利于算法快速迭代，但也有缺點(diǎn)：整個(gè)單元體積比較大，功耗比較高。那有什么辦法可以降低功耗和體積？可以考慮分布式邊緣計(jì)算架構(gòu)。以激光雷達(dá)算法的公司Dibotics為例，將SLAM算法寫到Renesas 的R-Car芯片上，再將芯片植入到傳感器中。另外，自動(dòng)駕駛的芯片車規(guī)是在封裝過程中完成，其主要指標(biāo)是功耗、算力和面積。目前整個(gè)芯片制造正從16納米向7納米迭代，7納米對比16納米整個(gè)運(yùn)算率會(huì)提升40%，功耗會(huì)降低60%。

線控系統(tǒng)

自動(dòng)駕駛的線控系統(tǒng)分為減速、轉(zhuǎn)向和加速三大部分。線控1.0 版對車輛的踏板以及方向盤進(jìn)行改裝；線控2.0 版對車輛的ADAS系統(tǒng)進(jìn)行借用，如MKZ的自動(dòng)泊車以及ACC；線控3.0 版對車輛進(jìn)行定制，所有系統(tǒng)均可線控和手動(dòng)控制。

Apollo 3.0硬件開發(fā)平臺(tái)

上圖為Apollo 3.0硬件開發(fā)平臺(tái)結(jié)構(gòu)圖。Apollo 3.0將Apollo參考硬件全面升級(jí)為Apollo硬件開發(fā)平臺(tái)。成功適配并增加了15種以上的設(shè)備，添加底層硬件抽象層?？蛇m配多種數(shù)據(jù)格式，定義通用的API接口，無縫銜接Apollo上層軟件，使得多種硬件設(shè)備在Apollo平臺(tái)上實(shí)現(xiàn)即插即用。極大的方便了開發(fā)者，合作伙伴和硬件廠商，節(jié)省了大家對Apollo平臺(tái)的開發(fā)適配時(shí)間。

4

Apollo 3.0 功能安全探索

安全是自動(dòng)駕駛前行的保障，尤其是對于L4級(jí)別的自動(dòng)駕駛系統(tǒng)，功能安全更是一個(gè)全新的領(lǐng)域與挑戰(zhàn)。基于此，百度自動(dòng)駕駛計(jì)算平臺(tái)資深研發(fā)工程師楊凱現(xiàn)場分享了Apollo在功能安全方面的探索。

功能安全是什么

無人車主要分為兩大塊，一塊是網(wǎng)絡(luò)安全，另一塊就是功能安全。網(wǎng)絡(luò)安全主要是指駕駛軟件信息不被黑客竊取。而功能安全是指通過冗余、多樣性手段構(gòu)建功能安全子系統(tǒng)，極大限度召回軟硬件故障，使得損害風(fēng)險(xiǎn)降低到可接受的水平。

功能安全如何做

在自動(dòng)駕駛的功能安全上，Apollo采用了電子電器行業(yè)標(biāo)準(zhǔn)ISO26262。但是目前看，市面上的功能安全還存在很多挑戰(zhàn)：目前業(yè)界并無標(biāo)準(zhǔn)可循，不存在為自動(dòng)駕駛制定的功能安全標(biāo)準(zhǔn)。傳統(tǒng)的汽車電子電氣開發(fā)遵守國際標(biāo)準(zhǔn)ISO 26262。另外，目前大部分研發(fā)自動(dòng)駕駛的廠商還是聚焦在自動(dòng)駕駛功能本身，只有少數(shù)在參考ISO 26262的思路，結(jié)合自動(dòng)駕駛系統(tǒng)的特點(diǎn)，探索自動(dòng)駕駛的功能安全機(jī)制。

面對挑戰(zhàn)，Apollo從兩個(gè)方面出發(fā)：從全局看，落實(shí)ISO26262，搭建安全流程，系統(tǒng)地分析解決系統(tǒng)風(fēng)險(xiǎn)點(diǎn)；從局部看，建立無人駕駛安全子系統(tǒng)，召回軟硬件故障，建立安全防線。

功能安全子系統(tǒng)

下圖為功能安全的主系統(tǒng)思路。Apollo把自動(dòng)駕駛主系統(tǒng)比作成一個(gè)人，感知是大腦，控制是手和腳。當(dāng)駕駛員遇到突發(fā)狀況而面臨安全風(fēng)險(xiǎn)時(shí)，系統(tǒng)會(huì)根據(jù)情況做故障檢測和故障處理。

故障處理分為5個(gè)等級(jí)：第一個(gè)等級(jí)警告，不是特別嚴(yán)重；第二個(gè)等級(jí)是減速，當(dāng)系統(tǒng)延遲比較大的時(shí)候，會(huì)相應(yīng)地做降速行使；第三個(gè)等級(jí)停車，比如傳感器失效，就需要緊急停車；第四個(gè)等級(jí)是靠邊停車，不過是否能夠靠邊停車是由它發(fā)生的故障決定，比如感知系統(tǒng)失效就不能進(jìn)行靠邊停車；第五個(gè)等級(jí)就是繼續(xù)行駛，無碰撞風(fēng)險(xiǎn)障礙。

熔斷機(jī)制&碰撞檢測

在楊凱介紹功能安全的熔斷機(jī)制時(shí)，他說道：“在沒有功能安全這個(gè)機(jī)制的時(shí)候，系統(tǒng)需要把感知發(fā)給規(guī)劃，規(guī)劃再發(fā)給行動(dòng)，進(jìn)而行動(dòng)再控制車輛。我們把主系統(tǒng)的控制權(quán)拿過來讓安全系統(tǒng)直接進(jìn)行接管。”

如圖所示，右面是碰撞檢測，綠色區(qū)域是規(guī)劃距離，也就是正常的車在規(guī)劃過程中會(huì)與行車保持一個(gè)安全距離，而這個(gè)安全距離要遠(yuǎn)于功能安全的檢測距離。紅色區(qū)域是安全檢測的碰撞區(qū)域，比如下面的公式，參考mobilSS。

第一部分VR是round。

第二部分是當(dāng)前在R的時(shí)間內(nèi)有可能的加速度，也就是你最大可能加速的時(shí)候可以行進(jìn)多少距離。

公式第三部分是后車加速到一個(gè)速度之后，它用極小的速度減速，往前運(yùn)行。第四部分是突然減速，后車的距離。

這四部分就是我們能夠剎住車的安全距離，在達(dá)到安全距離這種情況下我們就需要立即停車，保障避免風(fēng)險(xiǎn)。

另外在碰撞的時(shí)候，除了剛才強(qiáng)調(diào)的冗余機(jī)制、碰撞檢測之外，還有多樣性的感知算法，比如說CNN感知算法。

4

Apollo3.0演進(jìn)與Apollo Pilot量產(chǎn)園區(qū)解決方案詳解

從實(shí)驗(yàn)室走向量產(chǎn)需要解決哪些問題？百度自動(dòng)駕駛事業(yè)部的資深架構(gòu)師楊凡從安全、智能、量產(chǎn)及經(jīng)濟(jì)四個(gè)方面為大家進(jìn)行了講解，并提出了為量產(chǎn)車輛量身打造的一站式解決方案。

量產(chǎn)園區(qū)自動(dòng)駕駛解決方案

首先，最重要的一點(diǎn)是安全，安全不管是Apollo發(fā)布還是在日常工作中都是最核心的事情，Apollo大量的工作或直接或間接都是安全。在這其中，百度最關(guān)注的就是從整體設(shè)計(jì)上的安全。因此，Apollo作出了一個(gè)獨(dú)立的物理隔離的安全功能，另外還提供了網(wǎng)絡(luò)安全、所有的驗(yàn)證安全，以及對行使過程中的安全和運(yùn)營進(jìn)行多方面的考慮。

接下來是智能，Apollo完成量產(chǎn)是為了和市場合作，真正把它做成一個(gè)產(chǎn)品。所以，它應(yīng)該是足夠智能的，能夠解決它在路上所有實(shí)際應(yīng)用需求的工況，并要有實(shí)際的可應(yīng)用價(jià)值，還需要與人有足夠多的互動(dòng)。

第三點(diǎn)是量產(chǎn)，我們知道做第一輛車很簡單，因?yàn)槠渚哂械莫?dú)特性，只要用最好的儀器和設(shè)施就可以，如果出現(xiàn)問題，可隨時(shí)用更好的工具進(jìn)行調(diào)整。但是如果是量產(chǎn)的東西，就會(huì)出現(xiàn)經(jīng)常說到的召回的概念。但事實(shí)上，如果真正有問題了，特別是現(xiàn)在在很多產(chǎn)業(yè)通用化的前提下，一個(gè)平臺(tái)召回可能是幾十萬輛車，這是非常巨大并且不可能承受的成本。所以在量產(chǎn)上，需要防患于未然，在量產(chǎn)設(shè)計(jì)之前要把翻案和可行性做到切實(shí)，并且在生產(chǎn)過程中需要讓每一個(gè)工人可以使用有效的方式來簡潔明確的把這個(gè)東西生產(chǎn)到位，這就是與實(shí)驗(yàn)室的不同。

最后是經(jīng)濟(jì)，價(jià)格必須要降到足夠便宜。關(guān)注Apollo的朋友應(yīng)該知道，一開始的價(jià)格都是比較高昂，包括2B的消費(fèi)者可能都不見得能承受這樣的產(chǎn)品。而現(xiàn)如今，剛剛推出的Apollo兩款產(chǎn)品，一個(gè)是阿波龍，一個(gè)是L4小車，都是可以完成量產(chǎn)，這是一個(gè)突破，實(shí)現(xiàn)則需要滲透到方方面面。也就是說在設(shè)計(jì)階段要考慮合理的成本，還要有高能力的配合，然后在具體供貨階段要考慮這些供貨必須是市場上穩(wěn)定的，才是一個(gè)穩(wěn)定有保障的解決方案。

Apollo Pilot MiniBus和MicroCar方案都包括自動(dòng)駕駛套件、安全保障體系、人機(jī)交互方案、量產(chǎn)工具組件、高效運(yùn)營方案。

自動(dòng)駕駛套件包括結(jié)合車型的硬件方案和軟件方案。在安全保障體系中，Apollo對網(wǎng)絡(luò)安全、功能安全、驗(yàn)證與測試及風(fēng)險(xiǎn)應(yīng)對機(jī)制等方面進(jìn)行了全面升級(jí)，為自動(dòng)駕駛量產(chǎn)打造了全生命周期保護(hù)。除此之外，Apollo還提供了智能人機(jī)交互方案，為優(yōu)質(zhì)和安全的用戶體驗(yàn)保駕護(hù)航。量產(chǎn)工具組件可以將以往需要工程師實(shí)施的高精工作讓產(chǎn)線工人大批量高可靠地完成。

最后，楊凡分享了百度對Apollo 3.0高效的運(yùn)營方案。從OTA更新和車隊(duì)管理入手，為用戶提供自動(dòng)駕駛套件及高精地圖，對車輛及模塊狀態(tài)進(jìn)行監(jiān)控和遠(yuǎn)程控制、提供站點(diǎn)播報(bào)和多媒體內(nèi)容管理，并開放API。在未來，量產(chǎn)解決方案將助力合作伙伴實(shí)現(xiàn)更高、更強(qiáng)的自動(dòng)駕駛能力。