介紹一種純記憶模式下的智能駕駛行車(chē)設(shè)計(jì)方法

功能控制邏輯 ?

與記憶泊車(chē)類(lèi)似，記憶行車(chē)這一功能主要實(shí)現(xiàn)簡(jiǎn)單的面向服務(wù)的應(yīng)用服務(wù)。實(shí)現(xiàn)的典型應(yīng)用場(chǎng)景包括：上下班路線(xiàn)，接送兒童，商超采購(gòu)等。即，駕駛員通過(guò)在系統(tǒng)上設(shè)置想要到達(dá)的目的地，激活記憶行車(chē)功能后，智駕車(chē)輛可以參照之前記憶的行車(chē)路線(xiàn)自主駕駛到目的地。期間，系統(tǒng)需要記憶用戶(hù)示教路線(xiàn)，實(shí)現(xiàn)從 A 到 B 點(diǎn)的全場(chǎng)景領(lǐng)航輔助駕駛，包含自動(dòng)通過(guò)路口、掉頭、變道等。?

?

實(shí)現(xiàn)記憶行車(chē)功能的步驟主要分為兩步：

1）首先，駕駛員在手動(dòng)駕駛下，將車(chē)輛從起始點(diǎn)A開(kāi)到終點(diǎn)B。期間，記憶行車(chē)系統(tǒng)需要在后臺(tái)完成如下工作：

后臺(tái)通過(guò)即時(shí)定位建圖構(gòu)建駕駛員開(kāi)車(chē)行駛過(guò)的路段對(duì)應(yīng)的實(shí)時(shí)局部地圖；

后臺(tái)需要結(jié)合構(gòu)建的地圖在其行駛期間同步實(shí)現(xiàn)對(duì)環(huán)境信息（主要指路標(biāo)）的實(shí)時(shí)記錄；

后臺(tái)通過(guò)類(lèi)似影子模式一樣的功能記錄駕駛員的整個(gè)駕駛習(xí)慣；

后臺(tái)需要結(jié)合對(duì)應(yīng)構(gòu)建的地圖、環(huán)境信息、車(chē)輛行駛控制狀態(tài)、駕駛習(xí)慣控制狀態(tài)信息進(jìn)行實(shí)時(shí)記錄；

2）其次，在激活記憶行車(chē)功能后，系統(tǒng)需要實(shí)現(xiàn)包含如下子功能：

后臺(tái)需要通過(guò)識(shí)別的道路環(huán)境信息以及車(chē)身姿態(tài)，確認(rèn)車(chē)輛當(dāng)前位置是否是在之前定義的記憶行車(chē)路線(xiàn)上；

如果路線(xiàn)重定位成功，則控制車(chē)輛沿著既定的路線(xiàn)向前行駛至目的地。期間，整個(gè)車(chē)輛的智駕功能調(diào)用控制可以完全參照之前存儲(chǔ)的駕駛數(shù)據(jù)進(jìn)行控制；

如果重定位不成功，則提示不可激活記憶行車(chē)，并在駕駛員控制車(chē)輛手動(dòng)駕駛至目的地時(shí)，將當(dāng)前路段信息重新構(gòu)建到新的地圖中，新構(gòu)建的地圖可以認(rèn)為是之前即時(shí)建圖的補(bǔ)充。后續(xù)做記憶行車(chē)控制前可以將兩條路徑均納入備選路徑中。

一個(gè)比較尖銳的問(wèn)題就是記憶行車(chē)和傳統(tǒng)的城市自動(dòng)駕駛在對(duì)整車(chē)場(chǎng)景的控制上會(huì)有哪些相同和不同點(diǎn)呢？ ?

?

實(shí)際上，記憶行車(chē)可以看成一種狹義上的城市自動(dòng)駕駛NOA。他們應(yīng)用的傳感器單元是完全一致的，唯一的差別的就是對(duì)地圖的利用上。對(duì)于城市自動(dòng)駕駛NOA來(lái)說(shuō)，通常是會(huì)考慮直接導(dǎo)入高精地圖做精確定位，并融合導(dǎo)航信息尋找車(chē)輛的下一步的行駛路徑，而這里的記憶行車(chē)則需要區(qū)分為用戶(hù)陪駕和系統(tǒng)試校準(zhǔn)兩步。

①用戶(hù)陪駕/手動(dòng)建圖

用戶(hù)陪駕階段又稱(chēng)為手動(dòng)建圖階段。其過(guò)程是駕駛手動(dòng)駕駛車(chē)輛過(guò)程中系統(tǒng)通過(guò)后臺(tái)偷偷調(diào)用在線(xiàn)感知模塊端口進(jìn)行即時(shí)定位建圖，使得臨時(shí)的建圖可以更好的替代城區(qū)/高速路所構(gòu)建的地圖，這個(gè)過(guò)程類(lèi)似于在城市自動(dòng)駕駛中的眾包建圖。這里需要注意的是，考慮到國(guó)家對(duì)數(shù)據(jù)安全、信息安全以及地圖資質(zhì)的問(wèn)題，我們通過(guò)記憶建圖的地圖一般就是單車(chē)類(lèi)型，該圖是不能通過(guò)網(wǎng)絡(luò)上傳至云端的。當(dāng)然，如果是針對(duì)由同一家tier1開(kāi)發(fā)的同類(lèi)車(chē)型可考慮通過(guò)軟件升級(jí)方式將地圖包在該車(chē)型內(nèi)部進(jìn)行資源共享。

②智能建圖

對(duì)于記憶行車(chē)功能而言，還會(huì)充分考慮在智能駕駛系統(tǒng)功能激活的過(guò)程中，利用后臺(tái)記錄的方式進(jìn)行智能建圖。這種智能建圖過(guò)程一般還需要融合傳統(tǒng)高精定位地圖傳遞的一部分先驗(yàn)知識(shí)數(shù)據(jù)，對(duì)當(dāng)前即時(shí)建圖進(jìn)行有效補(bǔ)充。比如，當(dāng)車(chē)輛行駛在某段位置路段上，對(duì)于記憶行車(chē)來(lái)說(shuō)，考慮到算力、識(shí)別能力、存儲(chǔ)能力等，只會(huì)考慮固定的橫向距離（一般為10m范圍內(nèi)）對(duì)自車(chē)道及旁車(chē)道的三條車(chē)道進(jìn)行建模。而高精地圖則可以考慮更寬范圍的建圖（甚至達(dá)到5-6條車(chē)道）。這樣就可考慮在記憶地圖與高精地圖匹配上后，將高精地圖的數(shù)據(jù)補(bǔ)充到記憶地圖中間，擴(kuò)展記憶地圖的識(shí)別范圍和建圖能力。

當(dāng)然，如智能建圖所描述的功能來(lái)說(shuō)，要求同時(shí)進(jìn)行兩層次的計(jì)算。就有可能造成對(duì)資源的巨大消耗。這點(diǎn)上就對(duì)智駕域控的計(jì)算資源提出更大的需求。

③智能推薦

智能推薦是記憶行車(chē)功能相對(duì)于傳統(tǒng)智駕系統(tǒng)功能較大的區(qū)別點(diǎn)。一般情況下，傳統(tǒng)的ADAS系統(tǒng)功能的激活通常是由駕駛員主動(dòng)發(fā)起，系統(tǒng)處于被動(dòng)激活。當(dāng)然也有一些主機(jī)廠(chǎng)傾向于將整個(gè)功能做成可推薦式激活的方式。而記憶行車(chē)功能最大的特色就是“重定位+智能推薦”。即進(jìn)入之前已經(jīng)完成建圖的某條路徑上時(shí)，會(huì)對(duì)自車(chē)姿態(tài)和位置做定位匹配，再根據(jù)一定的HMI交互規(guī)則對(duì)進(jìn)行智能推薦是否打開(kāi)記憶行車(chē)功能。

這里需要注意的是，如果從A點(diǎn)到達(dá)B點(diǎn)過(guò)程中，駕駛員有可能在兩段不同的時(shí)間內(nèi)選擇不同的駕駛路徑行駛至終點(diǎn)。對(duì)于記憶建圖來(lái)說(shuō)，可能會(huì)存在存兩段圖的情況。記憶行車(chē)感知智駕系統(tǒng)步驟分解

對(duì)于智駕域最重要的感知源處理而言（無(wú)論是視覺(jué)點(diǎn)云、激光點(diǎn)云還是毫米波點(diǎn)云），總體可以分為四個(gè)層面的處理過(guò)程：場(chǎng)景重建、要素識(shí)別、關(guān)鍵目標(biāo)重組和自車(chē)重新定位。

?

“場(chǎng)景重建”意味著從視頻序列推斷場(chǎng)景中的幾何體，包括車(chē)輛在場(chǎng)景中的位置?！耙刈R(shí)別”是一個(gè)術(shù)語(yǔ)，用于將語(yǔ)義標(biāo)簽附加到視頻圖像或場(chǎng)景的各個(gè)識(shí)別對(duì)象中，識(shí)別中包括各種不同的層次結(jié)構(gòu)?！白攒?chē)重新定位”是指車(chē)輛相對(duì)于其周?chē)h(huán)境的位置識(shí)別和度量定位?！瓣P(guān)鍵目標(biāo)重組”是將重定位、識(shí)別、重建形成的三個(gè)組成部分信息重新整合成統(tǒng)一表示的方法。

對(duì)于如上幾種感知如何應(yīng)用到實(shí)際的感知場(chǎng)景的分析過(guò)程可以通過(guò)如下例子對(duì)過(guò)程進(jìn)行詳細(xì)分析。

這里我們可以針對(duì)智能行車(chē)功能中的新的一項(xiàng)功能——“記憶行泊車(chē)”進(jìn)行說(shuō)明。記憶行泊車(chē)這類(lèi)功能需要在自動(dòng)駕駛的視覺(jué)環(huán)境中，通過(guò)駕駛員手動(dòng)駕駛階段在后臺(tái)提前繪制車(chē)輛周?chē)h(huán)境的地圖，同時(shí)在用戶(hù)地圖中估計(jì)車(chē)輛的當(dāng)前姿態(tài)。對(duì)于建圖和重定位的關(guān)鍵任務(wù)之一是根據(jù)之前記錄的車(chē)輛行駛路徑重定位來(lái)重新定位行駛軌跡的方法。

?

1）自車(chē)建圖重定位

首先，在場(chǎng)景訓(xùn)練階段需要將自車(chē)行駛通過(guò)訓(xùn)練的“封閉路段”（這里的封閉是個(gè)廣義的概念），針對(duì)從基礎(chǔ)設(shè)施傳輸?shù)牡貓DHDMap作為底圖進(jìn)行智慧建圖。當(dāng)然，從車(chē)端的角度，也是需要結(jié)合一圈攝像頭進(jìn)行場(chǎng)景BEV建圖。這里需要說(shuō)明的是，從優(yōu)先級(jí)上講，我們一般會(huì)考慮在HDMap能夠保證一定的精度進(jìn)行正常發(fā)送時(shí)，一般以HDMap作為底圖輸入給車(chē)端。而B(niǎo)EV則作為HDMap失效后的兜底，為自車(chē)提供后備車(chē)輛定位地圖。

下圖顯示了一個(gè)經(jīng)典的基于特征的重定位pipelines。

2）環(huán)境目標(biāo)語(yǔ)義識(shí)別

其次，在場(chǎng)景理解階段進(jìn)行三維重建（即恢復(fù)場(chǎng)景三維幾何要素）和要素識(shí)別。包括場(chǎng)景繪制、障礙物避免、機(jī)動(dòng)車(chē)輛控制、甚至反射照明場(chǎng)景元素等特性。場(chǎng)景要素識(shí)別實(shí)際是一種對(duì)于場(chǎng)景元素的高級(jí)推理。即將場(chǎng)景中的汽車(chē)、二輪車(chē)、卡車(chē)等元素進(jìn)行空間層次結(jié)構(gòu)劃分子集，每個(gè)子集進(jìn)行信息標(biāo)注。

在圖像識(shí)別的關(guān)鍵要素中，首要是需要提取圖像中的顯著特征。圖像中的一個(gè)顯著特征可能是像素區(qū)域，其中強(qiáng)度以特定方式變化，例如邊緣、角落或斑點(diǎn)。要估計(jì)地標(biāo)在世界坐標(biāo)系上的位置，就需要執(zhí)行特定目標(biāo)跟蹤，其中可以匹配相同特征的兩個(gè)或多個(gè)視圖。一旦車(chē)輛移動(dòng)的足夠遠(yuǎn)導(dǎo)致對(duì)于圖像特征目標(biāo)抓取不夠清晰時(shí)，算法則會(huì)拍攝另一張圖像并重新提取相應(yīng)的特征。通過(guò)重建相應(yīng)的特征信息來(lái)獲得它們?cè)谡鎸?shí)世界中的坐標(biāo)和姿態(tài)。然后，這些檢測(cè)到的、描述的和定位的地標(biāo)被存儲(chǔ)在永久存儲(chǔ)器中，以描述車(chē)輛軌跡的相對(duì)位置。如果車(chē)輛返回限定范圍內(nèi)的相同位置，實(shí)時(shí)特征檢測(cè)將與存儲(chǔ)的地標(biāo)匹配，以恢復(fù)車(chē)輛相對(duì)于存儲(chǔ)軌跡的姿態(tài)。

3）后融合處理

最后，則是最重要的一步，控制自車(chē)對(duì)預(yù)先登記的軌跡進(jìn)行跟隨行駛。這個(gè)過(guò)程實(shí)際是對(duì)于前期識(shí)別和重建結(jié)果進(jìn)行進(jìn)一步處理，通過(guò)相機(jī)在世界坐標(biāo)系中繪制目標(biāo)地圖，參照當(dāng)前車(chē)輛的位置、位姿、自身信息等狀態(tài)對(duì)該預(yù)先設(shè)置的軌跡做時(shí)空物體跟蹤。比如，通過(guò)訓(xùn)練過(guò)的路段時(shí)，需要進(jìn)行后期融合，將傳感輸出的數(shù)據(jù)進(jìn)行路徑復(fù)制，指導(dǎo)車(chē)輛按照既定的路徑行駛。記憶行車(chē)技術(shù)支持

1）記憶建圖需求

記憶建圖原則是一種純車(chē)端傳感感知的功能，但是考慮到建圖過(guò)程中需要進(jìn)行重定位和路徑規(guī)劃。因此，還需要結(jié)合GPS定位和導(dǎo)航地圖這類(lèi)關(guān)聯(lián)系統(tǒng)的功能輸入。

并且考慮定位的精準(zhǔn)性、實(shí)時(shí)性，最好還能結(jié)合RTK這類(lèi)即時(shí)定位修正單元對(duì)實(shí)際的定位過(guò)程進(jìn)行實(shí)時(shí)修正。

?

2）建圖存儲(chǔ)空間需求

整個(gè)記憶行車(chē)功能比較大的資源消耗基本都體現(xiàn)在對(duì)于建圖、存圖和重定位上。特別是根據(jù)環(huán)境目標(biāo)來(lái)即時(shí)建圖上，需要充分考慮所構(gòu)建的地圖大小。這里和高精地圖的眾包建圖類(lèi)似，實(shí)際它是一種車(chē)端的建圖過(guò)程。

由于記憶行車(chē)建圖所構(gòu)建的地圖整體是通過(guò)車(chē)端傳感器對(duì)整個(gè)環(huán)境信息的識(shí)別上。識(shí)別的過(guò)程實(shí)際就是一種即時(shí)定位建圖、存圖的過(guò)程。因此如上過(guò)程需要對(duì)中央計(jì)算單元的算力和存儲(chǔ)能力提出需求。

這里需要說(shuō)明的是整個(gè)記憶行車(chē)功能激活的路線(xiàn)長(zhǎng)度需要做一定程度的限定。通常需要考慮在就近行駛情況。比如上下班的日常通勤時(shí)間，為1小時(shí)（大概為35km左右）。如考慮超過(guò)1.5小時(shí)通勤時(shí)一般會(huì)存在一定的高速/快速場(chǎng)景（大概為 40~50km），路程約為70-80km。我們考慮的記憶行車(chē)過(guò)程其最大的記憶路線(xiàn)通常設(shè)置為150km，每2M/公里觸發(fā)一次地圖數(shù)據(jù)存儲(chǔ)。并且，對(duì)于記憶行車(chē)來(lái)說(shuō)，其建圖過(guò)程還涉及包含對(duì)一些高精地圖覆蓋的內(nèi)部道路進(jìn)行建圖。這類(lèi)稍微極端的建圖成功率一般能達(dá)到90%。

建圖過(guò)程主要采用小圖到大圖的拼接過(guò)程。即，通過(guò)通過(guò)定位的車(chē)身位置，考慮在其周?chē)?0-20m的范圍內(nèi)進(jìn)行小圖建圖，隨后通過(guò)小圖拼接可以形成大圖，最終使得拼接結(jié)果接近真值。

對(duì)于這類(lèi)記憶建圖來(lái)說(shuō)一般會(huì)充分考慮采用差分?jǐn)?shù)據(jù)更新的方式進(jìn)行。通常，針對(duì)如上路段的存儲(chǔ)需求一般10GB足夠，這類(lèi)地圖通常也是存儲(chǔ)在EMMC里面。

3）建圖實(shí)時(shí)性要求

通常情況下，我們這里提到的記憶建圖是在中低速情況下進(jìn)行。因?yàn)樗俣仍降鸵馕吨鴮?duì)同一個(gè)類(lèi)似場(chǎng)景下的感知建圖所處理的時(shí)間就越長(zhǎng)。但是，如果考慮一些較長(zhǎng)距離的通勤情況，在高速路段下的特征是否支持記憶建圖呢？

?

記憶行車(chē)與NOA融合下的智能行車(chē)模式

主要考慮記憶地圖和高精地圖融合的技術(shù)難度和實(shí)現(xiàn)可能性，是否存在一鍵激活和后臺(tái)自主切換模式。這里我們需要說(shuō)明的是實(shí)際上ADAS系統(tǒng)功能本身在很多場(chǎng)景應(yīng)用下也是和記憶行車(chē)有一定的重疊的。比如在考慮同一段行駛路線(xiàn)上的場(chǎng)景，當(dāng)事前通過(guò)記憶行車(chē)功能對(duì)該段行駛路徑已經(jīng)完成建圖后，當(dāng)駕駛員重新駛?cè)朐撀范纹瘘c(diǎn)，并且系統(tǒng)通過(guò)重定位成功后，便可以很順利的進(jìn)入記憶行車(chē)模式（當(dāng)然這種進(jìn)入前最好是需要通過(guò)HMI提示駕駛員是否準(zhǔn)予進(jìn)入）。但是，如果駕駛員這時(shí)候強(qiáng)制切換進(jìn)入了ADAS系統(tǒng)功能，比如點(diǎn)對(duì)點(diǎn)駕駛輔助功能NOA后，系統(tǒng)是會(huì)根據(jù)駕駛優(yōu)先級(jí)選擇響應(yīng)當(dāng)前駕駛員主動(dòng)操作指令的。那么從另一個(gè)角度上說(shuō)，如果駕駛員首先進(jìn)入的是NOA功能呢？當(dāng)由于某些特殊原因，比如高精地圖/導(dǎo)航地圖短暫丟失導(dǎo)致NOA功能降級(jí)無(wú)法正常使用，但是記憶建圖的信息仍舊存在時(shí)，是否可以很好從后臺(tái)實(shí)現(xiàn)無(wú)感切換，從而確保用戶(hù)更好的感知體驗(yàn)?zāi)兀?/p>

從基礎(chǔ)原理上講答案是肯定的。但是需要注意以下幾點(diǎn)：

1）NOA無(wú)感切換到記憶行車(chē)，需要重點(diǎn)審視NOA的設(shè)置目的是否和記憶行車(chē)一致。如果一致才考慮切換，否則可能將用戶(hù)送至另外的目的地，這是完全不能被接受的。

2）如果NOA的目的地和記憶行車(chē)完全匹配。期間，如果因?yàn)镹OA的高精地圖/導(dǎo)航地圖丟失而導(dǎo)致的降級(jí)切入記憶行車(chē)，如果后續(xù)又重新識(shí)別到高精地圖/導(dǎo)航信號(hào)恢復(fù)，那么是否還需要重新切換回NOA。

3）如果NOA的目的地和記憶行車(chē)部分匹配。在匹配的路端行駛期間，如果因?yàn)镹OA地圖丟失導(dǎo)致降級(jí)切入記憶行車(chē)，后續(xù)是否考慮短暫切入記憶行車(chē)維持一部分主動(dòng)駕駛后再地圖重新識(shí)別后，重新切換回NOA。當(dāng)然這個(gè)過(guò)程需要冒一定風(fēng)險(xiǎn)，比如即使重疊路端走完，也還沒(méi)有重新識(shí)別到數(shù)據(jù)，是否就需要真正的退出ADAS系統(tǒng)功能了。

記憶建圖與傳統(tǒng)ADAS系統(tǒng)功能時(shí)序示意圖

整個(gè)記憶行車(chē)處理時(shí)序圖如下所示。整個(gè)記憶行車(chē)模塊包括操作者Driver、MAD狀態(tài)機(jī)、任務(wù)管理器、地圖引擎、定位模塊、感知模塊、環(huán)境模型、規(guī)控等多個(gè)模塊。首先，啟動(dòng)車(chē)輛上電后，記憶行車(chē)MAD的狀態(tài)機(jī)變通過(guò)自檢后反饋狀態(tài)可用，然后派發(fā)任務(wù)項(xiàng)給記憶“地圖引擎”，這里實(shí)際上是類(lèi)似模仿高精地圖的叫法。同時(shí)，也將感知任務(wù)派發(fā)給感知模塊，感知模塊啟動(dòng)感知任務(wù)后反饋檢測(cè)結(jié)果給MAD狀態(tài)機(jī)，MAD狀態(tài)機(jī)通過(guò)重定位模塊檢查感知數(shù)據(jù)是否能夠能夠與之前建立的記憶地圖相匹配。如果重定位成功，MAD狀態(tài)機(jī)則派發(fā)成功標(biāo)志給環(huán)境模型，同時(shí)，記憶地圖和定位模塊也會(huì)將相應(yīng)的地圖信息進(jìn)行融合。最后，在規(guī)控模塊進(jìn)行整個(gè)軌跡規(guī)劃和控制模塊執(zhí)行。

總結(jié)

記憶行車(chē)作為一種新興的自動(dòng)駕駛功能，可以說(shuō)也是參照記憶泊車(chē)的功能設(shè)計(jì)方式形成的一種高效的行車(chē)場(chǎng)景駕駛方式。相比于記憶泊車(chē)而言，記憶行車(chē)基本對(duì)場(chǎng)景邊界沒(méi)有提出太大的要求，一般的道路均可以作為行駛條件。但是記憶行車(chē)強(qiáng)依賴(lài)于前置地圖構(gòu)建過(guò)程，當(dāng)前置地圖構(gòu)建失敗或者準(zhǔn)確率不夠時(shí)，就無(wú)法在通過(guò)記憶泊車(chē)進(jìn)行有效的重定位和車(chē)輛控制。因此，本文也重點(diǎn)闡述了記憶泊車(chē)的地圖構(gòu)建、資源需求和重定位的基礎(chǔ)算法。 ?

審核編輯：劉清