基于仿真的自動(dòng)駕駛可靠性分析算法

隨著自動(dòng)駕駛技術(shù)的加速發(fā)展與應(yīng)用落地，如何檢驗(yàn)和驗(yàn)證自動(dòng)駕駛車輛及系統(tǒng)的可靠性變得至關(guān)重要。自動(dòng)駕駛系統(tǒng)存在的風(fēng)險(xiǎn)可以通過該系統(tǒng)發(fā)生事故即失效的概率衡量，因此，驗(yàn)證自動(dòng)駕駛系統(tǒng)失效的概率是否低至可以接受水平是自動(dòng)駕駛驗(yàn)證的一個(gè)重要目標(biāo)。為了驗(yàn)證或估計(jì)這個(gè)極低的概率，需要高昂的時(shí)間及安全成本完成實(shí)車路測——根據(jù)相關(guān)分析，為了得到失效概率的一個(gè)可靠置信區(qū)間（95%置信度，相對誤差20%）需要超過五千萬英里的道路測試。故高成本效益的仿真模擬測試成為驗(yàn)證自動(dòng)駕駛系統(tǒng)可靠性的重要手段。

本文簡要闡述和分析蒙特卡羅方法面對小概率事件時(shí)的困難，如何通過可靠性分析算法估計(jì)自動(dòng)駕駛系統(tǒng)在邏輯場景中的失效概率，并將基于場景的測試結(jié)果轉(zhuǎn)化為整體失效概率。

01. 可靠性的定義

可靠性定義為被測試車輛或系統(tǒng)在某場景中不會(huì)失效的概率，即??。此處的失效是指被測試自動(dòng)駕駛車輛及算法在一個(gè)具體場景中某項(xiàng)評價(jià)指標(biāo)（kpi）小于閾值，即??，其中??為該具體場景的參數(shù)值向量，??和??分別是評價(jià)指標(biāo)函數(shù)向量和對應(yīng)的閾值向量。為了便于說明，本文選取單kpi，多kpi的失效域可視為多個(gè)單kpi失效域的并集。

在此假設(shè)下，被測試自動(dòng)駕駛車輛及算法在任意邏輯場景中失效的概率可定義為：

其中??是該邏輯場景中參數(shù)，??為這些參數(shù)的分布函數(shù)。

若邏輯場景??在??公里的平均出現(xiàn)頻率為??，則根據(jù)貝葉斯定理此被測試車輛或算法在??公里上的平均失效率為：

而車輛在??公里（或時(shí)間）上出現(xiàn)失效的次數(shù)一般被認(rèn)為服從泊松分布，則?

通過仿真模擬，估計(jì)被測試車輛或算法在各邏輯場景中的失效概率??，則該車輛平均在??公里上發(fā)生失效的概率可以估計(jì)為： ??。

故如何構(gòu)建估計(jì)量??，正確穩(wěn)定地估計(jì)被測試車輛或算法在各邏輯場景，即參數(shù)空間中的失效概率成為一個(gè)核心問題。

02. 估計(jì)量的好壞

在成本相同即采樣數(shù)量相同的情況下，一個(gè)估計(jì)量??對真值??估計(jì)的好壞主要考慮準(zhǔn)確性（accuracy）和精確性（precision）兩個(gè)方面。

準(zhǔn)確性衡量估計(jì)量是否能正確估計(jì)出被估計(jì)的真值，而精確性衡量估計(jì)量的散布范圍。例如下圖中，準(zhǔn)確性描述彈孔是否以把心為中心，精確性描述單孔的散布范圍，故①為精確而不準(zhǔn)確，②為既不精確亦不準(zhǔn)確，③為準(zhǔn)確但不精確，④為即準(zhǔn)確又精確。

圖1 準(zhǔn)確性與精確性

衡量準(zhǔn)確性的指標(biāo)主要有偏差??及相對偏差??；衡量精確性的指標(biāo)主要為標(biāo)準(zhǔn)差??及相對誤差（變差系數(shù)）??。 ? 當(dāng)??時(shí)我們稱??為??的無偏估計(jì)；若??隨著樣本數(shù)量的增加趨近于0，則??為??的漸進(jìn)無偏估計(jì)。僅當(dāng)??的偏差較小時(shí)，討論其精確性才有實(shí)際意義。

03. 樸素蒙特卡洛方法

對失效概率最簡單的估計(jì)方式即樸素蒙特卡洛方法（CMC）。在測試空間中隨機(jī)生成??個(gè)獨(dú)立同分布的樣本（場景），即??,…,??，其上車輛的表現(xiàn)函數(shù)為??。

即??為真值的無偏估計(jì)，同時(shí)其估計(jì)精準(zhǔn)性不受測試空間維度影響，有著非常好的魯棒性。當(dāng)??趨近無窮時(shí)??依概率/分布收斂到的??的真值，其收斂性可由中心極限定理保證，即： ??。 ??的相對誤差/變差系數(shù)為： ??。 通過上面的分析，我們無需擔(dān)心??的準(zhǔn)確性（其為無偏估計(jì)量）。其精確性即??由樣本數(shù)??控制，并依的速度收斂。

04. 蒙特卡洛的困難

雖然傳統(tǒng)蒙特卡洛方法有種種優(yōu)勢，但是當(dāng)失效是小概率事件，正如現(xiàn)實(shí)情況中自動(dòng)駕駛車輛及系統(tǒng)失效概率很低時(shí)，上述估計(jì)??的方法會(huì)陷入困難。

例如當(dāng)自動(dòng)駕駛系統(tǒng)或車輛在某測試空間中的失效概率為??，為了得到較好的精確性，例如要求相對誤差??，則需要測試的具體場景個(gè)數(shù)約為??，太多了！

因此，無法通過樸素蒙特卡羅的方法泛化并驗(yàn)證一個(gè)成熟的自動(dòng)駕駛車輛或算法！雖然通過拉丁超立方或擬蒙特卡洛采樣可以一定程度的節(jié)約成本，但即使??個(gè)測試場景依然是無法接受的。

05. 可靠性分析算法

根據(jù)上面的表達(dá)式可以看出，蒙特卡洛的困難的原因主要在于當(dāng)失效概率很小時(shí)??的分母??過小。考慮??表示在??個(gè)隨機(jī)場景中失效場景的平均個(gè)數(shù)，故一個(gè)自然的思路即通過增加采樣中的失效場景個(gè)數(shù)來克服上面的困難，即應(yīng)用一個(gè)更容易采集到失效場景的提議分布函數(shù)??來代替原始分布函數(shù)??進(jìn)行采用，再通過下面的等式估計(jì)失效概率

其中??和??分別表示該邏輯場景中參數(shù)的原始分布及提議分布對應(yīng)的密度函數(shù)。

賽目在測試空間分析工具中提供了基于此思想的自適應(yīng)重要性采樣、自適應(yīng)splitting方法以及方向采樣等可靠性分析算法，自動(dòng)在測試空間中尋找失效臨界，實(shí)現(xiàn)以可以接受的成本精確估計(jì)失效概率??。

圖2?可靠性分析操作界面

為了說明可靠性分析算法的效率，下面的例子中我們選取了了一個(gè)顯式的評價(jià)函數(shù)。

測試空間：??獨(dú)立且服從標(biāo)準(zhǔn)正態(tài)分布；

評價(jià)函數(shù)：??；

閾值：T分別取2、3、4、5。

下表列出對比了我們提供的自適應(yīng)重要性采樣與樸素蒙特卡羅方法在效率上的差異。

通過此例中的數(shù)據(jù)可以清晰看出，適合的可靠性分析算法可以準(zhǔn)確估計(jì)失敗概率（使用的自適應(yīng)重要性采樣實(shí)際為無偏估計(jì)），同時(shí)可以極大提升估計(jì)失效概率的效率，尤其時(shí)當(dāng)失效概率較小時(shí)。例如次例中失敗概率在??至??數(shù)量級時(shí)，同等精度下蒙特卡羅方法需要的仿真次數(shù)為十萬至千萬級，而實(shí)驗(yàn)中使用的可靠性分析算法只需要數(shù)千次仿真。并行仿真下，高效的可靠性分析算法可以大幅縮減時(shí)間成本，完成對自動(dòng)駕駛車輛在多個(gè)邏輯場景中失效概率的準(zhǔn)確估計(jì)。

編輯：黃飛

?