利用對抗性深度強(qiáng)化學(xué)習(xí)來衡量自動駕駛汽車的運(yùn)動規(guī)劃和碰撞避免機(jī)制的可靠性

現(xiàn)如今，隨著人工智能技術(shù)的迅速發(fā)展，人們普遍認(rèn)為，未來的交通系統(tǒng)將由自動駕駛汽車（AV）所主導(dǎo)?？梢哉f，對于更為安全的交通設(shè)施的需求是引起人們對自動駕駛汽車感興趣并推動其發(fā)展的一個主要推動力。但不可否認(rèn)，就現(xiàn)在而言，可靠和具有魯棒性的自動駕駛汽車技術(shù)的發(fā)展仍然是一個持續(xù)的挑戰(zhàn)，對可靠的運(yùn)動規(guī)劃和碰撞避免機(jī)制的研究尤其重要。最近，堪薩斯州立大學(xué)（Kansas State University，KSU）的科學(xué)家了提出了一種基于深度強(qiáng)化學(xué)習(xí)的新框架，用于對自動駕駛汽車的碰撞避免機(jī)制的行為進(jìn)行基準(zhǔn)測試。

現(xiàn)如今，隨著人們對自主導(dǎo)航的興趣日益增長，關(guān)于運(yùn)動規(guī)劃和碰撞避免技術(shù)（collision avoidance techniques）的研究已經(jīng)加速了全新提議和新進(jìn)展的速度。然而，新技術(shù)的復(fù)雜性及其安全性要求使得當(dāng)前的大部分基準(zhǔn)測試框架不充分，因此對高效的比較技術(shù)的需求沒有得到滿足。這項(xiàng)研究提出了一種基于深度強(qiáng)化學(xué)習(xí)的新框架，用于在處理最佳對抗性智能體的最壞情況下對碰撞避免機(jī)制的行為進(jìn)行基準(zhǔn)測試，該最佳對抗性智能體進(jìn)行訓(xùn)練從而將系統(tǒng)驅(qū)動到不安全狀態(tài)。我們將這個框架的體系結(jié)構(gòu)和流程描述為一個基準(zhǔn)測試解決方案，并通過一個比較兩種碰撞避免機(jī)制的可靠性的實(shí)際案例研究來證明其有效性，從而對有意識的碰撞嘗試做出回應(yīng)。

人們普遍認(rèn)為，未來的交通系統(tǒng)將由自動駕駛汽車（AV）所主導(dǎo)。隨著近年來這一領(lǐng)域的迅速發(fā)展，許多人預(yù)測這種轉(zhuǎn)變將在未來十年內(nèi)發(fā)生。對更為安全的交通運(yùn)輸?shù)男枨?，是引起人們興趣和推動自動駕駛汽車發(fā)展的一個主要動機(jī)。一般認(rèn)為，用專家計(jì)算模型代替人類駕駛員的內(nèi)在缺陷，可以顯著減少由駕駛員的誤差所導(dǎo)致的事故數(shù)量。然而，可靠和具有魯棒性的自動駕駛汽車技術(shù)的發(fā)展仍然是一個持續(xù)的挑戰(zhàn)，并且人們正在積極從各個研究和發(fā)展方向來追求這一目標(biāo)。

圖1：對抗性目標(biāo)的圖釋

對可靠的運(yùn)動規(guī)劃和碰撞避免機(jī)制的研究尤其重要。在過去數(shù)十年的時(shí)間里，科學(xué)家們已經(jīng)提出了許多解決這個問題的方法，從控制理論形式化和最優(yōu)控制方法到潛在的基于場和規(guī)則的技術(shù)（field- and rule-based techniques），等等。最近，機(jī)器學(xué)習(xí)的進(jìn)步使得基于諸如模仿學(xué)習(xí)和深度強(qiáng)化學(xué)習(xí)（RL）等技術(shù)的全新數(shù)據(jù)驅(qū)動的碰撞避免方法成為可能。然而，隨著其部署環(huán)境和機(jī)制日益復(fù)雜，為這些解決方案提供安全保障的挑戰(zhàn)變得越來越困難。一個值得注意的例子是交通碰撞避免系統(tǒng)（TCAS），在它廣泛部署到NextGen商用飛機(jī)之前，它就已經(jīng)滿足了聯(lián)邦航空局（FAA）的嚴(yán)格安全要求。然而，最近的一些表現(xiàn)表明它在現(xiàn)代高密度空域中非常不可靠，在一定程度上，它可能會導(dǎo)致不可避免的碰撞狀態(tài)（ICS）——不管未來的軌跡如何，最終都會發(fā)生碰撞。此外，最近的研究表明，自動感知和避免機(jī)制可以被對抗性地加以利用以操縱自動駕駛車輛的運(yùn)動軌跡。

作為回應(yīng)，科學(xué)家們提出了越來越多的緩解技術(shù)和全新的安全運(yùn)動規(guī)劃方法，但每一種都有特定的特定于案例的假設(shè)和驗(yàn)證程序。因此，對這些方法進(jìn)行定量比較變得非常困難。當(dāng)前最為先進(jìn)的方法包括在運(yùn)動規(guī)劃和碰撞避免中對安全行為進(jìn)行基準(zhǔn)測試的幾次嘗試，但是許多現(xiàn)有的框架未能滿足基于機(jī)器學(xué)習(xí)的新自適應(yīng)技術(shù)的要求。而且，目前的基準(zhǔn)測試框架并不能提供全面的和具有魯棒性的探測機(jī)制，用于在不理想狀態(tài)和軌跡的復(fù)雜空間中進(jìn)行探索。這種框架中的突出方法是基于隨機(jī)化或基于情景的障礙產(chǎn)生，這些障礙很容易丟失特定于被測機(jī)制的關(guān)鍵ICS或其他不需要的狀態(tài)。這些框架中的另一種方法依賴于計(jì)算上昂貴的碰撞狀態(tài)可達(dá)性分析技術(shù)，而這也無法為安全運(yùn)行的關(guān)鍵邊界提供具體的保證。

圖2：實(shí)驗(yàn)環(huán)境設(shè)置

為了彌補(bǔ)以安全為中心的基準(zhǔn)測試的缺陷，本文提出了一種基于機(jī)器學(xué)習(xí)的新框架，用于在與最優(yōu)對抗性智能體進(jìn)行交互的最壞情況下對新技術(shù)的可靠性進(jìn)行基準(zhǔn)測試。該框架采用深度強(qiáng)化學(xué)習(xí)的強(qiáng)大的探索和優(yōu)化性能來訓(xùn)練對抗性自主智能體，而該智能體的目標(biāo)是學(xué)習(xí)旨在將系統(tǒng)驅(qū)動到ICS和其他不安全狀態(tài)的最佳導(dǎo)航策略。根據(jù)分析的參數(shù)和目標(biāo)，這些目標(biāo)可能包括對抗性智能體與自動駕駛汽車的直接碰撞，或利用避免碰撞機(jī)制來操縱自動駕駛汽車的軌跡以改變和控制其路徑，或間接誘發(fā)自動駕駛汽車和環(huán)境中的其他物體之間的碰撞。

在此基礎(chǔ)上，這項(xiàng)研究的主要貢獻(xiàn)包括：

1）提出碰撞避免算法的最壞情況基準(zhǔn)測試的計(jì)算框架和處理流程，且獨(dú)立于其復(fù)雜性、隨機(jī)性以及自適應(yīng)動力學(xué)。

2）提出深度強(qiáng)化學(xué)習(xí)過程流程以無縫地適應(yīng)于被測系統(tǒng)，并克服完全隨機(jī)或基于情景的探索機(jī)制的缺點(diǎn)。

3）提出關(guān)于碰撞避免算法標(biāo)準(zhǔn)化比較的全新的衡量指標(biāo)。

4）通過一個比較兩種碰撞避免機(jī)制應(yīng)對故意碰撞企圖的可靠性的實(shí)際案例研究，來證明所提出框架的實(shí)際應(yīng)用和效果。

圖3：實(shí)驗(yàn)結(jié)果——平均超過100次運(yùn)行

總而言之，在本文中，我們提出了一個流程和框架，它利用對抗性深度強(qiáng)化學(xué)習(xí)來衡量自動駕駛汽車的運(yùn)動規(guī)劃和碰撞避免機(jī)制的可靠性。我們已經(jīng)確立了這一框架的優(yōu)勢，要超過當(dāng)前的基準(zhǔn)測試規(guī)劃，其中包括靈活性和通用性、通過針對特定系統(tǒng)下測試、樣本效率和自定義探索機(jī)制對對抗性策略進(jìn)行訓(xùn)練獲得的適用性探測，以及為不同系統(tǒng)之間的基準(zhǔn)測試和比較提供基線（例如，最壞的情況）測量。

可以這樣說，本文所提出框架的直接架構(gòu)為進(jìn)一步研究提供了一些潛在的研究領(lǐng)域。緊隨而來的下一個步驟就是將此框架應(yīng)用于顯著的和最近發(fā)布的運(yùn)動規(guī)劃和碰撞避免技術(shù)中，目的是為相關(guān)研究項(xiàng)目創(chuàng)建參考基準(zhǔn)。另一個有發(fā)展前景的研究領(lǐng)域是檢查近期發(fā)布技術(shù)的適用性，這些已發(fā)布的技術(shù)聲稱在對抗性干擾下進(jìn)行訓(xùn)練可以增強(qiáng)策略的適應(yīng)力和魯棒性。因此，通過對對抗性策略和碰撞避免的強(qiáng)化學(xué)習(xí)模型的結(jié)合性訓(xùn)練進(jìn)行調(diào)查，可能會出現(xiàn)潛在的緩解和防御技術(shù)。