關(guān)于模擬仿真測試可信度評估方法的研究（上）——評估框架

引言

隨著智能網(wǎng)聯(lián)汽車技術(shù)及產(chǎn)業(yè)的快速發(fā)展，預(yù)期功能安全等新的安全風(fēng)險(xiǎn)也日益凸顯，傳統(tǒng)的測試手段已無法滿足對自動(dòng)駕駛功能測試與驗(yàn)證的需求。模擬仿真測試技術(shù)以其高效率、低成本、高安全、高覆蓋度等優(yōu)勢，成為自動(dòng)駕駛功能測試驗(yàn)證的重要支柱[1]，已得到業(yè)內(nèi)廣泛認(rèn)可。基于賽目科技前期提出的智能網(wǎng)聯(lián)汽車產(chǎn)品測試策略研究成果，本篇文章提出模擬仿真測試可信度評估框架及一系列評估方法，為后續(xù)開展仿真測試可信度評估提供參考。

本系列文章將分上、下兩篇，分別闡釋賽目科技提出的模擬仿真測試可信度“評估框架”和“評估方法”兩個(gè)核心問題。

可信度評估框架

聯(lián)合國世界車輛法規(guī)協(xié)調(diào)論壇（UN/WP.29）自動(dòng)駕駛驗(yàn)證方法非正式工作組（VMAD IWG）針對自動(dòng)駕駛功能提出新評估和測試方法（New Assessment/Test Method for Automated Driving，NATM）[2]，包括場景目錄，以及模擬仿真測試、封閉場地測試、實(shí)際道路測試、審核評估和在用監(jiān)測報(bào)告等5類技術(shù)手段（以下簡稱“多支柱法”），支撐ADS的安全性驗(yàn)證，如圖1所示。

圖1 VMAD多支柱法框架

其中，仿真作為“多支柱法”的重要內(nèi)容，在智能網(wǎng)聯(lián)汽車綜合安全評估中發(fā)揮著至關(guān)重要的作用。對此，NATM中針對仿真測試提出了可信度評估框架與流程，主要包含仿真試驗(yàn)的管理、分析、驗(yàn)證和確認(rèn)四大組成部分，如圖2所示。

·建模和仿真管理：數(shù)據(jù)譜系、團(tuán)隊(duì)經(jīng)驗(yàn)、發(fā)布管理。

·建模和仿真分析：邏輯場景、關(guān)鍵性評估、工具鏈范圍/說明、假設(shè)和限制、相關(guān)性閾值。

·建模和仿真驗(yàn)證：代碼驗(yàn)證、計(jì)算驗(yàn)證、敏感性分析。

·建模和仿真確認(rèn)：相關(guān)系統(tǒng)（如傳感器、車輛及其他子系統(tǒng)）、集成系統(tǒng)。

圖2 仿真試驗(yàn)可信度評估框架 國內(nèi)針對仿真測試的標(biāo)準(zhǔn)化研究，《自動(dòng)駕駛功能仿真測試標(biāo)準(zhǔn)化需求研究報(bào)告》中指出模擬仿真測試應(yīng)遵循的基本原則為全面性、真實(shí)性和可重復(fù)性，其中，真實(shí)性是指仿真測試的場景參數(shù)應(yīng)基于實(shí)際，邏輯參數(shù)設(shè)置合理，并且測試輸出結(jié)果應(yīng)與實(shí)車測試保持基本一致[3]。2022年11月，工信部聯(lián)合公安部發(fā)布的《關(guān)于開展智能網(wǎng)聯(lián)汽車準(zhǔn)入和上路通行試點(diǎn)工作的通知（征求意見稿）》中針對仿真測試驗(yàn)證也明確要求：應(yīng)證明使用的模擬仿真測試工具鏈置信度，以及車輛動(dòng)力學(xué)、傳感器等模型可信度，并通過與封閉場地和實(shí)際道路測試結(jié)果對比等手段驗(yàn)證模擬仿真測試的可信度[4]。 基于以上研究背景，我們得出模擬仿真測試的實(shí)現(xiàn)需要模型、工具和場景共同作用，三者緊密耦合，相輔相成。因此賽目科技提出一種模擬仿真測試可信度評估框架，其中主要包括仿真工具置信度、仿真模型可信度以及測試場景可信度，如圖3所示。 圖3 模擬仿真測試可信度評估框架

仿真工具置信度

仿真測試工具包含場景管理模塊、仿真引擎、評價(jià)模塊等，通過搭建智能網(wǎng)聯(lián)汽車仿真測試所需的測試環(huán)境，反饋相關(guān)感知信息及車控指令，并形成自動(dòng)駕駛算法模擬仿真測試評估結(jié)果，是完成自動(dòng)駕駛模擬仿真測試的重要手段。仿真工具的置信度要求是仿真工具本身不應(yīng)出現(xiàn)計(jì)算錯(cuò)誤、算法邏輯變更、超預(yù)期的信號時(shí)序變更、同步狀態(tài)改變等問題[1]，通過功能安全實(shí)現(xiàn)以上要求是主要的途徑之一。參考ISO 26262 [5]汽車功能安全標(biāo)準(zhǔn)中汽車軟件產(chǎn)品開發(fā)的要求，需要從設(shè)計(jì)開發(fā)到測試驗(yàn)證進(jìn)行全流程的安全評估保障，主要工作包括：需求分析、系統(tǒng)架構(gòu)設(shè)計(jì)、詳細(xì)設(shè)計(jì)、單元測試、集成測試、功能測試，以驗(yàn)證仿真工具具備的置信度水平，具體流程如圖4所示。

圖4 仿真工具可信度評估框架仿真模型可信度

（1）車輛動(dòng)力學(xué)模型

車輛動(dòng)力學(xué)模型是汽車仿真技術(shù)的重要組成部分，主要作用是模擬車輛在不同行駛狀態(tài)時(shí)的動(dòng)力學(xué)行為[4]，根據(jù)ADAS或者自動(dòng)駕駛系統(tǒng)的輸入，結(jié)合路面特性對車輛本身進(jìn)行仿真，完成閉環(huán)的測試。 針對車輛動(dòng)力學(xué)模型的可信度驗(yàn)證，賽目科技提出“試驗(yàn)工況+對比參數(shù)”的驗(yàn)證框架，主要通過配置車輛動(dòng)力學(xué)參數(shù)、構(gòu)建典型試驗(yàn)工況、選取對比參數(shù)，進(jìn)行仿真與實(shí)車測試結(jié)果的比對，具體流程如圖5所示。

圖5 車輛動(dòng)力學(xué)模型可信度評估框架

（2）傳感器模型

傳感器建模是其在仿真環(huán)境中感知周圍對象信息的必要環(huán)節(jié)，可以實(shí)現(xiàn)對感知算法效果的驗(yàn)證與評估。傳感器模型配置主要是對攝像頭、毫米波雷達(dá)、激光雷達(dá)、超聲波雷達(dá)的物理特性根據(jù)仿真測試需求進(jìn)行建模。 針對傳感器模型的可信度驗(yàn)證，賽目科技提出“測試環(huán)境構(gòu)建+對比參數(shù)”的驗(yàn)證框架，主要通過設(shè)置傳感器參數(shù)、選取對比參數(shù)、構(gòu)建典型場景，進(jìn)行仿真與真實(shí)傳感器反饋結(jié)果的比對，具體流程如圖6所示。

圖6 傳感器模型可信度評估框架

測試場景可信度

在自動(dòng)駕駛模擬仿真測試過程中，場景作為最重要的核心要素之一，可以部署到仿真環(huán)境或者真實(shí)的受控測試場地中，從而對被測車輛的特定功能在行駛環(huán)境下的表現(xiàn)進(jìn)行試驗(yàn)和分析[6]。針對測試場景的可信度驗(yàn)證，賽目科技提出通過選取對比參數(shù)、實(shí)車標(biāo)定試驗(yàn)、搭建測試場景，進(jìn)行仿真與實(shí)車試驗(yàn)結(jié)果的比對，具體流程如圖7所示。

·標(biāo)準(zhǔn)規(guī)范：參考GB/T《智能網(wǎng)聯(lián)汽車 自動(dòng)駕駛功能仿真試驗(yàn)方法及要求》（草案）和GB/T 41798-2022《智能網(wǎng)聯(lián)汽車 自動(dòng)駕駛功能場地試驗(yàn)方法及要求》[7]。

·試驗(yàn)場景：根據(jù)自動(dòng)駕駛功能的設(shè)計(jì)運(yùn)行條件確定可信度驗(yàn)證的測試場景集。

·試驗(yàn)參數(shù)：根據(jù)測試場景中是否存在交互行為選取各場景下的對比試驗(yàn)參數(shù)。

圖7 仿真測試場景可信度評估流程

開展仿真測試與實(shí)車測試結(jié)果的一致性分析，主要體現(xiàn)為：智能網(wǎng)聯(lián)汽車在同一測試場景下，模擬仿真測試和實(shí)車測試的試驗(yàn)結(jié)果趨勢應(yīng)保持一致，特征參數(shù)（如縱向速度、縱向加/減速度等）誤差在一定范圍內(nèi)，從而驗(yàn)證仿真測試場景的可信度。

結(jié)語

本文是《模擬仿真測試可信度評估方法研究》系列的上篇，主要描述了仿真測試可信度評估的“評估框架”，主要包括仿真工具置信度、仿真模型可信度以及測試場景可信度。通過建立仿真可信度評估研究框架，有利于從總體上把握可信度評估的基本步驟和方法，有效推進(jìn)可信度評估研究和實(shí)踐。

下一期《模擬仿真測試可信度評估方法研究》下篇將重點(diǎn)介紹仿真測試可信度評估的“評估方法”，賽目科技對比分析并提出了一種定量的可信度評估指標(biāo)，敬請期待。

參考文獻(xiàn)

[1]劉法旺,何豐,周時(shí)瑩等.基于場景的智能網(wǎng)聯(lián)汽車模擬仿真測試評估方法與實(shí)踐[J].汽車工程學(xué)報(bào),2023,13(02):135-145.

[2]New Assessment/Test Method for Automated Driving (NATM) Guidelines for Validating Automated Driving System (ADS). Informal Working Group (IWG) on Validation Methods for Automated Driving (VMAD),2022.

[3]自動(dòng)駕駛功能仿真測試標(biāo)準(zhǔn)化需求研究報(bào)告[R].全國汽車標(biāo)準(zhǔn)化技術(shù)委員會(huì),智能網(wǎng)聯(lián)汽車分技術(shù)委員會(huì),2020.

[4]工業(yè)和信息化部和公安部.《關(guān)于開展智能網(wǎng)聯(lián)汽車準(zhǔn)入和上路通行試點(diǎn)工作的通知（征求意見稿）》, 2022.

[5]ISO 26262Road vehicles -- Functional safety

[6]馮屹,王兆.自動(dòng)駕駛測試場景技術(shù)發(fā)展與應(yīng)用[M].北京:機(jī)械工業(yè)出版社, 2020.

[7]GB/T 41798-2022 智能網(wǎng)聯(lián)汽車 自動(dòng)駕駛功能場地試驗(yàn)方法及要求[S].

掃描二維碼

關(guān)注賽目科技

?

專注智能網(wǎng)聯(lián)汽車

測試丨驗(yàn)證丨評價(jià)研究

作者：前瞻事業(yè)部-鞠曉男