關(guān)于模擬仿真測試可信度評估方法的研究（上）——評估框架

引言

隨著智能網(wǎng)聯(lián)汽車技術(shù)及產(chǎn)業(yè)的快速發(fā)展，預(yù)期功能安全等新的安全風(fēng)險也日益凸顯，傳統(tǒng)的測試手段已無法滿足對自動駕駛功能測試與驗證的需求。模擬仿真測試技術(shù)以其高效率、低成本、高安全、高覆蓋度等優(yōu)勢，成為自動駕駛功能測試驗證的重要支柱[1]，已得到業(yè)內(nèi)廣泛認(rèn)可?；谫惸?a target="_blank">科技前期提出的智能網(wǎng)聯(lián)汽車產(chǎn)品測試策略研究成果，本篇文章提出模擬仿真測試可信度評估框架及一系列評估方法，為后續(xù)開展仿真測試可信度評估提供參考。

本系列文章將分上、下兩篇，分別闡釋賽目科技提出的模擬仿真測試可信度“評估框架”和“評估方法”兩個核心問題。

可信度評估框架

聯(lián)合國世界車輛法規(guī)協(xié)調(diào)論壇（UN/WP.29）自動駕駛驗證方法非正式工作組（VMAD IWG）針對自動駕駛功能提出新評估和測試方法（New Assessment/Test Method for Automated Driving，NATM）[2]，包括場景目錄，以及模擬仿真測試、封閉場地測試、實際道路測試、審核評估和在用監(jiān)測報告等5類技術(shù)手段（以下簡稱“多支柱法”），支撐ADS的安全性驗證，如圖1所示。

圖1 VMAD多支柱法框架

其中，仿真作為“多支柱法”的重要內(nèi)容，在智能網(wǎng)聯(lián)汽車綜合安全評估中發(fā)揮著至關(guān)重要的作用。對此，NATM中針對仿真測試提出了可信度評估框架與流程，主要包含仿真試驗的管理、分析、驗證和確認(rèn)四大組成部分，如圖2所示。

·建模和仿真管理：數(shù)據(jù)譜系、團隊經(jīng)驗、發(fā)布管理。

·建模和仿真分析：邏輯場景、關(guān)鍵性評估、工具鏈范圍/說明、假設(shè)和限制、相關(guān)性閾值。

·建模和仿真驗證：代碼驗證、計算驗證、敏感性分析。

·建模和仿真確認(rèn)：相關(guān)系統(tǒng)（如傳感器、車輛及其他子系統(tǒng)）、集成系統(tǒng)。

圖2 仿真試驗可信度評估框架 國內(nèi)針對仿真測試的標(biāo)準(zhǔn)化研究，《自動駕駛功能仿真測試標(biāo)準(zhǔn)化需求研究報告》中指出模擬仿真測試應(yīng)遵循的基本原則為全面性、真實性和可重復(fù)性，其中，真實性是指仿真測試的場景參數(shù)應(yīng)基于實際，邏輯參數(shù)設(shè)置合理，并且測試輸出結(jié)果應(yīng)與實車測試保持基本一致[3]。2022年11月，工信部聯(lián)合公安部發(fā)布的《關(guān)于開展智能網(wǎng)聯(lián)汽車準(zhǔn)入和上路通行試點工作的通知（征求意見稿）》中針對仿真測試驗證也明確要求：應(yīng)證明使用的模擬仿真測試工具鏈置信度，以及車輛動力學(xué)、傳感器等模型可信度，并通過與封閉場地和實際道路測試結(jié)果對比等手段驗證模擬仿真測試的可信度[4]。 基于以上研究背景，我們得出模擬仿真測試的實現(xiàn)需要模型、工具和場景共同作用，三者緊密耦合，相輔相成。因此賽目科技提出一種模擬仿真測試可信度評估框架，其中主要包括仿真工具置信度、仿真模型可信度以及測試場景可信度，如圖3所示。 圖3 模擬仿真測試可信度評估框架

仿真工具置信度

仿真測試工具包含場景管理模塊、仿真引擎、評價模塊等，通過搭建智能網(wǎng)聯(lián)汽車仿真測試所需的測試環(huán)境，反饋相關(guān)感知信息及車控指令，并形成自動駕駛算法模擬仿真測試評估結(jié)果，是完成自動駕駛模擬仿真測試的重要手段。仿真工具的置信度要求是仿真工具本身不應(yīng)出現(xiàn)計算錯誤、算法邏輯變更、超預(yù)期的信號時序變更、同步狀態(tài)改變等問題[1]，通過功能安全實現(xiàn)以上要求是主要的途徑之一。參考ISO 26262 [5]汽車功能安全標(biāo)準(zhǔn)中汽車軟件產(chǎn)品開發(fā)的要求，需要從設(shè)計開發(fā)到測試驗證進行全流程的安全評估保障，主要工作包括：需求分析、系統(tǒng)架構(gòu)設(shè)計、詳細設(shè)計、單元測試、集成測試、功能測試，以驗證仿真工具具備的置信度水平，具體流程如圖4所示。

圖4 仿真工具可信度評估框架仿真模型可信度

（1）車輛動力學(xué)模型

車輛動力學(xué)模型是汽車仿真技術(shù)的重要組成部分，主要作用是模擬車輛在不同行駛狀態(tài)時的動力學(xué)行為[4]，根據(jù)ADAS或者自動駕駛系統(tǒng)的輸入，結(jié)合路面特性對車輛本身進行仿真，完成閉環(huán)的測試。 針對車輛動力學(xué)模型的可信度驗證，賽目科技提出“試驗工況+對比參數(shù)”的驗證框架，主要通過配置車輛動力學(xué)參數(shù)、構(gòu)建典型試驗工況、選取對比參數(shù)，進行仿真與實車測試結(jié)果的比對，具體流程如圖5所示。

圖5 車輛動力學(xué)模型可信度評估框架

（2）傳感器模型

傳感器建模是其在仿真環(huán)境中感知周圍對象信息的必要環(huán)節(jié)，可以實現(xiàn)對感知算法效果的驗證與評估。傳感器模型配置主要是對攝像頭、毫米波雷達、激光雷達、超聲波雷達的物理特性根據(jù)仿真測試需求進行建模。 針對傳感器模型的可信度驗證，賽目科技提出“測試環(huán)境構(gòu)建+對比參數(shù)”的驗證框架，主要通過設(shè)置傳感器參數(shù)、選取對比參數(shù)、構(gòu)建典型場景，進行仿真與真實傳感器反饋結(jié)果的比對，具體流程如圖6所示。

圖6 傳感器模型可信度評估框架

測試場景可信度

在自動駕駛模擬仿真測試過程中，場景作為最重要的核心要素之一，可以部署到仿真環(huán)境或者真實的受控測試場地中，從而對被測車輛的特定功能在行駛環(huán)境下的表現(xiàn)進行試驗和分析[6]。針對測試場景的可信度驗證，賽目科技提出通過選取對比參數(shù)、實車標(biāo)定試驗、搭建測試場景，進行仿真與實車試驗結(jié)果的比對，具體流程如圖7所示。

·標(biāo)準(zhǔn)規(guī)范：參考GB/T《智能網(wǎng)聯(lián)汽車 自動駕駛功能仿真試驗方法及要求》（草案）和GB/T 41798-2022《智能網(wǎng)聯(lián)汽車 自動駕駛功能場地試驗方法及要求》[7]。

·試驗場景：根據(jù)自動駕駛功能的設(shè)計運行條件確定可信度驗證的測試場景集。

·試驗參數(shù)：根據(jù)測試場景中是否存在交互行為選取各場景下的對比試驗參數(shù)。

圖7 仿真測試場景可信度評估流程

開展仿真測試與實車測試結(jié)果的一致性分析，主要體現(xiàn)為：智能網(wǎng)聯(lián)汽車在同一測試場景下，模擬仿真測試和實車測試的試驗結(jié)果趨勢應(yīng)保持一致，特征參數(shù)（如縱向速度、縱向加/減速度等）誤差在一定范圍內(nèi)，從而驗證仿真測試場景的可信度。

結(jié)語

本文是《模擬仿真測試可信度評估方法研究》系列的上篇，主要描述了仿真測試可信度評估的“評估框架”，主要包括仿真工具置信度、仿真模型可信度以及測試場景可信度。通過建立仿真可信度評估研究框架，有利于從總體上把握可信度評估的基本步驟和方法，有效推進可信度評估研究和實踐。

下一期《模擬仿真測試可信度評估方法研究》下篇將重點介紹仿真測試可信度評估的“評估方法”，賽目科技對比分析并提出了一種定量的可信度評估指標(biāo)，敬請期待。

參考文獻

[1]劉法旺,何豐,周時瑩等.基于場景的智能網(wǎng)聯(lián)汽車模擬仿真測試評估方法與實踐[J].汽車工程學(xué)報,2023,13(02):135-145.

[2]New Assessment/Test Method for Automated Driving (NATM) Guidelines for Validating Automated Driving System (ADS). Informal Working Group (IWG) on Validation Methods for Automated Driving (VMAD),2022.

[3]自動駕駛功能仿真測試標(biāo)準(zhǔn)化需求研究報告[R].全國汽車標(biāo)準(zhǔn)化技術(shù)委員會,智能網(wǎng)聯(lián)汽車分技術(shù)委員會,2020.

[4]工業(yè)和信息化部和公安部.《關(guān)于開展智能網(wǎng)聯(lián)汽車準(zhǔn)入和上路通行試點工作的通知（征求意見稿）》, 2022.

[5]ISO 26262Road vehicles -- Functional safety

[6]馮屹,王兆.自動駕駛測試場景技術(shù)發(fā)展與應(yīng)用[M].北京:機械工業(yè)出版社, 2020.

[7]GB/T 41798-2022 智能網(wǎng)聯(lián)汽車 自動駕駛功能場地試驗方法及要求[S].

掃描二維碼

關(guān)注賽目科技

?

專注智能網(wǎng)聯(lián)汽車

測試丨驗證丨評價研究

作者：前瞻事業(yè)部-鞠曉男