探索自動(dòng)駕駛傳感器仿真模型的可信度

引言

智能網(wǎng)聯(lián)汽車是近年來(lái)汽車領(lǐng)域的發(fā)展趨勢(shì)，是先進(jìn)技術(shù)的發(fā)展方向，對(duì)于L3及以上的自動(dòng)駕駛系統(tǒng)，模擬仿真測(cè)試是主要的研發(fā)手段。在智能網(wǎng)聯(lián)汽車仿真測(cè)試過(guò)程中，傳感器建模是一個(gè)關(guān)鍵環(huán)節(jié)，其建模質(zhì)量決定了仿真測(cè)試中智能汽車感知環(huán)境目標(biāo)對(duì)象的逼真度，傳感器感知到的周圍環(huán)境信息不同，將影響自動(dòng)駕駛系統(tǒng)決策和控制模塊的響應(yīng)[1]。

環(huán)境感知作為實(shí)現(xiàn)自動(dòng)駕駛的首要環(huán)節(jié)，主要是通過(guò)智能網(wǎng)聯(lián)汽車搭載的視覺相機(jī)、激光雷達(dá)、毫米波雷達(dá)等傳感器感知周圍的道路環(huán)境并快速準(zhǔn)確的獲取周圍目標(biāo)的類別、位置、尺寸和速度等信息，是自動(dòng)駕駛系統(tǒng)決策、規(guī)劃與控制的基礎(chǔ)。

圖1?自動(dòng)駕駛系統(tǒng)技術(shù)框架

為了使驗(yàn)證的結(jié)果具有更高的可靠性，仿真測(cè)試平臺(tái)中所建立的傳感器模型也越需要更高的還原度。聯(lián)合國(guó)世界車輛法規(guī)協(xié)調(diào)論壇（UN/WP.29）自動(dòng)駕駛驗(yàn)證方法非正式工作組提出一種自動(dòng)駕駛新型測(cè)評(píng)方法（NATM）[2]，NATM中針對(duì)仿真測(cè)試提出了可信度評(píng)估框架與流程，在建模和仿真確認(rèn)部分指出：應(yīng)對(duì)相關(guān)系統(tǒng)（如傳感器、車輛及其他子系統(tǒng)）進(jìn)行確認(rèn)。2023年11月17日，工業(yè)和信息化部、公安部、住房和城鄉(xiāng)建設(shè)部、交通運(yùn)輸部四部委聯(lián)合發(fā)布的《關(guān)于開展智能網(wǎng)聯(lián)汽車準(zhǔn)入和上路通行試點(diǎn)工作的通知》中針對(duì)仿真測(cè)試驗(yàn)證也明確要求：應(yīng)證明使用的模擬仿真測(cè)試工具鏈置信度，以及車輛動(dòng)力學(xué)、傳感器等模型可信度，并通過(guò)與封閉場(chǎng)地和實(shí)際道路測(cè)試結(jié)果對(duì)比等手段驗(yàn)證模擬仿真測(cè)試的可信度[3]。因此，高精度傳感器模型的研究是智能網(wǎng)聯(lián)汽車仿真測(cè)試領(lǐng)域重要的研究方向，確保在仿真系統(tǒng)中，更加精準(zhǔn)和真實(shí)的表征車輛的感知過(guò)程，進(jìn)而準(zhǔn)確感知外在環(huán)境，為決策系統(tǒng)提供依據(jù)，對(duì)智能汽車產(chǎn)品研發(fā)具有重要的意義。

基于賽目科技前期提出的《關(guān)于模擬仿真測(cè)試可信度評(píng)估方法的研究（上）——評(píng)估框架》研究成果，本篇文章總結(jié)了傳感器建模層級(jí)及模型驗(yàn)證方法，并提出傳感器模型比對(duì)思路，為后續(xù)開展傳感器模型可信度評(píng)估提供參考。

傳感器建模層級(jí)

根據(jù)對(duì)真實(shí)世界感知結(jié)果的保真度以及傳感器建模的復(fù)雜程度，傳感器模型可分為理想傳感器、混合傳感器、物理傳感器三個(gè)層級(jí)。

理想傳感器：通常表示沒有誤差的傳感器模型，主要考慮環(huán)境中的幾何關(guān)系（幾何模型），通過(guò)設(shè)置傳感器檢測(cè)邊界，直接從仿真軟件的環(huán)境數(shù)據(jù)中提取探測(cè)范圍內(nèi)的環(huán)境真值（Ground Truth，GT）作為傳感器感知目標(biāo)的檢測(cè)結(jié)果。理想傳感器模型的輸入輸出均為目標(biāo)列表。

物理傳感器：針對(duì)傳感器的具體物理結(jié)構(gòu)和物理原理，從物理特性的角度對(duì)傳感器工作鏈路進(jìn)行全物理級(jí)建模，還原傳感器信號(hào)生成、傳輸、接收、處理的全過(guò)程，并在其中考慮環(huán)境條件、材料特性或傳感器特定效應(yīng)對(duì)信號(hào)的干擾與影響，例如電磁波的多路徑反射、動(dòng)態(tài)傳感器性能，包括探測(cè)丟失率、目標(biāo)分辨率等。物理傳感器模型將仿真環(huán)境提供的虛擬環(huán)境作為輸入，傳感器的視頻或點(diǎn)云等原始數(shù)據(jù)作為輸出[4]。

（1）攝像頭

攝像頭主要由鏡頭、光學(xué)傳感器和圖像信號(hào)處理器組成。來(lái)自場(chǎng)景的光通過(guò)光學(xué)鏡頭獲取視角范圍內(nèi)物體反射的光線，并通過(guò)光學(xué)傳感器將光信號(hào)轉(zhuǎn)換為圖像信號(hào)，然后由圖像信號(hào)處理器運(yùn)行一系列圖像處理算法，并完成數(shù)據(jù)格式的轉(zhuǎn)換，最終輸出RGB、YUV等多種圖像數(shù)據(jù)。根據(jù)攝像頭的物理成像原理，對(duì)攝像頭的結(jié)構(gòu)與光學(xué)特性、內(nèi)部圖像處理過(guò)程進(jìn)行仿真，例如畸變、景深模糊、亮度調(diào)節(jié)、白平衡、伽瑪校正等。

圖2?攝像頭傳感器模型工作鏈路

（2）毫米波雷達(dá)

毫米波雷達(dá)主要由雷達(dá)發(fā)射機(jī)、雷達(dá)接收機(jī)和雷達(dá)信號(hào)處理單元組成。雷達(dá)發(fā)射模塊發(fā)射出的電磁波在空間中傳播，受電磁波頻率和場(chǎng)景信息的影響，經(jīng)波傳播模型轉(zhuǎn)換為回波信號(hào)后，輸入給毫米波雷達(dá)的接收模塊，然后由雷達(dá)信號(hào)處理單元對(duì)回波信號(hào)進(jìn)行一系列處理，輸出得到雷達(dá)原始點(diǎn)云數(shù)據(jù)。

圖3?毫米波雷達(dá)傳感器模型工作鏈路

（3）激光雷達(dá)

激光雷達(dá)主要由發(fā)射模塊、掃描模塊（如有）、接收模塊和處理模塊組成。激光發(fā)射模塊發(fā)射激光脈沖，由掃描模塊實(shí)現(xiàn)激光光束偏轉(zhuǎn)，激光觸碰目標(biāo)反射后向各方向散射，部分散射光返回到激光雷達(dá)的接收模塊，當(dāng)回波經(jīng)過(guò)接收的各級(jí)電路，最終被送至信號(hào)處理模塊。處理模塊會(huì)對(duì)數(shù)據(jù)進(jìn)行處理，輸出不同時(shí)刻每束激光探測(cè)到的目標(biāo)點(diǎn)的位置信息，即“點(diǎn)云”，如點(diǎn)云三維坐標(biāo)、激光反射強(qiáng)度等。

圖4?激光雷達(dá)傳感器模型工作鏈路

混合傳感器：除理想傳感器和物理傳感器以外的其他類型傳感器則為混合傳感器，其建模思路可能包括以下兩種情況：① 在理想傳感器的基礎(chǔ)上考慮噪聲和目標(biāo)物屬性等因素，在理想待輸出對(duì)象的數(shù)據(jù)信息中增加誤差信號(hào)（如能量衰減模型與噪聲模型）；② 對(duì)傳感器工作鏈路進(jìn)行部分物理級(jí)建模，輸出傳感器原始數(shù)據(jù)?；旌蟼鞲衅髂Ｐ涂蓪⒛繕?biāo)列表/環(huán)境參數(shù)作為輸入，目標(biāo)列表/傳感器原始數(shù)據(jù)作為輸出。

基于上述傳感器建模的三個(gè)層級(jí)，在環(huán)境感知-決策規(guī)劃-控制執(zhí)行的循環(huán)中，可將感知任務(wù)分為物理測(cè)量和感知計(jì)算兩部分。在物理測(cè)量階段，傳感器通過(guò)自身工作特性捕捉周圍環(huán)境信息并生成傳感器原始數(shù)據(jù)；而在感知計(jì)算階段，通過(guò)目標(biāo)檢測(cè)算法進(jìn)一步將傳感器原始數(shù)據(jù)轉(zhuǎn)換為目標(biāo)列表（目標(biāo)檢測(cè)）。理想傳感器和一部分混合傳感器模型同時(shí)包括物理測(cè)量和感知計(jì)算，對(duì)傳感器模型進(jìn)行整體建模，其傳感器模型的輸出是目標(biāo)列表，可作為決策規(guī)劃模塊的輸入，從而支持規(guī)劃控制算法的仿真測(cè)試。而物理傳感器和其他混合傳感器模型只包括物理測(cè)量任務(wù)，因此，它們的輸出是傳感器原始數(shù)據(jù)，可作為感知模塊的輸入，從而支持包含感知模塊的完整算法的測(cè)試。

圖5?“感知-決策-控制”循環(huán)流程框架

在感知系統(tǒng)的傳感器仿真建模評(píng)價(jià)方面，Li等[5]對(duì)雷達(dá)的物理參數(shù)進(jìn)行了系統(tǒng)的分析，并建立了雷達(dá)物理模型，其中能量衰減模型如式（1）所示。根據(jù)物理機(jī)制對(duì)雷達(dá)探測(cè)性能進(jìn)行仿真，通過(guò)對(duì)雷達(dá)模型和真實(shí)雷達(dá)測(cè)量數(shù)據(jù)的擬合，采用統(tǒng)計(jì)方法對(duì)距離誤差、速度誤差和角度誤差進(jìn)行對(duì)比分析，驗(yàn)證了雷達(dá)傳感器模型的準(zhǔn)確性。

其中：

Zhao等[6]提出了一種由幾何模型和物理模型組成的面向數(shù)據(jù)的激光雷達(dá)模型。物理模型能夠說(shuō)明天氣現(xiàn)象如何影響激光雷達(dá)的距離測(cè)量性能，其中信號(hào)衰減模型是激光雷達(dá)物理模型的一部分，它描述了激光雷達(dá)的有效探測(cè)范圍隨激光傳輸介質(zhì)而變化的現(xiàn)象，如式（2）所示。最后針對(duì)激光雷達(dá)模型輸出的目標(biāo)檢測(cè)結(jié)果與實(shí)際測(cè)量結(jié)果進(jìn)行比較，驗(yàn)證所提出的傳感器模型在不同天氣條件下的準(zhǔn)確性。

其中：

Khatry R等[7]基于物理的傳感器建模框架，模擬傳感器在現(xiàn)實(shí)世界中的工作原理。通過(guò)判斷與真實(shí)傳感器的接近程度進(jìn)行模型評(píng)估，將真實(shí)數(shù)據(jù)和模型生成的數(shù)據(jù)通過(guò)目測(cè)檢查或使用巴倫相關(guān)系數(shù)和皮爾遜相關(guān)系數(shù)等定量指標(biāo)來(lái)直接進(jìn)行比較。Rosenberger等[8]開發(fā)了一種基于光線投射的激光雷達(dá)傳感器模型來(lái)生成點(diǎn)云，并推導(dǎo)出了應(yīng)用于激光雷達(dá)點(diǎn)云數(shù)據(jù)的評(píng)價(jià)指標(biāo)，從而能夠在點(diǎn)云數(shù)據(jù)生成的不同階段對(duì)仿真和真實(shí)傳感器數(shù)據(jù)進(jìn)行定量比較。Manivasagam等[9]利用仿真得到的點(diǎn)云數(shù)據(jù)、其他平臺(tái)仿真得到的點(diǎn)云數(shù)據(jù)與真實(shí)點(diǎn)云數(shù)據(jù)分別進(jìn)行了語(yǔ)義分割與目標(biāo)檢測(cè)等工作，并計(jì)算目標(biāo)的探測(cè)精度，實(shí)現(xiàn)了對(duì)激光雷達(dá)傳感器模型的簡(jiǎn)要評(píng)價(jià)。Arsalan等[10]通過(guò)對(duì)傳感器時(shí)域和點(diǎn)云級(jí)別的仿真數(shù)據(jù)與實(shí)際測(cè)量數(shù)據(jù)進(jìn)行比較，并定義了關(guān)鍵性能指標(biāo)（KPI），以測(cè)量所提出的模型的保真度。結(jié)果表明，在激光雷達(dá)建模時(shí)，需要考慮完整的信號(hào)處理步驟和真實(shí)激光雷達(dá)傳感器的性能缺陷，才能得到接近實(shí)際傳感器的仿真結(jié)果。

? ?傳感器模型可信度評(píng)價(jià)思路

在自動(dòng)駕駛功能系統(tǒng)設(shè)計(jì)從規(guī)范化階段過(guò)渡到集成實(shí)際硬件與實(shí)施應(yīng)用階段，其仿真測(cè)試需要使用可信的傳感器模型。上篇《模擬仿真測(cè)試可信度評(píng)估方法研究》一文中針對(duì)傳感器模型可信度評(píng)價(jià)，提出“測(cè)試環(huán)境構(gòu)建+對(duì)比參數(shù)”的驗(yàn)證框架。傳感器模型配置主要是通過(guò)攝像頭、毫米波雷達(dá)、激光雷達(dá)等傳感器物理特性根據(jù)仿真測(cè)試需求進(jìn)行建模，并將傳感器模型的輸出結(jié)果與真實(shí)傳感器的輸出結(jié)果進(jìn)行比較。

圖6?傳感器模型可信度評(píng)估框架

本篇文章基于理想傳感器、混合傳感器、物理傳感器的建模層級(jí)分類以及傳感器仿真建模評(píng)價(jià)研究，進(jìn)一步梳理出以下三個(gè)層面的傳感器模型可信度驗(yàn)證思路。

1、目標(biāo)列表層面：通過(guò)對(duì)傳感器模型輸出的目標(biāo)檢測(cè)結(jié)果與傳感器實(shí)測(cè)結(jié)果進(jìn)行統(tǒng)計(jì)對(duì)比，驗(yàn)證傳感器模型的可信度。

·?攝像頭：目標(biāo)對(duì)象的特征及形狀、顏色、位置，車道線的顏色、種類等；

·?毫米波雷達(dá)：目標(biāo)對(duì)象的相對(duì)距離、相對(duì)速度、方向和高度等。

·?激光雷達(dá)：目標(biāo)對(duì)象的相對(duì)距離、相對(duì)速度、加速度、大小和方向等。

2、傳感器原始數(shù)據(jù)層面：與目標(biāo)列表相比，傳感器原始數(shù)據(jù)取決于建模的傳感器類型。

·?圖像用作攝像頭原始數(shù)據(jù)，攝像頭仿真每一幀的原始數(shù)據(jù)包括2D/3D包圍盒、語(yǔ)義/實(shí)例分割圖和光流等。

·?點(diǎn)云信息用作毫米波雷達(dá)和激光雷達(dá)原始數(shù)據(jù)。

3、傳感器仿真過(guò)程各階段輸出結(jié)果：

針對(duì)傳感器工作鏈路進(jìn)行物理級(jí)建模，是搭建高保真?zhèn)鞲衅髂Ｐ偷年P(guān)鍵方法。傳感器仿真主要考慮了外部組件和內(nèi)部組件兩部分，外部組件主要指信號(hào)傳輸過(guò)程中環(huán)境因素的影響；而內(nèi)部組件是指?jìng)鞲衅髯陨淼奈锢斫Y(jié)構(gòu)與特性。因此我們需要考慮傳感器的工作模式、完整的信號(hào)處理工具鏈和真實(shí)傳感器的特定缺陷，基于傳感器信號(hào)生成、傳輸、接收、處理的全過(guò)程，對(duì)每個(gè)階段的輸出結(jié)果進(jìn)行對(duì)比，從而實(shí)現(xiàn)傳感器模型的精確評(píng)價(jià)。

此外，為了評(píng)估傳感器仿真的真實(shí)性和可靠性，可以使用一些定量指標(biāo)來(lái)反映仿真軟件中傳感器數(shù)據(jù)與真實(shí)環(huán)境中傳感器數(shù)據(jù)之間的差異。根據(jù)不同的傳感器類型和仿真目的，定量指標(biāo)可以有不同的選擇和定義，包括：均方根誤差，相關(guān)系數(shù)，結(jié)構(gòu)相似性指數(shù)，信噪比，精確度，召回率等。

小結(jié)

總的來(lái)看，提升傳感器模型的仿真精度、效率，以及建立具有更高保真度的通用傳感器模型是未來(lái)研究需要關(guān)注的重點(diǎn)。同時(shí)，傳感器仿真模型可信度評(píng)價(jià)的通用指標(biāo)與標(biāo)準(zhǔn)體系尚不成熟，本文初步提出了針對(duì)不同傳感器的不同建模層級(jí)，選取不同對(duì)比方法進(jìn)行傳感器模型可信度評(píng)價(jià)。此外，對(duì)于不同傳感器模型也會(huì)對(duì)應(yīng)不同的評(píng)價(jià)指標(biāo)或評(píng)價(jià)體系，在此方面賽目未來(lái)還將繼續(xù)開展更多的研究與探索。

參考文獻(xiàn)

[1] 劉煒,陸存豪.自動(dòng)駕駛汽車環(huán)境感知傳感器研究[J].汽車實(shí)用技術(shù),2023,48(10):197-203.

[2] New Assessment/Test Method for Automated Driving (NATM) Guidelines for Validating Automated Driving System (ADS). Informal Working Group (IWG) on Validation Methods for Automated Driving (VMAD),2022.

[3] 工業(yè)和信息化部、公安部、住房和城鄉(xiāng)建設(shè)部、交通運(yùn)輸部.《關(guān)于開展智能網(wǎng)聯(lián)汽車準(zhǔn)入和上路通行試點(diǎn)工作的通知（試行）》, 2023.

[4] 王若萱,吳建平,徐輝.自動(dòng)駕駛汽車感知系統(tǒng)仿真的研究及應(yīng)用綜述[J].系統(tǒng)仿真學(xué)報(bào),2022,34(12):2507-2521.

[5] Li X, Deng W, Zhang S, et al. Research on Millimeter Wave Radar Simulation Model for Intelligent Vehicle [J]. International Journal of Automotive Technology (S1229-9138), 2020, 21(2): 275-284.

[6] Zhao J, Li Y, Zhu B, et al. Method and Applications of Lidar Modeling for Virtual Testing of Intelligent Vehicles [J]. IEEE Transactions on Intelligent Transportation Systems(S1524-9050), 2021, 22(5): 2990-3000.

[7] Khatry R, Thompson A. Camera and Lidar Sensor Models for Autonomous Vehicles[R]. Teddington: National Physical Laboratory, 2021.

[8] Rosenberger P, Holder M, Huch S, et al. Benchmarking?and Functional Decomposition of Automotive Lidar?Sensor Models[C]//2019 IEEE Intelligent Vehicles?Symposium (IV). Paris: IEEE, 2019: 632-639.

[9] Manivasagam S, Wang S, Wong K, et al. LiDARsim: Realistic LiDAR Simulation by Leveraging the Real World[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Seattle, WA:IEEE, 2020: 11164-11173.

[10] Arsalan H,Marcell P,H. M K, et al. Development of High-Fidelity Automotive LiDAR Sensor Model with Standardized Interfaces[J]. Sensors,2022,22(19).

審核編輯：黃飛