從記錄的傳感器數(shù)據(jù)中獲取駕駛場景

作者：來自安波福的 Krishna Koravadi 和來自 MathWorks 的 Seo-Wook Park

此工作流使用 MATLAB 和 RoadRunner 產(chǎn)品完成，它提供了一種結(jié)構(gòu)化的方法來創(chuàng)建虛擬場景，使安波福的工程師能夠通過仿真嚴(yán)格驗(yàn)證 ADAS/AD 閉環(huán)算法。

對(duì)于開發(fā)下一代汽車的工程師，具備在逼真的駕駛場景下測試高級(jí)駕駛輔助系統(tǒng) (ADAS) 和自動(dòng)駕駛 (AD) 系統(tǒng)算法的能力至關(guān)重要。但是，在真實(shí)交通中測試新開發(fā)算法的性能和穩(wěn)健性是不切實(shí)際的。理想的替代方案是根據(jù)實(shí)際道路測試期間所捕獲的傳感器數(shù)據(jù)生成虛擬場景。這些場景隨后可以經(jīng)濟(jì)高效的方式，在虛擬環(huán)境中安全、可重復(fù)地測試和微調(diào) ADAS/AD 算法。

安波福的工程師通過我們實(shí)現(xiàn)的工作流從記錄的車輛數(shù)據(jù)中獲取駕駛場景。此工作流是使用 MATLAB 和 RoadRunner 產(chǎn)品分三步完成的。

第一步是，基于來自車載 GPS、慣性測量單元 (IMU)、相機(jī)和地圖數(shù)據(jù)的輸入，重建自主車輛的軌跡。

第二步是，使用雷達(dá)數(shù)據(jù)和非因果聯(lián)合集成概率數(shù)據(jù)關(guān)聯(lián) (JIPDA) 跟蹤算法重建非自主車輛的軌跡，以創(chuàng)建周圍交通的動(dòng)態(tài)表示。

最后一步是，使用 RoadRunner 生成場景，根據(jù)需要進(jìn)行編輯，并將其導(dǎo)出為 ASAM OpenSCENARIO 格式，該格式可用于其他場景編輯和可視化工具。此工作流是使用 MATLAB 和 RoadRunner 產(chǎn)品完成的，它提供了一種結(jié)構(gòu)化的方法來創(chuàng)建虛擬場景，使 安波福的工程師能夠通過仿真嚴(yán)格驗(yàn)證 ADAS/AD 閉環(huán)算法（圖 1）。

圖 1. 從傳感器數(shù)據(jù)中獲取場景的工作流。

重建自主車輛的軌跡

在工作流的第一階段，我們會(huì)創(chuàng)建一個(gè)虛擬道路場景，并添加一個(gè)自主車輛，其軌跡是根據(jù)記錄的傳感器數(shù)據(jù)重建的。

為了創(chuàng)建虛擬場景，我們使用 RoadRunner Scene Builder 從導(dǎo)入的高清地圖創(chuàng)建三維道路模型，該地圖以通過 GPS 獲得的車輛位置為中心。我們從地圖上刪除不需要的道路并保存場景（圖 2）。

圖 2. 使用 RoadRunner Scene Builder 從高清地圖生成場景。

此時(shí)，我們可以使用 GPS 數(shù)據(jù)在地圖上疊加自主車輛的軌跡。然而，完全依賴 GPS 輸入進(jìn)行自主車輛跟蹤是有問題的，原因有如下幾個(gè)：確定車輛行駛在哪個(gè)車道通常不夠準(zhǔn)確；GPS 信號(hào)可能會(huì)臨時(shí)丟失；其采樣時(shí)間（通常為數(shù)百毫秒）相對(duì)較長。為了彌補(bǔ)這些缺陷，我們使用 Navigation Toolbox 中的 insfilterAsync 對(duì)象，將 GPS 數(shù)據(jù)與來自 IMU 的加速度計(jì)和陀螺儀數(shù)據(jù)融合在一起。IMU 數(shù)據(jù)每 10 毫秒采樣一次。通過融合該數(shù)據(jù)，我們能夠更精確地估計(jì)自主車輛的軌跡（圖 3）。

圖 3. 根據(jù)單獨(dú)的 GPS 數(shù)據(jù)（藍(lán)色）和融合的 GPS 和 IMU 數(shù)據(jù)（紅色）估計(jì)的自主車輛軌跡。

盡管 GPS 和 IMU 數(shù)據(jù)融合提高了準(zhǔn)確度，但結(jié)果仍不足以可靠地確定自主車輛行駛在哪個(gè)車道上。為了提高準(zhǔn)確度，我們利用相機(jī)數(shù)據(jù)跟蹤自主車輛及其相鄰車道的車道標(biāo)線檢測情況。然后，我們校正自主車輛軌跡，使基于高清地圖計(jì)算的車道數(shù)和偏移量與基于車道檢測計(jì)算的車道數(shù)和偏移量相符（圖 4）。

圖 4. 通過車道檢測定位之前（藍(lán)色）和之后（紅色）的自主車輛軌跡。

這樣，我們就有了車道級(jí)別準(zhǔn)確度的自主車輛軌跡，該軌跡可導(dǎo)出到逗號(hào)分隔值 (CSV) 文件。

然后，我們可將該 CSV 文件導(dǎo)入 RoadRunner Scenario 以創(chuàng)建一個(gè)場景，以供我們可以用來運(yùn)行自主車輛的仿真（圖 5）。

圖 5. 通過車道檢測定位之前（白色）和之后（藍(lán)色），在 RoadRunner Scenario 中運(yùn)行的自主車輛仿真。

重建非自主車輛的軌跡

工作流中的第二步是將非自主車輛的軌跡添加到場景中。在此步驟中，我們?cè)u(píng)估了幾種不同方法，包括使用雷達(dá)、激光雷達(dá)以及雷達(dá)和相機(jī)的組合。最終，我們決定繼續(xù)使用基于雷達(dá)的方法，因?yàn)槲覀冇涗浀拇蠖鄶?shù)車輛數(shù)據(jù)都包括雷達(dá)測量值，而激光雷達(dá)數(shù)據(jù)只能從專門安裝儀器的車輛獲得。

為了準(zhǔn)備用于跟蹤的雷達(dá)數(shù)據(jù)，我們需要運(yùn)行一系列信號(hào)處理操作來區(qū)分靜態(tài)檢測（如護(hù)欄）和動(dòng)態(tài)檢測（如其他車輛），以及過濾由多徑反射引起的重影。然后，我們應(yīng)用基于密度的含噪空間聚類 (DBSCAN) 算法來生成目標(biāo)級(jí)檢測結(jié)果。

接下來，我們將目標(biāo)級(jí)檢測結(jié)果饋送到非因果聯(lián)合集成概率數(shù)據(jù)關(guān)聯(lián) (JIPDA) 跟蹤器。這種跟蹤算法是非因果的，因?yàn)樵诿總€(gè)時(shí)間步，它都使用該時(shí)間步之前和之后直到記錄數(shù)據(jù)結(jié)束的所有檢測結(jié)果。在線多目標(biāo)跟蹤算法（例如，在行駛的車輛中運(yùn)行的算法）只能依賴過去和當(dāng)前的測量值，而非因果算法可以離線運(yùn)行，并使用從場景開始到結(jié)束的所有雷達(dá)測量值。由于事先獲得了這些測量值，離線 JIPDA 跟蹤算法可比在線跟蹤算法更準(zhǔn)確地解決數(shù)據(jù)關(guān)聯(lián)中的多義性（這種多義性會(huì)導(dǎo)致軌跡切換、分段和錯(cuò)誤軌跡）問題。

為了實(shí)現(xiàn)這種改進(jìn)的性能，JIPDA 算法會(huì)運(yùn)行迭代數(shù)據(jù)關(guān)聯(lián)（圖 6）。在每個(gè)時(shí)間步，它都使用截至?xí)r間步 k-1 的測量值執(zhí)行前向跟蹤，然后使用從時(shí)間步 k+1 到 N 的測量值執(zhí)行后向跟蹤。該算法將這兩項(xiàng)操作的融合預(yù)測與檢測相關(guān)聯(lián)，并移至下一個(gè)時(shí)間步。最后，該算法會(huì)執(zhí)行 Rauch-Tung-Striebel 平滑處理。雖然該算法本身可能看似很復(fù)雜，但在 MATLAB 中實(shí)現(xiàn)它只需使用 Sensor Fusion and Tracking Toolbox 中的 smootherJIPDA 對(duì)象編寫幾行代碼即可。

圖 6. JIPDA 算法的圖形化表示。

使用 JIPDA 算法計(jì)算每個(gè)非自主車輛的軌跡后，我們將雷達(dá)跟蹤結(jié)果與相機(jī)的視圖進(jìn)行比較（圖 7）。

圖 7. 雷達(dá)跟蹤結(jié)果與同步相機(jī)視圖。

場景生成和驗(yàn)證

作為工作流的第三步也是最后一步，我們將非自主車輛軌跡與自主車輛軌跡相結(jié)合來完成場景的創(chuàng)建。為此，我們使用 Automated Driving Toolbox 中的 actorprops 函數(shù)將非自主車輛軌跡變換為世界坐標(biāo)系。

完成這些操作后，我們將非自主車輛軌跡導(dǎo)出到 CSV 文件，并將該文件導(dǎo)入 RoadRunner Scenario，以將這些軌跡添加到場景中。然后，我們運(yùn)行仿真來檢查結(jié)果。

我們可以使用 RoadRunner Scenario 編輯該場景或?qū)⑵鋵?dǎo)出為 ASAM OpenSCENARIO 格式。該場景隨后可用于任何兼容 ASAM OpenSCENARIO 的仿真器和播放器，包括 esmini。

作為最后的驗(yàn)證步驟，我們將獲得的場景與擋風(fēng)玻璃相機(jī)的視圖進(jìn)行比較，以確認(rèn)車道變更、車輛超車和其他事件的匹配情況。

一旦此工作流得到驗(yàn)證，我們就會(huì)應(yīng)用它從更多的記錄傳感器數(shù)據(jù)集自動(dòng)生成虛擬場景。這些虛擬場景隨后用于測試 ADAS/AD 算法，作為我們仿真工作流的一部分。

審核編輯：湯梓紅