智駕數(shù)據(jù)采集平臺(tái)搭建之多傳感器聯(lián)合標(biāo)定

作者 |不愛(ài)吃香菜的攻城獅

小編 | 不吃豬頭肉
簡(jiǎn)介
在自動(dòng)駕駛發(fā)展如火如荼的今天，L4和L5級(jí) 的自動(dòng)駕駛功能依舊處于算法開(kāi)發(fā)和驗(yàn)證的階段，就無(wú)可避免的需要極其龐大的路試數(shù)據(jù)用以支撐算法的開(kāi)發(fā)和訓(xùn)練，為此，北匯信息為客戶(hù)提供整套的數(shù)采平臺(tái)解決方案。值得一提的是，在數(shù)采平臺(tái)搭建后，到數(shù)據(jù)的消費(fèi)端之前，必須要完成數(shù)采平臺(tái)中傳感器的標(biāo)定，才能夠使得數(shù)據(jù)用于感知算法的開(kāi)發(fā)、數(shù)據(jù)回灌等，所以本文給大家介紹的也是在數(shù)采平臺(tái)搭建之后的傳感器標(biāo)定的相關(guān)內(nèi)容。
由于多傳感器的融合能夠顯著的提高智駕系統(tǒng)的容錯(cuò)性以及冗余度，保證了規(guī)控決策的快速性和準(zhǔn)確性，已成為自動(dòng)駕駛的主流趨勢(shì)。如今的自動(dòng)駕駛車(chē)輛上的傳感器都包括如下：

激光雷達(dá)：測(cè)距精度、范圍及對(duì)溫度和光照的適應(yīng)性都很強(qiáng)，但是相對(duì)較昂貴；

攝像頭：相機(jī)對(duì)環(huán)境的細(xì)節(jié)信息的提取能力強(qiáng)，但是光照適應(yīng)性弱；

毫米波雷達(dá)：探測(cè)角度大，抗干擾也強(qiáng)，但是分辨率和精度不足；

超聲波雷達(dá)：成本低廉，但是精度較差；

GPS+IMU: GPS更新頻率低，但每次更新不存在誤差累積，IMU更新頻率高，但更新過(guò)程存在誤差累積，所以聯(lián)合互補(bǔ)使用。

針對(duì)這幾種傳感器，通常都需要完成它們之間的聯(lián)合標(biāo)定，如lidar2cam、lidar2imu、radar2lidar、lidar2lidar、radar2cam等等，才能夠滿(mǎn)足算法開(kāi)發(fā)的使用要求。

傳感器標(biāo)定的原因

傳感器標(biāo)定是自動(dòng)駕駛感知系統(tǒng)中的重要環(huán)節(jié)，是后續(xù)傳感器融合的必要步驟和先決條件，其目的是將兩個(gè)或者多個(gè)傳感器變換到統(tǒng)一的時(shí)空坐標(biāo)系，使得傳感器融合具有意義，是感知決策的關(guān)鍵前提。

原因一：由于傳感器的種類(lèi)以及數(shù)量眾多以及位置不同，每一個(gè)傳感器都有自身的坐標(biāo)系。比如，毫米波雷達(dá)通常會(huì)以天線(xiàn)面板中心為坐標(biāo)原點(diǎn)，垂直坐標(biāo)原點(diǎn)為X軸建立空間直角坐標(biāo)系，而攝像頭同時(shí)也存在一個(gè)不同于雷達(dá)的坐標(biāo)系，如下圖。

通常情況下，我們是在以車(chē)輛為坐標(biāo)原點(diǎn)的空間直角坐標(biāo)系下開(kāi)發(fā)諸如ACC、AEB等智駕功能的，此時(shí)就需要將傳感器的目標(biāo)映射到車(chē)輛坐標(biāo)系下，才能夠基于數(shù)據(jù)進(jìn)行感知融合規(guī)控算法的開(kāi)發(fā)；

原因二：由于安裝誤差的存在，以及車(chē)輛在使用過(guò)程中的振動(dòng)等，可能會(huì)導(dǎo)致傳感器的預(yù)定安裝角度和位置發(fā)生偏移，此時(shí)就需要通過(guò)標(biāo)定來(lái)確定傳感器的實(shí)際位姿和坐標(biāo)轉(zhuǎn)換關(guān)系，例如改制車(chē)輛在使用一段時(shí)間后可能需要重新進(jìn)行標(biāo)定以及汽車(chē)的售后標(biāo)定等。

傳感器的標(biāo)定過(guò)程
標(biāo)定工作通常分為外參標(biāo)定和內(nèi)參標(biāo)定，內(nèi)參是決定傳感器內(nèi)部的映射關(guān)系，如攝像頭的內(nèi)參包括焦距、畸變系數(shù)等，而外參則是傳感器和外部坐標(biāo)系的轉(zhuǎn)換關(guān)系，即位姿參數(shù)。1.傳感器的內(nèi)參標(biāo)定

一般來(lái)說(shuō)，高階智駕的傳感器的內(nèi)參通常是由各個(gè)供應(yīng)商廠(chǎng)家標(biāo)定完成后給到用戶(hù)的，如攝像頭的焦距和畸變系數(shù)等；但是有時(shí)也會(huì)遇到出廠(chǎng)后需要標(biāo)定的場(chǎng)景，也可以自己完成內(nèi)參的標(biāo)定。比如激光雷達(dá)可以通過(guò)供應(yīng)商提供的軟件完成內(nèi)參的重新標(biāo)定（下圖為固態(tài)激光雷達(dá)通道拼接斷層示例）。

另外，通過(guò)標(biāo)定板也可以完成攝像頭的內(nèi)參標(biāo)定，標(biāo)定的方法如下圖：

第一步，準(zhǔn)備一個(gè)標(biāo)定板，可以是圓點(diǎn)標(biāo)定板，也可以是棋盤(pán)格標(biāo)定板；

第二步，在不同的位置和角度下拍攝多張包含標(biāo)定盤(pán)的圖片，需要注意的是，標(biāo)定的圖片要做到盡可能覆蓋相機(jī)的視場(chǎng)，并且確保在不同的位置和角度下都能看到完整的標(biāo)定板。

第三步，提取標(biāo)定板的特征點(diǎn)，并且使用圖像處理算法或者視覺(jué)庫(kù)從圖片中提取標(biāo)定板的特征點(diǎn)。

第四步，將不同的圖像中的特征點(diǎn)進(jìn)行匹配，確定其在三維標(biāo)定系中的對(duì)應(yīng)關(guān)系。

第五步，利用已知的標(biāo)定板的三維世界坐標(biāo)和其在圖像中的對(duì)應(yīng)二維像素坐標(biāo)，通過(guò)相機(jī)模型的數(shù)學(xué)計(jì)算，估計(jì)相機(jī)的內(nèi)參參數(shù)，包括焦距、畸變等。

第六步，通過(guò)最小化標(biāo)定板特征點(diǎn)的重投影誤差，來(lái)優(yōu)化估計(jì)得到的內(nèi)參參數(shù)。

2.傳感器的外參標(biāo)定值得一提的是，標(biāo)定方法通常還分為targetless和target兩種，第一種一般可以在任意環(huán)境中進(jìn)行標(biāo)定，約束條件少，不需要用專(zhuān)門(mén)的target；第二種則需要專(zhuān)門(mén)的控制場(chǎng)，在特定的標(biāo)定環(huán)境下進(jìn)行，比如典型的棋盤(pán)格平面板標(biāo)定間。本文基于targetless以及離線(xiàn)標(biāo)定的方式來(lái)對(duì)外參標(biāo)定進(jìn)行舉例。lidar2cam的標(biāo)定：

第一步，在任意的環(huán)境中錄制lidar數(shù)據(jù)和拍攝相機(jī)圖片，通常最好選擇有較明顯的垂直相交特征（如垂直于地面的電線(xiàn)桿）以及平整地面的環(huán)境會(huì)使得標(biāo)定過(guò)程更加簡(jiǎn)單和結(jié)果更加準(zhǔn)確。

第二步，導(dǎo)入標(biāo)定源數(shù)據(jù)后，對(duì)lidar特征點(diǎn)云進(jìn)行提取。

第三步，通過(guò)可視化界面，手動(dòng)調(diào)整lidar點(diǎn)云的位姿，使得其和相機(jī)的特征相匹配，自動(dòng)標(biāo)定則是自動(dòng)提取特征點(diǎn)云之后進(jìn)行匹配，沒(méi)有手動(dòng)過(guò)程。

第四步，點(diǎn)云匹配之后即可得到坐標(biāo)轉(zhuǎn)換關(guān)系，也即位姿矩陣[R,t]，常見(jiàn)的是.yaml或者.txt的文件格式，打開(kāi)的內(nèi)容如下圖所示。

lidar2lidar的外參標(biāo)定：
也是先錄制離線(xiàn)數(shù)據(jù)包，環(huán)境里面最好包含有垂直相交點(diǎn)云特征的物體，對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行提取，通過(guò)手動(dòng)標(biāo)定板調(diào)整點(diǎn)云姿態(tài)，匹配之后輸出位姿矩陣[R,t]。如下圖所示，左邊是沒(méi)有標(biāo)定之前的點(diǎn)云， 右邊是標(biāo)定完成之后的點(diǎn)云：
以下是三個(gè)激光雷達(dá)（前雷達(dá)、前左雷達(dá)、前右雷達(dá)）使用位姿矩陣將坐標(biāo)轉(zhuǎn)換后效果視頻：

除了lidar2cam和lidar2lidar之外， 其他的外參標(biāo)定如lidar2radar、radar2cam等標(biāo)定原理基本上是相似的，所以標(biāo)定的步驟基本也是類(lèi)似的，這里就不一一敘述了。有了眾多傳感器的坐標(biāo)轉(zhuǎn)換關(guān)系，就可以完成坐標(biāo)系的統(tǒng)一，比如統(tǒng)一到車(chē)輛后軸中心，從而進(jìn)行智駕功能的開(kāi)發(fā)了。傳感器精度驗(yàn)證標(biāo)定完成之后如何進(jìn)行精度的驗(yàn)證呢？有如下方法可以使用：

直接測(cè)量：通過(guò)傳感器之間的位移，通過(guò)測(cè)量值來(lái)判斷標(biāo)定的位移量和測(cè)量之間差別是否過(guò)大；

下游評(píng)估：通常下游在使用標(biāo)定參數(shù)時(shí)能夠通過(guò)其自己的算法判斷標(biāo)定是否準(zhǔn)確，如通過(guò)測(cè)距是否準(zhǔn)確來(lái)判斷相機(jī)內(nèi)外參是否標(biāo)定準(zhǔn)確；通過(guò)融合確定不同傳感器感知融合的誤差是否過(guò)大來(lái)判斷外參標(biāo)定是否準(zhǔn)確；通過(guò)規(guī)控判斷車(chē)輛行駛是否正常，標(biāo)定參數(shù)不對(duì)導(dǎo)致的規(guī)控異常。

設(shè)計(jì)標(biāo)準(zhǔn)：有些主機(jī)廠(chǎng)會(huì)通過(guò)設(shè)計(jì)標(biāo)定的預(yù)期效果來(lái)設(shè)計(jì)定量評(píng)估標(biāo)準(zhǔn)。比如相機(jī)畸變標(biāo)定之后的 “直線(xiàn)特征”。又或者舉個(gè)例子，可以規(guī)定在所有的攝像頭內(nèi)參標(biāo)定重投影誤差（pixel）<=1從而來(lái)定量進(jìn)行判斷。比如下面兩張圖張圖展示了兩個(gè)攝像頭的標(biāo)定結(jié)果報(bào)告的部分內(nèi)容，如重投影誤差以及誤差的標(biāo)準(zhǔn)差變化范圍（如[-0.000910, -0.001823]，表示在水平和垂直方向上的誤差，而后面的標(biāo)準(zhǔn)差部分 [1.044060, 0.498987] 表示這個(gè)誤差的不確定性，即誤差的變化范圍。）。

可視化判斷：許多時(shí)候都是通過(guò)可視化直接查看標(biāo)定精度是否達(dá)到預(yù)期。如雷達(dá)和相機(jī)的標(biāo)定可以查看圖像和點(diǎn)云是否對(duì)齊來(lái)進(jìn)行判斷；雷達(dá)和雷達(dá)的標(biāo)定可以通過(guò)看雷達(dá)和雷達(dá)之間的配準(zhǔn)來(lái)進(jìn)行判斷；相機(jī)和相機(jī)的標(biāo)定可以通過(guò)看環(huán)視拼接效果進(jìn)行判斷。

總結(jié)本文給大家介紹了ADAS傳感器標(biāo)定的原因，描述了標(biāo)定的類(lèi)型以及舉例介紹了相關(guān)的標(biāo)定原理或者說(shuō)標(biāo)定過(guò)程，最后在簡(jiǎn)要介紹了標(biāo)定精度的驗(yàn)證。如果還想了解更多智駕傳感器標(biāo)定的相關(guān)內(nèi)容，或者對(duì)北匯信息的智能駕駛數(shù)據(jù)閉環(huán)解決方案的其他內(nèi)容感興趣的話(huà)，歡迎聯(lián)系我們，期待您的到來(lái)。