一種手動校準Livox雷達和相機之間外參的方法

功能包介紹

該功能包提供了一個手動校準Livox雷達和相機之間外參的方法，已經(jīng)在Mid-40，Horizon和Tele-15上進行了驗證。

其中包含了計算相機內(nèi)參，獲得標定數(shù)據(jù)，優(yōu)化計算外參和雷達相機融合應(yīng)用相關(guān)的代碼。

本方案中使用了標定板角點作為標定目標物，由于Livox雷達非重復(fù)性掃描的特點，點云的密度較大，比較易于找到雷達點云中角點的準確位置。

相機雷達的標定和融合也可以得到不錯的結(jié)果。

功能包名稱：livox_camera_lidar_calibration

功能包使用環(huán)境：Ubuntu 64-bit 16.04

使用步驟

采集數(shù)據(jù)

連接雷達檢查標定板角點是否在點云中

輸入點云可視化的命令查看點云

roslaunch livox_ros_driver livox_lidar_rviz.launch

這樣就在rviz中顯示了點云

連接相機檢查標定板角點是否在照片中

打開相機，檢查獲取照片的質(zhì)量，并檢查標定板角點是否在照片中。具體方法根據(jù)相機型號來了。

采集照片和點云數(shù)據(jù)

拍攝照片運行指令錄制點云

roslaunch livox_ros_driver livox_lidar_msg.launchrosbag record /livox/lidar

每個位置保存一張照片和10s左右的rosbag即可

數(shù)據(jù)采集完成后，將照片放在data/photo文件夾下; 雷達rosbag放在data/lidar文件夾下

以上步驟數(shù)據(jù)就采集好了，下面進行標定工作

標定角點

設(shè)置相機內(nèi)參

首先需要把得到的內(nèi)參和畸變糾正參數(shù)以下圖的格式保存在data/parameters/intrinsic.txt文件下 。

distortion下面對應(yīng)５個畸變糾正參數(shù)，按順序是k1和k2 (RadialDistortion)，p1和p2 (TangentialDistortion)，最后一個是k3，一般默認是０

獲得照片中的角點坐標

配置cornerPhoto.launch文件中的照片路徑，運行

roslaunch camera_lidar_calibration cornerPhoto.launch

程序會在UI中打開對應(yīng)的照片。在這個UI界面上只要把鼠標移到標定板的各個角上，窗口左下角就會顯示對應(yīng)的坐標數(shù)據(jù)。

確定一個順序，一般從左上角的角點開始，逆時針旋轉(zhuǎn)按順序記錄下四個角點坐標。

記錄完畢后選中顯示的圖片按任意鍵，進入坐標輸入流程。

把記錄下的四個坐標”x y”按順序輸入，x和y中間要有空格(比如: “635 487”)，輸入完成后輸入”0 0”即可結(jié)束輸入流程(如下圖例所示)。

程序會算出四個更精確的float類型坐標顯示出來，并保存在data/corner_photo.txt中。然后按任意鍵結(jié)束整個流程。

更改cornerPhoto.launch文件中的照片路徑，重復(fù)上述流程，直至獲得所有照片的角點坐標。

獲得雷達點云中的角點坐標

檢查pcdTransfer.launch文件中的rosbag路徑，設(shè)置rosbag的數(shù)量，并將rosbag以0.bag, 1.bag…命名。

運行指令將rosbag批量轉(zhuǎn)化成PCD文件，PCD文件默認保存在data/pcdFiles文件夾中

roslaunch camera_lidar_calibration pcdTransfer.launch

使用pcl_viewer打開PCD文件，按住shift+左鍵點擊即可獲得對應(yīng)的點坐標。注意和照片采用相同的角點順序

pcl_viewer -use_point_picking xx.pcd

將xyz角點坐標按如下格式保存在data/corner_lidar.txt中，將所有PCD文件中雷達點云的角點坐標保存下來。

上面的步驟把相機和雷達角點獲得了，也就是同名點，下面就是計算外參了

參數(shù)設(shè)置

外參計算節(jié)點會讀取data/corner_photo.txt和data/corner_lidar.txt中的標定數(shù)據(jù)來計算外參，數(shù)據(jù)需要保存成特定的格式才能被外參計算節(jié)點正確讀取。

參考以下格式，每行數(shù)據(jù)只有超過10個字母程序才會將其讀取為計算的參數(shù)，比如下圖用來編號的１２３４，lidar0和0.bmp這些標題不會被讀取為計算參數(shù)。

程序讀到空行就會停止讀取參數(shù)開始計算，所以保存時不要空行。

在計算前檢查一下雷達和相機兩個標定數(shù)據(jù)中是否每行對應(yīng)的是同一個角點，并檢查數(shù)據(jù)量是否相同

計算外參

外參計算getExt1節(jié)點

計算前在getExt1.launch文件中配置好外參初值

輸入指令開始計算外參

roslaunch camera_lidar_calibration getExt1.launch

終端中可以看到每次迭代運算的cost，外參結(jié)果以齊次矩陣的格式保存到data/parameters/extrinsic.txt下。

可以根據(jù)優(yōu)化后的殘差和重投影誤差評估一下得到的外參，重投影會把誤差較大的數(shù)據(jù)打印在屏幕上，可以剔除異常標定數(shù)據(jù)后再重新進行優(yōu)化計算。

外參計算getExt２節(jié)點

getExt1節(jié)點只優(yōu)化外參，而getExt2節(jié)點在計算的時候會將一開始計算的內(nèi)參作為初值和外參一起優(yōu)化。

輸入指令程序會得到一個新的內(nèi)參和外參，并用新的參數(shù)來進行重投影驗證。

roslaunch camera_lidar_calibration getExt2.launch

一般使用getExt1節(jié)點即可，如果在外參初值驗證過，并且異常值已經(jīng)剔除后，優(yōu)化還是有較大的殘差，那么可以使用getExt2試一試。

使用的前提需要保證標定數(shù)據(jù)量較大，并且要充分驗證結(jié)果。

如果經(jīng)過驗證getExt2計算的結(jié)果確實更好，那么把新的內(nèi)參更新在data/parameters/intrinsic.txt中

通過上面步驟已經(jīng)得到了外參的結(jié)果，結(jié)果的優(yōu)略可以通過下面的驗證方法

結(jié)果驗證

獲得外參后我們可以用兩個方式看一下融合的效果。第一個是將點云投影到照片上，第二個是點云的著色。

投影點云到照片在projectCloud.launch文件中配置點云和照片的路徑后，運行指令，將rosbag中一定數(shù)量的點投影到照片上并且保存成新的照片。

roslaunch camera_lidar_calibration projectCloud.launch

點云著色在colorLidar.launch文件中配置點云和照片的路徑，運行指令，可以在rviz中檢查著色的效果。

roslaunch camera_lidar_calibration colorLidar.launch

審核編輯：劉清