基于點(diǎn)云的3D障礙物檢測(cè)

基于點(diǎn)云的3D障礙物檢測(cè)

主要有以下步驟：

點(diǎn)云數(shù)據(jù)的處理

基于點(diǎn)云的障礙物分割

障礙物邊框構(gòu)建

點(diǎn)云到圖像平面的投影

點(diǎn)云數(shù)據(jù)的處理

KITTI數(shù)據(jù)集

KITTI數(shù)據(jù)集有四個(gè)相機(jī)，主要使用第三個(gè)相機(jī)(序號(hào)為02)拍攝的圖片、標(biāo)定參數(shù)和標(biāo)簽文件。

點(diǎn)云數(shù)據(jù)一般表示為N行，至少三列的numpy數(shù)組。每行對(duì)應(yīng)一個(gè)單獨(dú)的點(diǎn)，所以使用至少3個(gè)值的空間位置點(diǎn)(X, Y, Z)來(lái)表示。

在KITTI數(shù)據(jù)中有一個(gè)附加值“反射率”，這是衡量激光光束在那個(gè)位置被反射回來(lái)了多少。所以在KITTI數(shù)據(jù)中，其點(diǎn)云數(shù)據(jù)就是N*4的矩陣。

三維點(diǎn)云的可視化

在MATLAB中可視化三維點(diǎn)云，如下圖。

額外的工作：三維點(diǎn)云的可視化，可使用python中的mayavi來(lái)實(shí)現(xiàn)，它是一個(gè)專(zhuān)門(mén)畫(huà)3D圖的python工具。另外，在有的論文中常常用到點(diǎn)云的鳥(niǎo)瞰圖和前視圖(包含360度的全景柱面圖)。

高精地圖

ROI指定從高精地圖檢索到包含路面、路口的可駕駛區(qū)域。以下點(diǎn)云數(shù)據(jù)處理在高精地圖的基礎(chǔ)上進(jìn)行點(diǎn)云處理，默認(rèn)去除路邊建筑物和樹(shù)木等背景對(duì)象。

額外的工作：百度Apollo使用了高精地圖ROI過(guò)濾器建立了網(wǎng)格，對(duì)網(wǎng)格中的點(diǎn)云數(shù)據(jù)特征進(jìn)行CNN學(xué)習(xí)來(lái)實(shí)現(xiàn)障礙物分割聚類(lèi)，之后使用了MinBox構(gòu)建障礙物邊框。

去除地平面

找到地面平面并移除地面平面點(diǎn)，使用RANSAC(隨機(jī)采樣一致)算法檢測(cè)和匹配地面平面，最后結(jié)果如下圖。

基于點(diǎn)云的障礙物分割

對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理后，只留下路面上障礙物的點(diǎn)云，其余的背景障礙物以及地面已被移除。障礙物分割主要檢測(cè)和劃分單獨(dú)的障礙物，將單獨(dú)的車(chē)輛、行人等障礙物分割出來(lái)。

由于只是在二維圖像中畫(huà)出3D目標(biāo)框，所以保留車(chē)輛前面的點(diǎn)(取x>5)。在剩下的點(diǎn)云中使用柵格法構(gòu)建俯視圖(即投影到x-y平面)2D網(wǎng)格，網(wǎng)格大小由點(diǎn)云的大小來(lái)決定。

通過(guò)建立網(wǎng)格，可以得到以下統(tǒng)計(jì)量：

網(wǎng)格中的點(diǎn)云個(gè)數(shù)

網(wǎng)格中的點(diǎn)云的最大、最小和平均高度

網(wǎng)格中的點(diǎn)云序號(hào)

基于以上統(tǒng)計(jì)量，尋找每個(gè)格子附近(3*9)領(lǐng)域的連通區(qū)域，每個(gè)連通區(qū)域?yàn)橐粋€(gè)障礙物，達(dá)到了分割障礙物的目的。

額外的工作：使用KITTI的標(biāo)簽label文件來(lái)得到二維圖像上的障礙物邊界框，在此邊界框中進(jìn)行聚類(lèi)分割前景障礙物和背景。

障礙物邊框構(gòu)建

從以上得到每個(gè)障礙物點(diǎn)云后，就需要畫(huà)出每個(gè)障礙物的邊界框。在這里使用最小凸包法求出包圍點(diǎn)云的最小面積多邊形邊界框，如下圖。

基于最小凸包法得到障礙物周?chē)狞c(diǎn)，在這些點(diǎn)的基礎(chǔ)上求出包圍最小面積的矩形，如下圖。

可以看到黃色部分的點(diǎn)云求最小面積矩形邊界框，會(huì)因?yàn)辄c(diǎn)云的稀疏，使得邊界框不精確。

額外的工作：根據(jù)點(diǎn)云的x, y坐標(biāo)找到x, y的最大值和最小值的點(diǎn)(共有4個(gè)點(diǎn))，根據(jù)這4個(gè)點(diǎn)畫(huà)出矩形框。很顯然，這樣做是不行的，但是如果知道車(chē)輛的朝向，以朝向?yàn)檩S找到距離軸最大最小的點(diǎn)，此方法畫(huà)出的邊界框更加精確。

點(diǎn)云到圖像平面的投影

點(diǎn)云到圖像平面的投影需要讀取標(biāo)定參數(shù)文件，得到三個(gè)參數(shù)(相機(jī)的內(nèi)參矩陣、基于相機(jī)0的旋轉(zhuǎn)矩陣、外參矩陣)，三個(gè)參數(shù)的乘積也就是點(diǎn)云到圖像的投影矩陣，結(jié)果如下圖。