實行實時3D目標(biāo)檢測的方法討論

基于激光雷達的三維目標(biāo)檢測對于自動駕駛而言是不可避免的選擇，因為它與對環(huán)境的理解直接相關(guān)，從而為預(yù)測和運動規(guī)劃奠定了基礎(chǔ)。對于除了自動化車輛之外的許多其他應(yīng)用領(lǐng)域，例如增強現(xiàn)實、個人機器人或工業(yè)自動化，對實時高度稀疏的三維數(shù)據(jù)進行推斷的能力是一個不合適的問題。

我們引入了Complex-YOLO，這是一種最先進的僅針對點云（point clouds）的實時三維目標(biāo)檢測網(wǎng)絡(luò)。在本研究中，我們描述了一個網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過一個特定的復(fù)雜的回歸策略來估計笛卡爾空間（Cartesian space）中的多類三維立方體，從而擴展YOLOv2（一種用于RGB圖像的一個快速二維標(biāo)準(zhǔn)目標(biāo)檢測器）。

因此，我們提出了一個特定的Euler區(qū)域提議網(wǎng)絡(luò)(Euler-Region-Proposal Network，E-RPN)，通過在回歸網(wǎng)絡(luò)中添加一個虛構(gòu)的和一個真實的分數(shù)來估計目標(biāo)的姿勢。這是在一個封閉的復(fù)雜空間中結(jié)束的，從而避免了單角度估計的奇異性。E-RPN支持在訓(xùn)練過程中進行良好的泛化。

我們在KITTI基準(zhǔn)套件上進行的實驗表明，我們的性能優(yōu)于當(dāng)前領(lǐng)先的三維目標(biāo)檢測方法，尤其在效率方面。我們?nèi)〉昧藢ζ?、行人和騎車者進行測試的最先進的結(jié)果，比最快的競爭者快5倍以上。此外，我們的模型能夠同時以高精確度估計所有的8個KITTI類，包括貨車、卡車或坐著的行人。

近年來，隨著汽車激光雷達傳感器的巨大完善，點云處理對自動駕駛而言變得越來越重要。供應(yīng)商的傳感器能夠?qū)崟r提供周圍環(huán)境的三維點。其優(yōu)點是直接測量所包含的目標(biāo)之間的距離。這使我們能夠開發(fā)出用于自動駕駛的目標(biāo)檢測算法，該算法能夠精確地估計出三維中不同目標(biāo)的位置和航向。與圖像相比，激光雷達點云稀疏，其密度分布在整個測量區(qū)域中變化。這些點是無序的，它們在本地進行交互，并且主要是不能被孤立分析。點云處理對于基本轉(zhuǎn)換應(yīng)該是始終保持不變的。

Complex-YOLO是一個非常有效的模型，可直接在僅基于激光雷達的鳥瞰RGB視圖上進行操作，以估計和精確定位3D多類邊界框。該圖的上半部分顯示了諸如預(yù)測目標(biāo)等基于Velodyne HDL64電云的鳥瞰圖，下半部分顯示3D邊界框被重新投影至圖像空間中。注意：Complex-YOLO僅基于激光雷達進行操作，而不需要相機圖像作為輸入。

一般而言，基于深度學(xué)習(xí)的目標(biāo)檢測和分類是眾所周知的任務(wù)，并且在圖像的2D邊界框回歸的建立中得到了廣泛應(yīng)用。研究的重點主要是精確度和效率的權(quán)衡。在自動駕駛領(lǐng)域，效率更為重要。因此，最好的目標(biāo)檢測器往往使用區(qū)域提議網(wǎng)絡(luò)（RPN）或類似的基于網(wǎng)格的RPN方法。這些網(wǎng)絡(luò)非常高效、準(zhǔn)確，甚至能夠在專用的硬件或嵌入式設(shè)備上運行。盡管點云上的目標(biāo)檢測依然很少，但它們正變得越來越重要。這些應(yīng)用程序需要能夠預(yù)測3D邊界框。目前，主要有三種不同的深度學(xué)習(xí)方法：

使用多層感知器的直接點云處理。

通過使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）將點云轉(zhuǎn)換為體素或圖像堆棧。

組合式融合方法。

最近，基于Frustum的網(wǎng)絡(luò)在KITTI 基準(zhǔn)套件中表現(xiàn)出了很好的性能。該模型在3D目標(biāo)檢測方面排名第二，在汽車、行人和騎行者的鳥瞰檢測方面同樣排名第二。這是唯一的方法，它直接使用Point-Net直處理點云，而不使用激光雷達數(shù)據(jù)和體素創(chuàng)建中的CNN。

然而，它需要預(yù)處理，因此它必須使用相機傳感器?；诹硪粋€對標(biāo)定的相機圖像進行處理的CNN，它通過利用這些檢測將全局云點最小化到基于截面的已減少點云。這種方法有兩個缺點：

模型的精準(zhǔn)度在很大程度上依賴于相機圖像及其相關(guān)的CNN。因此，該方法不可能僅適用于激光雷達數(shù)據(jù)。

整個管道需要連續(xù)運行兩種深度學(xué)習(xí)方法，這會導(dǎo)致運算時間更長而效率更低。參考模型在NVIDIA GTX1080i GPU上大約以7fps的低幀率運行。

與之相反，Zhou等人提出了一種僅適用于激光雷達數(shù)據(jù)的模型。就這方面而言，它是KITTI上僅使用激光雷達數(shù)據(jù)進行3D和鳥瞰探測的最佳模型。其基本思想是在網(wǎng)格單元上運行端到端的學(xué)習(xí)，而不使用人工制作的特征。網(wǎng)絡(luò)單元格的內(nèi)部特征是在訓(xùn)練期間利用Pointnet方法學(xué)習(xí)的。在頂部建立一個預(yù)測3D邊界框的CNN。盡管擁有很高的精準(zhǔn)度，但該模型在TitanX GPU上的最快運算時間為4fps。

Chen等人報道了另一種排名很靠前的方法。其基本思想是利用人工制作的特征將激光雷達點云投影到基于體素的RGB地圖上，如密度、最大高度和一個具有代表性的點強度。為了獲得具有更高精準(zhǔn)度的結(jié)果，他們使用了基于激光雷達的鳥瞰圖，基于激光雷達的前視圖以及基于相機的前視圖的多視圖方法。這種融合處理需要很長時間，即便在NVIDIA GTX 1080i GPU上也僅為4fps。另一個缺點是需要輔助傳感器輸入（相機）。

空間真實數(shù)據(jù)分布。上圖左側(cè)的樣本檢測描繪了鳥瞰區(qū)域的大小，右側(cè)圖顯示了《我們準(zhǔn)備好了自動駕駛嗎？ kitti視覺基準(zhǔn)套件》中所注釋的2D空間直方圖。該分布概述了用于注釋的照相機的水平視野以及地圖中遺留的盲點。

性能比較。該圖顯示了與運行時間（fps）相關(guān)的mAP。所有模型都在Nvidia Titan X或Titan Xp上進行測試。Complex-Yolo的運行速度比KITTI基準(zhǔn)測試中最有效的競爭對手快5倍，進而獲得準(zhǔn)確的結(jié)果。我們在一個專用的嵌入式平臺(TX2)上對我們的網(wǎng)絡(luò)進行了測試，并與五種領(lǐng)先的模型進行了比較，結(jié)果表明我們的網(wǎng)絡(luò)具有合理的效率(4fps)。Complex-Yolo是首個用于實時3D目標(biāo)檢測的模型。

本文首次提出了基于激光雷達的點云3D目標(biāo)檢測的第一個實時高效深度學(xué)習(xí)模型。我們在KITTI基準(zhǔn)測試套件中就精準(zhǔn)度（如上圖所示）而言突顯了我們最新的成果，其卓越的效率超過50fps（NVIDIA Titan X）。我們不像大多數(shù)主流方法那樣需要額外的傳感器，例如相機。這一突破是通過引入新的E-RPN（一種借助復(fù)雜數(shù)字來估計方位的Euler回歸方法）實現(xiàn)的。無奇點的封閉數(shù)學(xué)空間允許魯棒角度預(yù)測。

我們的方法能夠在一條前進的道路上同時檢測多種類別的目標(biāo)（例如：汽車、火車、行人、騎行者、卡車、有軌電車、坐著的人等）。這種全新的方法可以在自動駕駛汽車中實現(xiàn)落地應(yīng)用，并且以此來區(qū)別于其他車型。我們甚至在專業(yè)的嵌入式平臺NVIDIA TX2（4fps）展示了實時性能。在今后的研究工作中，我們計劃在回歸中加入高度信息，在空間中真正實現(xiàn)獨立3D目標(biāo)檢測，并在點云預(yù)處理過程中利用速度-空間相關(guān)性，以獲得更好的分類性能和更高的精準(zhǔn)度。