ROD自動駕駛數(shù)據(jù)集

在自動駕駛領域，目標檢測是一項富有挑戰(zhàn)性的工作，尤其是一些出現(xiàn)頻率較低的特殊目標，常因數(shù)據(jù)不足導致檢測效果一般。對此，Nullmax的感知團隊提出了一項針對少見目標檢測的數(shù)據(jù)增強方法，并將相應數(shù)據(jù)集開源上線，為行業(yè)解決數(shù)據(jù)缺乏難題，應對長尾挑戰(zhàn)提供研究參考。

對于自動駕駛車輛而言，準確識別各類目標和障礙物信息，可以有效保障行駛安全。因此感知系統(tǒng)既要檢測一些路上常見的目標，比如車輛、行人、交通標識等，也要檢測了一些少見的目標，比如錐形筒、交通警示桶、三角警示牌，等等。

這些檢測少見目標的神經網絡模型，和其他常見目標的檢測模型一樣，需要大量的標注數(shù)據(jù)進行訓練。但這類目標出現(xiàn)概率很低，所以獲取訓練數(shù)據(jù)需要耗費大量的成本和時間。

因此，Nullmax的感知團隊提出了一種基于交通場景信息的數(shù)據(jù)增強方法，通過Copy-Paste方式零成本生成高度逼真的訓練樣本，解決少見目標檢測的數(shù)據(jù)難題。實驗結果顯示，Nullmax的新方法可以顯著提升少見目標檢測的任務效果。

同時，Nullmax建立了專用于自動駕駛少見目標檢測的數(shù)據(jù)集Rare ObjectDataset（ROD），并在近期正式開源上線。ROD是該細分領域內的首個公開數(shù)據(jù)集，可以為目標檢測、數(shù)據(jù)增強等方面的研究者提供稀缺的數(shù)據(jù)，研究特殊目標檢測相關課題。

01

ROD自動駕駛數(shù)據(jù)集

Nullmax推出的ROD是一個多樣化的真實世界數(shù)據(jù)集，當中包含大量訓練圖像和驗證圖像，并對小車、卡車、巴士、行人和自行車這5類常見目標進行了相應標注。

此外，ROD還提供了3類典型少見目標的掩膜，可用于少見目標檢測和數(shù)據(jù)增強方法的研究，當中包括大約1000個錐形筒、100個交通警示桶和50個三角警示牌的掩膜數(shù)據(jù)。

ROD具有良好的數(shù)據(jù)多樣性，覆蓋了自動駕駛的不同場景。它包含了不同的道路級別，包括高速公路、快速路、城市街道以及鄉(xiāng)村道路；不同的天氣狀況，比如晴天、陰天和雨天；以及不同的時間段，包括白天、傍晚和夜間。

ROD數(shù)據(jù)集現(xiàn)已開放下載：

https://nullmax-vision.github.io/

02

基于交通場景信息的數(shù)據(jù)增強

為了解決少見目標檢測的數(shù)據(jù)難題，Nullmax的感知團隊提出了結合交通場景的數(shù)據(jù)增強方法，通過簡單有效的Copy-Paste增強方式生成逼真的訓練數(shù)據(jù)，獲得了出色的檢測效果。

論文地址：

https://arxiv.org/pdf/2205.00376.pdf

通常來說，訓練樣本較少的目標檢測任務可以看作是面向不平衡或長尾的數(shù)據(jù)集。有一些研究者，通過重采樣訓練數(shù)據(jù)和調整損失函數(shù)權重來解決這個問題，但這類方法對于專家經驗較為依賴。

數(shù)據(jù)增強是解決數(shù)據(jù)稀缺問題的另一個研究方向，旨在通過最小代價生成大量帶標注的訓練樣本。數(shù)據(jù)增強大致可以分為圖像級增強和實例級增強，當包含特定目標類別的圖像級訓練數(shù)據(jù)達到一定數(shù)量時，前者是一種有效的方法；反之，則是實例級數(shù)據(jù)增強更為適合。

Nullmax采用的Copy-Paste方式，就是一種常見的實例級數(shù)據(jù)增強，它從源域復制特定目標類別的實例掩膜粘貼到目標域。通過系統(tǒng)性的研究，我們證明了在自動駕駛領域，通過結合交通場景信息的Copy-Paste數(shù)據(jù)增強方式，可以達到出色的少見目標檢測性能。

具體來說，Nullmax利用源域的目標掩膜進行實例級變換，創(chuàng)建逼真的目標實例。并將交通場景信息用作全局的幾何約束，將局部自適應的實例掩膜粘貼到目標圖像上，生成訓練數(shù)據(jù)。最后，再通過局部和全局的一致性保證訓練數(shù)據(jù)的質量和真實度。

Nullmax提出的方法包括了3個主要環(huán)節(jié)：

(1) 收集目標實例掩膜和背景圖像。在Nullmax的研究中，所有的背景圖像來自于不同的真實交通場景。以錐形筒為例，它會涵蓋不同的類型、顏色和大小。

(2) 通過理解交通場景信息，計算實例掩膜的粘貼位置。在背景圖像上隨機粘貼目標，效率低下，而且目標之間的關聯(lián)可能與真實交通場景不符。Nullmax的方法以交通環(huán)境信息為約束，考慮相機內外參，進行實例掩膜的疊加。

(3) 對實例掩膜進行局部自適應轉換。為了確保目標掩膜無縫粘貼到背景圖像中，Nullmax使用了一系列局部自適應的數(shù)據(jù)增強策略：基于感知的景深，縮放粘貼對象；應用多種實例級混合策略，確保圖像接縫盡量平滑；以及局部自適應的顏色變換（HSV）。

實驗顯示，Nullmax提出的數(shù)據(jù)增強方法在錐形筒檢測中取得了出色效果，并且這一方法也能夠推廣至其他類型的少見物體檢測任務當中。

此外，Nullmax也研究了各組件的效果，分析了方法中實例掩膜域、實例掩膜數(shù)量和強化訓練圖像數(shù)量的敏感性，證明了這一方法可為少見物體檢測任務提供有效的訓練圖像。

03

加入我們

在自動駕駛領域，除常規(guī)的目標檢測之外，數(shù)據(jù)增強在少見目標檢測方面的應用鮮有人研究。我們提出的基于交通場景信息的Copy-Paste數(shù)據(jù)增強方法，可以簡單高效地解決自動駕駛領域中因數(shù)據(jù)稀缺所帶來的少見目標檢測難題。

未來，我們希望通過增量訓練對少見目標檢測展開進一步研究。

審核編輯 ：李倩