從數(shù)據(jù)閉環(huán)到混合數(shù)據(jù)增強(qiáng)，關(guān)于自動(dòng)駕駛數(shù)據(jù)的那些事

今天，小編將繼續(xù)為大家?guī)鞱ullmax感知部總監(jiān)兼計(jì)算機(jī)視覺首席科學(xué)家成二康博士做客汽車之心·行家說欄目的內(nèi)容整理下篇，關(guān)于自動(dòng)駕駛的數(shù)據(jù)閉環(huán)及混合數(shù)據(jù)增強(qiáng)的簡(jiǎn)要介紹。Nullmax正通過將這些技術(shù)應(yīng)用到不同的量產(chǎn)項(xiàng)目中，推進(jìn)自動(dòng)駕駛系統(tǒng)的迭代升級(jí)。

對(duì)于自動(dòng)駕駛而言，數(shù)據(jù)具有至關(guān)重要的技術(shù)驅(qū)動(dòng)作用，通過數(shù)據(jù)閉環(huán)高效收集、利用海量的真實(shí)數(shù)據(jù)，是自動(dòng)駕駛研發(fā)和落地的一項(xiàng)核心能力。與此同時(shí)，在無法充分獲得所需真實(shí)數(shù)據(jù)的情況下，大規(guī)模地生成虛擬樣本也是一種可行的方式。

對(duì)于自動(dòng)駕駛來說，真實(shí)世界的駕駛環(huán)境變幻莫測(cè)，駕駛場(chǎng)景層出不窮，訓(xùn)練有素的軟件算法也會(huì)面臨長(zhǎng)尾效應(yīng)帶來的一系列問題，遇到一些很少遇到但是很難應(yīng)對(duì)的極端場(chǎng)景。

因此，針對(duì)自動(dòng)駕駛的長(zhǎng)尾問題，Nullmax打造了高效的數(shù)據(jù)閉環(huán)，支持行泊一體方案的大規(guī)模應(yīng)用，并且探索了大規(guī)模地生成虛擬樣本數(shù)據(jù)，運(yùn)用混合數(shù)據(jù)增強(qiáng)方法解決少見目標(biāo)檢測(cè)方面的相關(guān)難題。

這樣的話，可以最大程度、最高效率地在真實(shí)場(chǎng)景中收集和利用困難樣本數(shù)據(jù)，同時(shí)在真實(shí)場(chǎng)景數(shù)據(jù)難以滿足需求的情況，通過合成虛擬樣本來解決數(shù)據(jù)難題。

數(shù)據(jù)閉環(huán)

Nullmax的數(shù)據(jù)閉環(huán)，名為MaxFlow自主成長(zhǎng)系統(tǒng)。它包含了車端、云端兩大部分，車端源源不斷地獲取數(shù)據(jù)，云端對(duì)數(shù)據(jù)進(jìn)行分析，完成獲取、清洗、標(biāo)注、訓(xùn)練以及模型驗(yàn)證的整個(gè)閉環(huán)。

它可以為感知、融合、決策、定位、測(cè)試等環(huán)節(jié)提供全方位的幫助，實(shí)現(xiàn)持續(xù)不斷的迭代升級(jí)，驅(qū)動(dòng)自動(dòng)駕駛的整個(gè)系統(tǒng)自主成長(zhǎng)。特別是在感知層面，尤其是視覺感知當(dāng)中，自主成長(zhǎng)系統(tǒng)發(fā)揮了巨大作用。

數(shù)據(jù)閉環(huán)的數(shù)據(jù)，主要源自兩個(gè)方面。一是以offline的方式，在收集全量數(shù)據(jù)后，通過data filter機(jī)制篩選出感興趣的數(shù)據(jù)，然后送到云端參與訓(xùn)練等任務(wù)。二是以online的方式，在車端運(yùn)用trigger機(jī)制，通過影子模式等方法，自主地收集一些感興趣的數(shù)據(jù)，包括困難樣本。（點(diǎn)擊查看詳情）

影子模式，簡(jiǎn)單來說就是通過對(duì)比人類司機(jī)和自動(dòng)駕駛系統(tǒng)的駕駛差異，獲得一些數(shù)據(jù)，提升自動(dòng)駕駛系統(tǒng)的駕駛能力，從而逼近甚至是超越人類駕駛水平。對(duì)于感知層面來說，也是如此，比如AEB誤觸發(fā)，那么就可以在誤觸發(fā)的時(shí)候，將視覺傳感器的數(shù)據(jù)進(jìn)行回收，送到云端分析處理。這是一種相對(duì)被動(dòng)的學(xué)習(xí)方式，此外系統(tǒng)也包含一些相對(duì)主動(dòng)的學(xué)習(xí)方式，比如通過不確定性等進(jìn)行樣本的篩選。

在線的trigger方面，包括有人機(jī)一致性、時(shí)序一致性、多傳感器一致性、多算法一致性、指定特殊場(chǎng)景等不同類型的設(shè)置。如果遇到變道失敗、傳感器之間結(jié)果不一致、算法結(jié)果不一致等等情況，那么就會(huì)觸發(fā)相應(yīng)數(shù)據(jù)的收集。

舉個(gè)例子，一個(gè)障礙物在時(shí)間維度而言，既不可能憑空消失，也不可能憑空出現(xiàn)，這就是時(shí)序的一致性。如果一個(gè)行人在連續(xù)軌跡上消失了，那么就是典型的漏檢。

另外一個(gè)例子，就是同樣的一張圖片，用不同的算法進(jìn)行一致性的校驗(yàn)。比如freespace和障礙物相互校驗(yàn)，可行駛區(qū)域當(dāng)中不應(yīng)存在障礙物，不然的話就是漏檢。

此外，運(yùn)用多種算法校驗(yàn)來篩選難樣本，也是非常重要的手段。比如行駛在路面的車輛，如果只檢測(cè)出車輪，但沒有檢測(cè)出車輛，那么極有可能這是一個(gè)比較難的樣本，比如涂裝車、挖掘機(jī)、平板車等等罕見的車輛。這種方法也可以用來篩選一些極近距離的大車，比如油罐車、拖車、掛車等等少見場(chǎng)景的數(shù)據(jù)。

同樣的，對(duì)于行人也可以通過頭部的檢測(cè)和身體的檢測(cè)，來校驗(yàn)檢測(cè)結(jié)果，篩選困難案例。

混合數(shù)據(jù)增強(qiáng)

對(duì)于自動(dòng)駕駛而言，除了通過數(shù)據(jù)閉環(huán)在真實(shí)場(chǎng)景中收集困難樣本之外，另外一種獲取數(shù)據(jù)樣本的方式，就是大規(guī)模的自動(dòng)化生成虛擬樣本。

比如，在CVPR 2022上提出的合成數(shù)據(jù)集SHIFT，就是通過CARLA仿真幾乎零成本地生成真值數(shù)據(jù)。再比如Block-NeRF，利用3個(gè)月收集的數(shù)據(jù)重建舊金山市的場(chǎng)景，這是另外一種生成數(shù)據(jù)的方式，通過一些樣本的視角來生成其他視角的虛擬圖像。

此外，通過計(jì)算機(jī)圖形學(xué)和生成式模型相結(jié)合，也能夠以Neural Rendering的方式生成大量的虛擬數(shù)據(jù)。

在ICRA 2022上，Nullmax同樣也提出了一種生成虛擬樣本的方式，通過混合數(shù)據(jù)增強(qiáng)的方法，解決罕見目標(biāo)檢測(cè)的難題。（點(diǎn)擊查看詳情）

因?yàn)閷?duì)自動(dòng)駕駛而言，即使專門去篩一些數(shù)據(jù)，獲得的數(shù)據(jù)量仍可能還是很小。收集一些少見的樣本，比如錐形筒相關(guān)的場(chǎng)景，其實(shí)依然很難。

所以我們當(dāng)初的想法是，既然擁有大量沒有錐形筒的真實(shí)場(chǎng)景，那么能不能將錐形筒的mask（掩膜）貼到這些真實(shí)場(chǎng)景圖片上面，幾乎零成本地自動(dòng)生成大量少見樣本呢？這就是我們想要通過混合數(shù)據(jù)增強(qiáng)來實(shí)現(xiàn)的目標(biāo)。

這當(dāng)中有兩個(gè)非常關(guān)鍵的問題，一個(gè)是錐形筒mask貼到什么位置，一個(gè)是怎么貼mask。因此，我們提出了一個(gè)多任務(wù)的深度學(xué)習(xí)網(wǎng)絡(luò)，為交通場(chǎng)景提供相應(yīng)的約束，確保mask沿著車道線貼到freespace上，而不是車上。同時(shí)，還提出了一個(gè)局部自適應(yīng)的顏色變換，讓mask能夠自動(dòng)適應(yīng)每張圖片本身的顏色分布。

實(shí)驗(yàn)結(jié)果顯示，對(duì)錐形筒這類少見樣本來說，如果只有少量數(shù)據(jù)，檢測(cè)效果其實(shí)比較一般。但是在結(jié)合我們的混合數(shù)據(jù)增強(qiáng)方法后，檢測(cè)效果可以大幅提升。

Nullmax已經(jīng)開源相應(yīng)的ROD（Rare Object Dataset）數(shù)據(jù)集，當(dāng)中包含1萬多張的數(shù)據(jù)，分布在不同的道路、天氣和光照條件。如果大家感興趣，歡迎登陸網(wǎng)站下載 https://nullmax-vision.github.io/。

篇后語

為了更好地實(shí)現(xiàn)行泊一體，Nullmax開發(fā)了能夠自動(dòng)化支持行車和泊車兩類任務(wù)的感知基礎(chǔ)架構(gòu)，從而最大程度地復(fù)用軟件算法。這其中，就包括了數(shù)據(jù)、訓(xùn)練和部署。

基于這套架構(gòu)，Nullmax能夠通過數(shù)據(jù)閉環(huán)收集的海量真實(shí)數(shù)據(jù)，以及大規(guī)模生成的虛擬樣本，以非常高效、經(jīng)濟(jì)的方式提供提供豐富、充足的訓(xùn)練樣本，對(duì)算法進(jìn)行真實(shí)和混合數(shù)據(jù)的混合訓(xùn)練，打造出一個(gè)滿足全場(chǎng)景自動(dòng)駕駛需求的「超級(jí)大腦」。

后續(xù)，我們將介紹這套強(qiáng)大的感知基礎(chǔ)架構(gòu)，敬請(qǐng)關(guān)注！

審核編輯 ：李倩