探析傳感器結(jié)構(gòu)化激光雷達(dá)數(shù)據(jù)及其標(biāo)記

自動駕駛難度很大，標(biāo)記數(shù)據(jù)不應(yīng)該那么難。

像素級語義掩碼在2D和3D投影之間完美關(guān)聯(lián)據(jù)麥姆斯咨詢報道，激光雷達(dá)（LiDAR）新銳廠商Ouster近日與Playment和Scale.AI一起宣布了一項(xiàng)激光雷達(dá)數(shù)據(jù)標(biāo)記合作伙伴計劃，以為Ouster快速增長的客戶群（目前已超過300家，并且還在不斷增長中?。┖喕⑻岣呒す饫走_(dá)數(shù)據(jù)標(biāo)記的效率。Ouster希望其開發(fā)的數(shù)據(jù)標(biāo)記技術(shù)不僅可以服務(wù)于Ouster的客戶，還能惠及廣闊的機(jī)器學(xué)習(xí)行業(yè)。幾個月來，Ouster與Playment和Scale.AI合作開發(fā)了一種新的數(shù)據(jù)標(biāo)記工具，利用Ouster激光雷達(dá)數(shù)據(jù)自身的2D-3D特性，將數(shù)據(jù)標(biāo)記成本降低了50%，并能提供更高精度、更快速的標(biāo)記以及更多的標(biāo)記選項(xiàng)，還能大大簡化從數(shù)據(jù)捕獲到開始模型訓(xùn)練的過程。此外，Ouster還為激光雷達(dá)數(shù)據(jù)開發(fā)了一種開放格式，使客戶的數(shù)據(jù)記錄、存儲、傳輸、加載和標(biāo)記變得更加簡單。Ouster開放了這種數(shù)據(jù)格式，希望產(chǎn)業(yè)其它廠商能夠圍繞Ouster已經(jīng)開始的工作進(jìn)行標(biāo)準(zhǔn)化（盡管它只支持結(jié)構(gòu)化激光雷達(dá)數(shù)據(jù)）。這種激光雷達(dá)格式將包含在Ouster開源驅(qū)動的更新中，使客戶的OS-1傳感器數(shù)據(jù)能夠直接以這種格式記錄，以便將其轉(zhuǎn)移到Playment、Scale.AI或其他廠商進(jìn)行數(shù)據(jù)標(biāo)記。結(jié)構(gòu)化激光雷達(dá)數(shù)據(jù)的優(yōu)勢

OS-1傳感器結(jié)構(gòu)化激光雷達(dá)數(shù)據(jù)的可視化

傳統(tǒng)激光雷達(dá)通常采用機(jī)械旋轉(zhuǎn)單元或者是光束掃描單元。典型的機(jī)械旋轉(zhuǎn)激光雷達(dá)傾向于以非恒定的速度旋轉(zhuǎn)，導(dǎo)致每幀的點(diǎn)間隔不均勻。同時，MEMS或掃描激光雷達(dá)傾向于有部分光束以非線性S形曲線掃描。這些都不利于將激光雷達(dá)數(shù)據(jù)存儲在固定網(wǎng)格中，用于2D深度學(xué)習(xí)、壓縮數(shù)據(jù)格式和易于標(biāo)記。得益于Ouster的多光束flash激光雷達(dá)設(shè)計，Ouster的OS-1傳感器能夠輸出結(jié)構(gòu)化激光雷達(dá)數(shù)據(jù)，其中水平和垂直角度間距就像相機(jī)一樣，始終保持不變。這就能使激光雷達(dá)輸出2048 x 64像素尺寸固定的深度圖以及每幀上的強(qiáng)度和環(huán)境光圖像，從而可以使用卷積神經(jīng)網(wǎng)絡(luò)，并大規(guī)模簡化圖像存儲和標(biāo)記。

雖然RGB-D相機(jī)和傳統(tǒng)flash激光雷達(dá)也能夠輸出結(jié)構(gòu)化深度數(shù)據(jù)，但與Ouster OS-1相比，這兩類傳感器在室外環(huán)境中的探測距離、深度分辨率、視場或穩(wěn)定性都不如OS-1。不過，這些短距離結(jié)構(gòu)化3D相機(jī)仍然可以從Ouster正在開發(fā)的工作中受益，Ouster鼓勵這些產(chǎn)品的制造商考慮應(yīng)用Ouster的方案。結(jié)構(gòu)化激光雷達(dá)數(shù)據(jù)的標(biāo)記工作流Ouster通過與標(biāo)記合作伙伴合作，在其標(biāo)記工具中利用Ouster的結(jié)構(gòu)化數(shù)據(jù)優(yōu)勢，最大限度地降低了標(biāo)記成本，提高其功能性，并顯著提高了注釋精度。例如：

- 為注釋器提供同步的2D和3D視圖，作為當(dāng)前任務(wù)的直觀視覺確認(rèn)；

- 在2D激光雷達(dá)圖像中注釋像素級掩碼，并使用3D點(diǎn)云檢查掩碼精度，通過添加或移除單個點(diǎn)或選擇點(diǎn)簇并更新2D掩碼，來優(yōu)化3D點(diǎn)云內(nèi)的掩碼；

- 使用3D邊界框自動生成100%準(zhǔn)確的2D掩碼（語義或?qū)嵗指睿㈤L方體或2D圖像中的邊界框。一旦親身了解過這種標(biāo)記流程的運(yùn)行，就會清楚它有多高效和準(zhǔn)確。另一種方法是為2D和3D數(shù)據(jù)復(fù)制這項(xiàng)工作：

從3D邊界框自動生成的完美2D像素級掩碼（左下圖像），以及2D掩碼用于優(yōu)化3D邊界框的精度

這種方案盡可能用最少的工作量和最高的精度，提供了最大的標(biāo)記族，從2D邊界框、語義和實(shí)例掩碼到3D邊界框（2D或3D）、點(diǎn)云語義和實(shí)例分割。

頂部圖像中顯示了手工標(biāo)記的3D邊界框，下圖2D幀圖像中顯示了自動生成的像素級掩碼、邊界框和長方體這些意味著什么？10~50%的成本降低和更快地標(biāo)記無需單獨(dú)標(biāo)記2D和3D數(shù)據(jù)集，Ouster將所需的注釋量減少了2倍，最終降低了客戶的成本。更小的文件尺寸Ouster的開源結(jié)構(gòu)化數(shù)據(jù)格式，可將文件尺寸及其相關(guān)的傳輸成本降低97%。目前，隨著激光雷達(dá)數(shù)據(jù)量的不斷增高，以至于一些客戶需要將硬盤驅(qū)動器運(yùn)送給他們的標(biāo)記合作伙伴。是時候改變這一現(xiàn)狀了！更高的標(biāo)記精度通過2D和3D格式之間標(biāo)記的可轉(zhuǎn)換性，提高了2D和3D標(biāo)記精度，為注釋提供了更多的視覺輔助，實(shí)現(xiàn)了100%準(zhǔn)確的2D語義掩碼。語義分割中不再有邊界問題。即使是商店和展廳內(nèi)的行人和汽車也能輕松準(zhǔn)確地進(jìn)行標(biāo)記！更準(zhǔn)確的標(biāo)記還意味著Ouster可以在測試算法時生成更準(zhǔn)確、可測量和有意義的指標(biāo)。

注意圖中汽車經(jīng)銷商展廳的窗框，已經(jīng)自動從車輛掩碼中去除

盡管圖中零售店的人群中分布著樹木、窗戶和家具，但這些顧客在2D圖像中也被完美地分割出來

動態(tài)遮罩（Rotoscoping）和綠屏摳像這些詞匯是不是看起來有點(diǎn)眼熟，因?yàn)樗鼈兇_實(shí)很流行。在另一個大眾產(chǎn)業(yè)，幾十年來一直在投資在大型2D圖像集中生成像素精確掩碼的技術(shù)和工具，那就是：電影產(chǎn)業(yè)。動態(tài)遮罩和綠屏摳像技術(shù)已經(jīng)有很長的歷史，通常是高度手動的（對綠屏摳像來說略少），是一種從相機(jī)的場景中分割演員和其它感興趣的對象以進(jìn)行合成的方法。像自動駕駛和機(jī)器人產(chǎn)業(yè)一樣，它們最近一直在開發(fā)利用3D相機(jī)和深度學(xué)習(xí)的自動化動態(tài)遮罩技術(shù)。