谷歌Objectron數(shù)據(jù)集：3D目標(biāo)檢測數(shù)據(jù)集及檢測方案

谷歌人工智能實驗室近日發(fā)布 Objectron 數(shù)據(jù)集，這是一個以3D目標(biāo)為中心的視頻剪輯的集合，這些視頻剪輯從不同角度捕獲了較大的一組公共對象。數(shù)據(jù)集包括 15K 帶注釋的視頻剪輯，并補充了從地理多樣的樣本中收集的超過 4M 帶注釋的圖像（覆蓋五大洲的 10 個國家）。

機器學(xué)習(xí)(ML)的最新技術(shù)已經(jīng)在許多計算機視覺任務(wù)上取得了SOTA的結(jié)果，但僅僅是通過在2D照片上訓(xùn)練模型而已。 在這些成功的基礎(chǔ)上，提高模型對 3D 物體的理解力有很大的潛力來支持更廣泛的應(yīng)用場景，如增強現(xiàn)實、機器人、自動化和圖像檢索。 今年早些時候，谷歌發(fā)布了 MediaPipe Objectron，一套為移動設(shè)備設(shè)計的實時 3D 目標(biāo)檢測模型，這個模型是基于一個已標(biāo)注的、真實世界的 3D 數(shù)據(jù)集，可以預(yù)測物體的 3D 邊界。

然而，理解3D 中的對象仍然是一項具有挑戰(zhàn)性的任務(wù)，因為與2D 任務(wù)(例如，ImageNet、 COCO 和 Open Images)相比，缺乏大型的真實世界數(shù)據(jù)集。 為了使研究團體能夠繼續(xù)推進3D 對象理解，迫切需要發(fā)布以對象為中心的視頻數(shù)據(jù)集，這些數(shù)據(jù)集能夠捕獲更多的對象的3D 結(jié)構(gòu)，同時匹配用于許多視覺任務(wù)(例如，視頻或攝像機流)的數(shù)據(jù)格式，以幫助機器學(xué)習(xí)模型的訓(xùn)練和基準(zhǔn)測試。 近期谷歌發(fā)布了 Objectron 數(shù)據(jù)集，這是一個以對象為中心的短視頻剪輯數(shù)據(jù)集，從不同的角度捕捉了一組更大的普通對象。

每個視頻剪輯都伴隨著 AR 會話元數(shù)據(jù)，其中包括攝像機姿態(tài)和稀疏點云。數(shù)據(jù)還包含為每個對象手動注釋的3D 邊界，這些 bounding box 描述了對象的位置、方向和尺寸。 每個視頻剪輯都隨附有 AR 的元數(shù)據(jù)，其中包括相機姿勢和稀疏點云。數(shù)據(jù)還包含每個對象的手動注釋的 3D 邊界框，用于描述對象的位置，方向和尺寸。 該數(shù)據(jù)集包括15K 注釋視頻剪輯與超過4M 注釋圖像收集的地理多樣性樣本(涵蓋10個國家橫跨五大洲)。

3D 目標(biāo)檢測解決方案

除了這個數(shù)據(jù)集，谷歌還分享了一個 3D 目標(biāo)檢測解決方案，可以用于4類物體：鞋子、椅子、杯子和相機。 這些模型是在 MediaPipe 中發(fā)布的，MediaPipe 是谷歌的開源框架，用于跨平臺可定制的流媒體機器學(xué)習(xí)解決方案，它同時也支持機器學(xué)習(xí)解決方案，比如設(shè)備上的實時手勢、虹膜和身體姿態(tài)跟蹤。

與之前發(fā)布的 single-stage Objectron 模型相比，這些最新版本采用了兩級架構(gòu)。 第一級使用 TensorFlow 目標(biāo)檢測模型來尋找物體的 2D 裁剪，第二級使用圖像裁剪來估計三維bounding box，同時計算下一幀對象的二維裁剪，使得目標(biāo)檢測器不需要運行每一幀。第二階段的三維 bounding box 預(yù)測器是以83 FPS在 Adreno 650 GPU 上運行。

3D 目標(biāo)檢測的評估指標(biāo)

有了真實的注釋，我們就可以使用 3D IoU（intersection over union）相似性統(tǒng)計來評估 3D 目標(biāo)檢測模型的性能，這是計算機視覺任務(wù)常用的指標(biāo)，衡量bounding box與ground truth的接近程度。 谷歌提出了一種計算一般的面向三維空間的精確 3D IoU 的算法。 首先使用 Sutherland-Hodgman Polygon clipping 算法計算兩個盒子面之間的交點，這類似于計算機圖形學(xué)的剔除技術(shù)（frustum culling），利用所有截斷多邊形的凸包計算相交的體積。最后，通過交集的體積和兩個盒子的并集的體積計算 IoU。 谷歌表示將隨數(shù)據(jù)集一起發(fā)布評估的源代碼。

數(shù)據(jù)格式

Objectron 數(shù)據(jù)集的技術(shù)細(xì)節(jié)，包括使用和教程，均可在數(shù)據(jù)集網(wǎng)站上獲得。這些數(shù)據(jù)集中的物體包括自行車、書籍、瓶子、相機、麥片盒、椅子、杯子、筆記本電腦和鞋子等，和數(shù)據(jù)集一起發(fā)布的具有以下內(nèi)容: 1.視頻序列 2.帶注釋的標(biāo)簽(目標(biāo)的3D 邊界框) 3.AR 元數(shù)據(jù) (如照相機姿態(tài)、點云和平面表面) 4.處理過的數(shù)據(jù)集: 混合版本的帶注釋的幀、tf.example 格式的圖像和 SequenceExample 格式的視頻 5.支持基于上面描述的度量評估的腳本 6.支持腳本將數(shù)據(jù)加載到 Tensorflow、Pytorch、Jax并且可視化數(shù)據(jù)集 除了數(shù)據(jù)集，谷歌還開放了數(shù)據(jù)管道來解析 Tensorflow、 PyTorch 和 Jax 框架中的數(shù)據(jù)集。

還提供了 colab notebook 的實例 。 通過發(fā)布這個 Objectron 數(shù)據(jù)集，谷歌希望能夠使研究團體推進三維物體幾何理解的極限。同時也希望促進新的研究和應(yīng)用，如視圖合成，改進的 3D 表示和非監(jiān)督式學(xué)習(xí)等。 參考鏈接： https://ai.googleblog.com/2020/11/announcing-objectron-dataset.html?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+blogspot%2FgJZg+%28Google+AI+Blog%29

責(zé)任編輯：xj

原文標(biāo)題：重磅！谷歌發(fā)布3D目標(biāo)檢測數(shù)據(jù)集及檢測方案

文章出處：【微信公眾號：新機器視覺】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。