FAIR何愷明、Ross等人最新提出實(shí)例分割的通用框架TensorMask

FAIR何愷明、Ross等人最新提出實(shí)例分割的通用框架TensorMask，首次在定性和定量上都接近于 Mask R-CNN 框架，為探索密集實(shí)例分割方法提供基礎(chǔ)。

現(xiàn)代實(shí)例分割方法主要是先檢測(cè)對(duì)象邊界框，然后進(jìn)行裁剪和分割，Mask R-CNN是目前這類方法中最優(yōu)秀的。

近日，來(lái)自FAIR的陳鑫磊、Ross Girshick、何愷明、Piotr Dollar等人發(fā)表一篇新論文“TensorMask: A Foundation for Dense Object Segmentation”，從一個(gè)新的方向解決實(shí)例分割問(wèn)題，并提出了一個(gè)名為T(mén)ensorMask的通用框架。

論文地址：

https://arxiv.org/pdf/1903.12174.pdf

作者表示，TensorMask達(dá)到了與Mask R-CNN相當(dāng)?shù)慕Y(jié)果，有助于更全面地理解這項(xiàng)任務(wù)。

Ross Girshick、何愷明、Piotr Dollar三人也是Mask R-CNN的作者，一作陳鑫磊博士畢業(yè)于CMU，導(dǎo)師是Tom Mitchell教授，并曾在谷歌云AI李飛飛、李佳的指導(dǎo)下實(shí)習(xí)。

TensorMask：將實(shí)例分割視為4D張量預(yù)測(cè)

在密集、規(guī)則的網(wǎng)格上生成邊界框?qū)ο箢A(yù)測(cè)的滑動(dòng)窗口目標(biāo)檢測(cè)器(sliding-window object detectors)已經(jīng)得到迅速發(fā)展，并得到了廣泛的應(yīng)用。

與此相反，現(xiàn)代的實(shí)例分割方法主要是先檢測(cè)對(duì)象邊界框，然后進(jìn)行裁剪和分割，Mask R-CNN推廣了這種方法。

在這項(xiàng)工作中，我們研究了密集滑動(dòng)窗口實(shí)例分割(dense sliding-window instance segmentation)的范例，令人驚訝的是，這方面的研究十分不足。

我們的核心發(fā)現(xiàn)是，這項(xiàng)任務(wù)與其他的密集預(yù)測(cè)任務(wù)(如語(yǔ)義分割或邊界框?qū)ο髾z測(cè))有本質(zhì)的不同，因?yàn)槊總€(gè)空間位置的輸出本身就是一個(gè)幾何結(jié)構(gòu)，具有自己的空間維度。

為了形式化地說(shuō)明這一點(diǎn)，我們將密集實(shí)例分割視為一個(gè)4D張量(4D tensors)的預(yù)測(cè)任務(wù)，并提出了一個(gè)名為T(mén)ensorMask的通用框架，該框架顯式地捕獲這種幾何圖形，并支持對(duì)4D tensors使用新的操作符。

圖1：TensorMask的輸出。我們將密集實(shí)例分割作為一種基于結(jié)構(gòu)化4D張量的預(yù)測(cè)任務(wù)。除了獲得具有競(jìng)爭(zhēng)力的定量結(jié)果，TensorMask還獲得了定性上合理的結(jié)果。圖中小的和大的物體都被很好地描繪出來(lái)，并且，重疊的物體也被正確地處理了。

我們證明了tensor這種想法可以相比baseline獲得較大的增益，并且可以得到與Mask R-CNN相當(dāng)?shù)慕Y(jié)果。這些結(jié)果表明，TensorMask可以作為密集掩碼預(yù)測(cè)的新進(jìn)展的基礎(chǔ)，有助于更全面地理解這項(xiàng)任務(wù)。我們將發(fā)布本研究的代碼。

彌補(bǔ)差距：實(shí)例分割中的密集方法

滑動(dòng)窗口(sliding-window)范例——通過(guò)查看放置在一組密集圖像位置上的每個(gè)窗口來(lái)查找對(duì)象——是計(jì)算機(jī)視覺(jué)中最早、也是最成功的概念之一，并且這個(gè)概念自然地與卷及網(wǎng)絡(luò)相關(guān)。

然而，盡管目前性能最好的對(duì)象檢測(cè)器依賴于滑動(dòng)窗口預(yù)測(cè)來(lái)生成初始候選區(qū)域，但獲得更準(zhǔn)確的預(yù)測(cè)主要來(lái)自對(duì)這些候選區(qū)域進(jìn)行細(xì)化的階段，如Faster R-CNN和Mask R-CNN，分別用于邊界框目標(biāo)檢測(cè)和實(shí)例分割。這類方法已經(jīng)主導(dǎo)了COCO目標(biāo)檢測(cè)挑戰(zhàn)賽。

近年來(lái)，諸如SSD和RetinaNet之類的邊界框目標(biāo)檢測(cè)器，避開(kāi)了“細(xì)化”這個(gè)步驟，專注于直接的滑動(dòng)窗口預(yù)測(cè)，已經(jīng)有了復(fù)蘇的趨勢(shì)，并顯示出有希望的結(jié)果。

相比之下，該領(lǐng)域在密集滑動(dòng)窗口實(shí)例分割方面并沒(méi)有取得同等的進(jìn)展；對(duì)于mask prediction，沒(méi)有類似于SSD / RetinaNet這樣的直接、密集的方法。

為什么密集的方法在邊界框檢測(cè)方面進(jìn)展迅速，而在實(shí)例分割方面卻完全缺失？這是一個(gè)基本科學(xué)上的問(wèn)題。這項(xiàng)工作的目標(biāo)就是彌補(bǔ)這一差距，并為探索密集實(shí)例分割方法提供基礎(chǔ)。

我們的主要觀點(diǎn)是，定義dense mask representations的核心概念，以及這些概念在神經(jīng)網(wǎng)絡(luò)中的有效實(shí)現(xiàn)，都是缺乏的。

與邊界框不同，邊界框具有固定的低維表示而不考慮比例，分割掩碼(segmentation masks)可以從更豐富、更結(jié)構(gòu)化的表示中獲益。例如，每個(gè)mask本身是一個(gè)2D空間映射，較大對(duì)象的mask可以受益于較大空間映射的使用。為dense masks開(kāi)發(fā)有效的表示是實(shí)現(xiàn)密集實(shí)例分割的關(guān)鍵步驟。

為了解決這個(gè)問(wèn)題，我們定義了一組用高維張量表示mask的核心概念，這些概念允許探索用于dense mask prediction的新穎網(wǎng)絡(luò)架構(gòu)。為了證明所提出的表示的優(yōu)點(diǎn)，我們提出了幾個(gè)這樣的網(wǎng)絡(luò)并進(jìn)行了實(shí)驗(yàn)。

我們的框架稱為T(mén)ensorMask，它建立了第一個(gè)密集滑動(dòng)窗口實(shí)例分割系統(tǒng)，其結(jié)果接近于Mask R-CNN。

左：自然表示。右：對(duì)齊表示(Aligned representation)。

TensorMask表示的核心想法是使用結(jié)構(gòu)化的4D tensors表示空間域上的mask。

與以前的面向通道的方法不同，我們建議利用形狀(V, U, H, W)的4D tensors，其中(H, W)表示目標(biāo)位置，(V, U)表示對(duì)應(yīng)的mask的位置，它們都是幾何子張量，也就是說(shuō)，它們的軸有明確定義的units和關(guān)于圖像的幾何意義。

這種從非結(jié)構(gòu)化通道軸上的encoding masks到使用結(jié)構(gòu)化幾何子張量的視角轉(zhuǎn)變，使得定義新的操作和網(wǎng)絡(luò)架構(gòu)成為可能。這些網(wǎng)絡(luò)可以以幾何上有意義的方式直接作用于(V, U)子張量，包括坐標(biāo)變換、up-/downscaling和金字塔的使用。

在TensorMask框架的支持下，我們?cè)谝粋€(gè)4D tensors的標(biāo)度索引列表上建立了一個(gè)金字塔結(jié)構(gòu)，我們稱之為張量雙金字塔( tensor bipyramid)。與特征金字塔類似，tensor bipyramid是一個(gè)多尺度特征映射列表，它包含一個(gè)形狀為2kV、2ku、12kh、12kw的4D張量列表，其中k≥0個(gè)索引尺度。這種結(jié)構(gòu)在(H, W)和(V, U)幾何子張量上都呈金字塔形狀，但方向相反。這種設(shè)計(jì)捕捉了大對(duì)象具有粗糙空間定位的高分辨率mask(大k)和小對(duì)象具有精細(xì)空間定位的低分辨率mask(小k)的理想特性。

feature pyramid和tensor bipyramid的比較

我們將這些組件組合成一個(gè)網(wǎng)絡(luò)骨干和訓(xùn)練程序，類似RetinaNet，其中我們的dense mask predictor擴(kuò)展了原始的密集邊界框預(yù)測(cè)器。

通過(guò)詳細(xì)的消融實(shí)驗(yàn)，我們?cè)u(píng)估了TensorMask框架的有效性，并證明了明確捕捉該任務(wù)的幾何結(jié)構(gòu)的重要性。最后，我們展示了TensorMask與對(duì)應(yīng)的Mask R-CNN產(chǎn)生了相似的結(jié)果(見(jiàn)圖1和圖2)。

TensorMask的架構(gòu)

TensorMask框架的核心思想是使用結(jié)構(gòu)化的高維張量來(lái)表示一組密集滑動(dòng)窗口中的圖像內(nèi)容(例如masks)。

圖2：使用ResNet-101-FPN骨干的TensorMask和Mask R-CNN的示例結(jié)果(與圖6中使用的Mask R-CNN的圖像相同)。結(jié)果在定量和質(zhì)量上都很相似，表明密集滑動(dòng)窗口范式確實(shí)可以有效地用于實(shí)例分割任務(wù)。請(qǐng)讀者猜猜哪些結(jié)果是TensorMask生成的(答案見(jiàn)文末)。

TensorMask架構(gòu)

我們已經(jīng)展示了采用TensorMask representations的模型。這些模型有一個(gè)在滑動(dòng)窗口中生成masks的mask prediction head，以及一個(gè)用于預(yù)測(cè)對(duì)象類別的classification head，類似于滑動(dòng)窗口目標(biāo)檢測(cè)器中的box regression和classification heads。

實(shí)驗(yàn)和結(jié)果

我們報(bào)告了COCO實(shí)例分割的結(jié)果。所有的模型都在~118k train2017圖像上進(jìn)行訓(xùn)練，并在5k val2017圖像上進(jìn)行測(cè)試。最終結(jié)果在test-dev上。我們使用COCO mask的平均精度(用AP表示)。box AP用APbb表示。

TensorMask表示

首先，我們研究了使用V =U=15和ResNet-50-FPN骨干的mask的各種張量表示。表2報(bào)告了定量結(jié)果，圖2和圖9顯示了定性比較。

表2

與Mask R-CNN的比較

表3總結(jié)了test-dev上最好的TensorMask模型，并將其與當(dāng)前用于COCO實(shí)例分割的主流方法Mask RCNN進(jìn)行了比較。

表3

如上表所示，最好的TensorMask在test-dev上達(dá)到了35.5 mask AP，接近于mask R-CNN的36.8。

在ResNet-101中，TensorMask實(shí)現(xiàn)了37.3 mask AP，與mask R-CNN相比只有1.0 AP差距。

這些結(jié)果表明，密集滑動(dòng)窗口方法可以縮小與“先檢測(cè)后分割”方法的差距。定性結(jié)果如圖2、10、11所示。

結(jié)論

TensorMask是一個(gè)dense sliding-window實(shí)例分割框架，首次在定性和定量上都接近于Mask R-CNN框架。TensorMask為實(shí)例分割研究建立了一個(gè)概念互補(bǔ)的方向。

（圖2答案：第一行是Mask R-CNN的結(jié)果，第二行是TensorMask的結(jié)果。）