YOLACT 和 YOLACT++如何解決實(shí)例分割的實(shí)時(shí)性問(wèn)題

這篇文章的目標(biāo)是解決實(shí)例分割的實(shí)時(shí)性問(wèn)題。通過(guò)在現(xiàn)有one-stage目標(biāo)檢測(cè)模型的基礎(chǔ)上添加mask分支來(lái)解決這一問(wèn)題。與Mask R-CNN等明顯使用特征定位步驟（特征repooling）的方法不同，在YOLACT中并不存在這一步。

為了達(dá)到這一目的，作者將實(shí)例分割任務(wù)劃分為兩個(gè)更簡(jiǎn)單的平行任務(wù)，通過(guò)對(duì)這兩個(gè)任務(wù)的結(jié)果進(jìn)行融合來(lái)得到最終的實(shí)例分割結(jié)果。具體如下：

第一分支：使用全卷積網(wǎng)絡(luò)（FCN）作為分支來(lái)產(chǎn)生一些具有整個(gè)圖像大小的“prototype masks”，這些prototype masks不與任何實(shí)例相關(guān)；

第二分支：在目標(biāo)檢測(cè)分支的基礎(chǔ)上添加額外的head，該head針對(duì)每一個(gè)anchor都預(yù)測(cè)一個(gè)掩膜系數(shù)（mask coefficients）。這些系數(shù)的作用是在prototype空間對(duì)某個(gè)實(shí)例的表示進(jìn)行編碼。

最后，在使用NMS得到所有的實(shí)例后，對(duì)其中的每一個(gè)實(shí)例都通過(guò)對(duì)上述兩個(gè)分支的結(jié)果進(jìn)行線性組合來(lái)得到所對(duì)應(yīng)的掩膜。結(jié)構(gòu)如下圖所示：

作者這么做的依據(jù)在于掩膜之間是空間相關(guān)的：例如相鄰的兩個(gè)像素更有可能屬于同一個(gè)實(shí)例。卷積層很自然地利用了這一相關(guān)性，但全連接層沒(méi)有。這會(huì)導(dǎo)致一個(gè)問(wèn)題，對(duì)于one-stage目標(biāo)檢測(cè)器來(lái)說(shuō)，其使用全連接層來(lái)針對(duì)每一個(gè)anchor輸出類別預(yù)測(cè)和box系數(shù)，無(wú)法利用到掩膜的空間相關(guān)性；而類似于Mask R-CNN的two stages方法則使用額外的定位步驟（RoI-Align）來(lái)解決這一問(wèn)題，定位步驟既保留了特征圖中的空間相關(guān)性，也可以使用卷積運(yùn)算得到掩膜輸出。但是這一做法的代價(jià)是，定位層會(huì)引入額外的計(jì)算，降低算法的運(yùn)行效率。

因而，將這一問(wèn)題分為了兩個(gè)平行的步驟：使用善于產(chǎn)生語(yǔ)義向量的全連接層來(lái)產(chǎn)生掩膜系數(shù)，而使用善于產(chǎn)生空間相關(guān)掩膜的卷積層來(lái)產(chǎn)生”prototype masks”。

Protonet由FCN構(gòu)成，其最后一層輸出k個(gè)通道，每一個(gè)通道對(duì)應(yīng)一個(gè)類別的prototype mask。結(jié)構(gòu)如下所示。

接著，將上述兩個(gè)步驟得到的prototype mask和掩膜系數(shù)做矩陣乘法，并使用Sigmoid進(jìn)行激活，便可以得到最終的實(shí)例掩膜。

實(shí)驗(yàn)結(jié)果

在COCO上的對(duì)比結(jié)果：

總結(jié)

大多數(shù)錯(cuò)誤來(lái)自于目標(biāo)檢測(cè)部分：誤分類、邊界框誤對(duì)準(zhǔn)。但是，除此之外，掩膜生成算法部分也有兩個(gè)典型的錯(cuò)誤：

定位失?。喝绻谝粋€(gè)場(chǎng)景中的某一個(gè)點(diǎn)上有著太多的目標(biāo)，那么網(wǎng)絡(luò)則無(wú)法在prototype中定位每一個(gè)目標(biāo)。在這種情況下，網(wǎng)絡(luò)將輸出與前景掩膜更為接近的而不是這一組中的一些目標(biāo)實(shí)例分割。

泄露：該算法的裁剪步驟是在掩膜集成后進(jìn)行的，因而無(wú)法過(guò)濾裁剪區(qū)域之外的噪聲。當(dāng)邊界框是準(zhǔn)確的時(shí)候，這一方法有著較好的效果，但當(dāng)邊界框不準(zhǔn)確的時(shí)候，噪聲將被裁剪進(jìn)實(shí)例的掩膜中，導(dǎo)致裁剪區(qū)域之外的掩膜的泄露。同時(shí)，當(dāng)預(yù)測(cè)的邊界框太大時(shí)，掩膜中也會(huì)包含一些離得很遠(yuǎn)的實(shí)例掩膜。

導(dǎo)致AP差距的原因：作者認(rèn)為這一差距是由檢測(cè)器相對(duì)差的性能所導(dǎo)致的，而不是產(chǎn)生masks的方法。

YOLACT++

YOLOACT++ Better Real-time Instance Segmentation

https://arxiv.org/abs/1912.06218

在YOLACT的基礎(chǔ)上，作者進(jìn)一步進(jìn)行了如下修改，來(lái)得到一個(gè)準(zhǔn)確度更高的實(shí)例分割模型。

在backbonde網(wǎng)絡(luò)中加入可變形卷積（deformable convolutions）；

使用更好的anchor尺度和比例對(duì)prediction head進(jìn)行優(yōu)化；

加入新的mask re-scoring支路。

最終，在MS COCO上，YOLACT++可以獲得34.1mAP和33.5fps的成績(jī)，其精度已經(jīng)非常接近SOTA模型。

Fast Mask Re-Scoring分支

對(duì)于模型來(lái)說(shuō)，其分類置信度和預(yù)測(cè)的掩膜的質(zhì)量之間是存在差異的。為此，作者引入了一個(gè)fast mask re-scoring分支，該分支依據(jù)所預(yù)測(cè)的掩膜與ground-truth的IoU對(duì)掩膜進(jìn)行評(píng)分。具體來(lái)說(shuō)，F(xiàn)ast Mask Re-Scoring網(wǎng)絡(luò)由6層FCN組成，每一層卷積層之后跟一層ReLU，最后一層為全局池化層。該網(wǎng)絡(luò)以YOLACT所輸出的裁剪過(guò)的mask（未經(jīng)過(guò)閾值）為輸入，輸出mask對(duì)于每一個(gè)目標(biāo)種類的IoU。接著，將分類分支預(yù)測(cè)的類別所對(duì)應(yīng)的mask IoU與相對(duì)應(yīng)的類別置信度的乘積作為該mask最終的分?jǐn)?shù)。

與Mask Scoring R-CNN相比，作者提出的方法有以下不同：

輸入為全尺寸的圖像的mask（預(yù)測(cè)框之外的區(qū)域值為0），而Mask Scoring R-CNN輸入的是RoI repooled的掩膜與來(lái)自于掩膜預(yù)測(cè)分支的特征圖所拼接得到的；

沒(méi)有全連接層，因而本方法更快，加入Fast Mask Re-Scoring分支后時(shí)間僅增加了1.2ms。

可變形卷積

通過(guò)加入可變形卷積，mAP提高了1.8，速度慢了8ms。作者認(rèn)為性能提升的原因有以下幾點(diǎn)：

通過(guò)和目標(biāo)實(shí)例進(jìn)行對(duì)準(zhǔn)，使得網(wǎng)絡(luò)可以處理不同尺度、旋轉(zhuǎn)角度和比例的實(shí)例；

YOLACT本身沒(méi)有再采樣策略，因而一個(gè)更好、更靈活的采樣策略更重要。

同時(shí)作者發(fā)現(xiàn)，在引入可變形卷積時(shí)需要選擇合適的插入位置才能取得性能的提升。

實(shí)驗(yàn)結(jié)果

下圖為YOLACT和YOLACT++的實(shí)驗(yàn)結(jié)果對(duì)比：

下表為加入改進(jìn)措施后的性能提升：

可變形卷積的不同插入位置的結(jié)果對(duì)比：

編輯：黃飛