基于配準(zhǔn)的少樣本異常檢測(cè)的框架

近年來(lái)，異常檢測(cè)在工業(yè)缺陷檢測(cè)、醫(yī)療診斷，自動(dòng)駕駛等領(lǐng)域有著廣泛的應(yīng)用?！爱惓！蓖ǔ６x為 “正常” 的對(duì)立面，即所有不符合正常規(guī)范的樣本。通常來(lái)說(shuō)，相比于正常，異常事件的種類是不可窮盡的，且十分稀有，難以收集，因此不可能收集詳盡的異常樣本進(jìn)行訓(xùn)練。因此，近期關(guān)于異常檢測(cè)的研究主要致力于無(wú)監(jiān)督學(xué)習(xí)，即僅使用正常樣本，通過(guò)使用單類別（one-class）分類，圖像重建（reconstruction），或其他自監(jiān)督學(xué)習(xí)任務(wù)對(duì)正常樣本進(jìn)行建模，之后，通過(guò)識(shí)別不同于模型分布的樣本來(lái)檢測(cè)異常。

大多數(shù)現(xiàn)有的異常檢測(cè)方法都專注于為每個(gè)異常檢測(cè)任務(wù)訓(xùn)練一個(gè)專用模型。然而，在諸如缺陷檢測(cè)之類的真實(shí)場(chǎng)景中，考慮到要處理數(shù)百種工業(yè)產(chǎn)品，為每種產(chǎn)品均收集大量訓(xùn)練集是不劃算的。對(duì)此，上海交通大學(xué) MediaBrain 團(tuán)隊(duì)和上海人工智能實(shí)驗(yàn)室智慧醫(yī)療團(tuán)隊(duì)等提出了一個(gè)基于配準(zhǔn)的少樣本異常檢測(cè)框架，通過(guò)學(xué)習(xí)多個(gè)異常檢測(cè)任務(wù)之間共享的通用模型，無(wú)需進(jìn)行模型參數(shù)調(diào)整，便可將其推廣到新的異常檢測(cè)任務(wù)。目前，這項(xiàng)研究已被 ECCV2022 接收為 Oral 論文，完整訓(xùn)練代碼及模型已經(jīng)開(kāi)源。

方法簡(jiǎn)介

在這項(xiàng)工作中，少樣本異常檢測(cè)通用模型的訓(xùn)練受到了人類如何檢測(cè)異常的啟發(fā)。事實(shí)上，當(dāng)嘗試檢測(cè)圖像中的異常時(shí)，人們通常會(huì)將該檢測(cè)樣本與某個(gè)已經(jīng)被確定為正常的樣本進(jìn)行比較，從而找出差異，有差異的部分就可以被認(rèn)為是異常。為了實(shí)現(xiàn)這種類似于人類的比較的過(guò)程，本文作者采用了配準(zhǔn)技術(shù)。本文作者認(rèn)為，對(duì)于配準(zhǔn)網(wǎng)絡(luò)而言，只要知道如何比較兩個(gè)極度相似的圖像，圖像的實(shí)際語(yǔ)義就不再重要，因此模型就更能夠適用于從未見(jiàn)過(guò)的異常檢測(cè)新任務(wù)。配準(zhǔn)特別適用于少樣本異常檢測(cè)，因?yàn)榕錅?zhǔn)可以非常方便地進(jìn)行跨類別推廣，模型無(wú)需參數(shù)微調(diào)就能夠快速應(yīng)用于新的異常檢測(cè)任務(wù)。

上圖概述了基于配準(zhǔn)的少樣本異常檢測(cè)的框架。與常規(guī)的異常檢測(cè)方法（one-model-per-category）不同，這項(xiàng)工作（one-model-all-category）首先使用多類別數(shù)據(jù)聯(lián)合訓(xùn)練一個(gè)基于配準(zhǔn)的異常檢測(cè)通用模型。來(lái)自不同類別的正常圖像一起用于聯(lián)合訓(xùn)練模型，隨機(jī)選擇來(lái)自同一類別的兩個(gè)圖像作為訓(xùn)練對(duì)。在測(cè)試時(shí)，為目標(biāo)類別以及每個(gè)測(cè)試樣本提供了由幾個(gè)正常樣本組成的支撐集。給定支撐集，使用基于統(tǒng)計(jì)的分布估計(jì)器估計(jì)目標(biāo)類別注冊(cè)特征的正態(tài)分布。超出統(tǒng)計(jì)正態(tài)分布的測(cè)試樣本被視為異常。

這項(xiàng)工作采用了一個(gè)簡(jiǎn)單的配準(zhǔn)網(wǎng)絡(luò)，同時(shí)參考了 Siamese ［1］， STN ［2］ 和 FYD ［3］。具體地說(shuō)，以孿生神經(jīng)網(wǎng)絡(luò)（Siamese Network）為框架，插入空間變換網(wǎng)絡(luò)（STN）實(shí)現(xiàn)特征配準(zhǔn)。為了更好的魯棒性，本文作者利用特征級(jí)的配準(zhǔn)損失，而不是像典型的配準(zhǔn)方法那樣逐像素配準(zhǔn)，這可以被視為像素級(jí)配準(zhǔn)的松弛版本。

實(shí)驗(yàn)結(jié)果

在與其他少樣本異常檢測(cè)方法的比較上，RegAD 無(wú)論在檢測(cè)性能、適用到新類別數(shù)據(jù)的自適應(yīng)時(shí)間上，相比于基準(zhǔn)方法 TDG ［4］ 和 DiffNet ［5］ 都有顯著的優(yōu)勢(shì)。這是由于其他的方法都需要針對(duì)新的類別數(shù)據(jù)進(jìn)行模型的多輪迭代更新。另外，RegAD 相比于沒(méi)有進(jìn)行多類別特征配準(zhǔn)聯(lián)合訓(xùn)練的版本（RegAD-L），性能也得到了顯著的提升，體現(xiàn)出基于配準(zhǔn)的通用異常檢測(cè)模型的訓(xùn)練是十分有效的。本文在異常檢測(cè)數(shù)據(jù)集 MVTec ［6］ 和 MPDD ［7］ 上進(jìn)行實(shí)驗(yàn)。更多的實(shí)驗(yàn)結(jié)果和消融實(shí)驗(yàn)可參考原論文。

此外，作者還展示了異常定位可視化的結(jié)果?？梢钥吹?，聯(lián)合訓(xùn)練可以使得模型的異常定位變得更加準(zhǔn)確。

T-SNE 的可視化也顯示出，基于配準(zhǔn)的訓(xùn)練可以使得同類別的正常圖像特征變得更加緊湊，從而有利于異常數(shù)據(jù)的檢出。

總結(jié)

這項(xiàng)工作主要探索了異常檢測(cè)的一個(gè)具有挑戰(zhàn)性但實(shí)用的設(shè)置：1）訓(xùn)練適用于所有異常檢測(cè)任務(wù)的單一模型（無(wú)需微調(diào)即可推廣）；2）僅提供少量新類別圖像（少樣本）；3）只有正常樣本用于訓(xùn)練（無(wú)監(jiān)督）。嘗試探索這種設(shè)置是異常檢測(cè)走向?qū)嶋H大規(guī)模工業(yè)應(yīng)用的重要一步。為了學(xué)習(xí)類別無(wú)關(guān)的模型，本文提出了一種基于比較的解決方案，這與流行的基于重建或基于單分類的方法有很大不同。具體采用的配準(zhǔn)模型建立在已有的配準(zhǔn)方案基礎(chǔ)上，充分參考了現(xiàn)有的杰出工作 ［1，2，3］，在不需要參數(shù)調(diào)整的前提下，在新的異常檢測(cè)數(shù)據(jù)上取得了令人印象深刻的檢測(cè)效果。