模型在Close set和在Open set的表現(xiàn)是否存在一定的相關(guān)性呢

2. 介紹

參考一篇綜述，首先介紹兩個概念：

Close Set Recognition，閉集識別：指 訓(xùn)練集中的類別和測試集中的類別是一致的，例如最常用最經(jīng)典的ImageNet-1k。所有在測試集中的圖像的類別都在訓(xùn)練集中出現(xiàn)過，沒有未知種類的圖像。從AlexNet到VGG，再到ResNet，以及最近大火的Visual Transformer，都能夠比較好的處理這一類別的任務(wù)。

Open Set Recognition，開集識別：指對一個在訓(xùn)練集上訓(xùn)練好的模型，當(dāng)利用一個測試集（該測試集的中包含訓(xùn)練集中沒有的類別）進(jìn)行測試時，如果輸入已知類別數(shù)據(jù)，輸出具體的類別，如果輸入的是未知類別的數(shù)據(jù)，則進(jìn)行合適的處理（識別為unknown或者out-of-distribution）。例如在利用一個數(shù)據(jù)集訓(xùn)練好了一個模型可以對狗和人進(jìn)行分類，而輸入一張狗的圖像，由于softmax這種方式的設(shè)定，模型可能會告訴你80%的概率為人，但顯然這是不合理的，限制了模型泛化性能提升。而我們想要的結(jié)果，是當(dāng)輸入不為貓和人的圖像（比如狗）時，模型輸出為未知類別，輸入人或貓圖像，模型輸出對應(yīng)具體的類別。

由于現(xiàn)實場景中更多的是開放和非靜態(tài)的環(huán)境，所以在模型部署中，經(jīng)常會出現(xiàn)一些沒有見過的情況，所以這種考慮開集檢測的因素，對模型的部署十分有必要。那么模型在Close set和在Open set的表現(xiàn)是否存在一定的相關(guān)性呢？下面我們來了解一份ICLR 2021的工作來嘗試?yán)斫夂吞剿鲀烧咧g的關(guān)系。

在本文中，作者重新評估一些open set識別的方法，通過探索是否訓(xùn)練良好的閉集的分類器通過分析baseline的數(shù)據(jù)集，可以像最近的算法一樣執(zhí)行。要做到這一點(diǎn),我們首先研究了分類器的閉集和開集性能之間的關(guān)系。

雖然人們可能期望更強(qiáng)的close set分類器過度擬合到train set出現(xiàn)的類別，因此在OSR中表現(xiàn)較差。其實最簡單的方法也非常直觀，就是‘maximum softmax probability (MSP) baseline，即經(jīng)過softmax輸出的最大的概率值。而該論文展示了在close set和open set上開放集的表現(xiàn)是高度相關(guān)的，這一點(diǎn)是非常關(guān)鍵的。而且展這種趨勢在不同的數(shù)據(jù)集、目標(biāo)以及模型架構(gòu)中都是成立的。并在ImageNet-1k這個量級上的數(shù)據(jù)集進(jìn)行評估，更能說明該方法的有效性。

但僅僅觀察到這種現(xiàn)象，這種contribution雖然有意義，但可能也不足以支撐一篇頂會oral，所以自然要基于這一現(xiàn)象展開一些方法上的設(shè)計，來提升開集檢測的表現(xiàn)。根據(jù)這一觀察，論文提出一種通過改善close set性能的方式來進(jìn)一步提升open set上的表現(xiàn)。

具體來說，我們引入了更多的增強(qiáng)、更好的學(xué)習(xí)率調(diào)度和標(biāo)簽平滑等策略，這些策略顯著提高了MSP基線的close set和open set性能。我們還建議使用maximum logit score(MLS)，而不是MSP來作為開放集指標(biāo)。通過這些調(diào)整，可以在不改變模型結(jié)構(gòu)的情況下，非常有效的提升模型open set狀態(tài)下的識別性能。

3. 方法

首先就是一張非常直觀的圖，在不用的數(shù)據(jù)集上，對OSR和CSR兩個任務(wù)的表現(xiàn)進(jìn)行比較。論文首先利用標(biāo)準(zhǔn)基準(zhǔn)數(shù)據(jù)集上，選取三種有代表性的開放集識別方法，包括MSP，ARPL以及ARPL+CS。然后利用一個類似于VGG形態(tài)的的輕量級模型，在不同的分類數(shù)據(jù)集上進(jìn)行檢測?？梢钥吹絆SR和CSR兩個任務(wù)的表現(xiàn)是呈現(xiàn)出高度的正相關(guān)的。

對于理論上的證明，論文選取了模型校準(zhǔn)的角度來解讀。直觀地說，模型校準(zhǔn)的目的是量化模型是否具有感知對象類別的能力，即是否可以把低置信度的預(yù)測與高錯誤率相關(guān)聯(lián)。也就是說如果給了很低的置信度，而錯誤率又是很高的，那么就可以定義為模型沒有被很好地校準(zhǔn)。反之，則說明模型被很好地校準(zhǔn)了。

到目前為止，論文已經(jīng)證明了在單一、輕量級架構(gòu)和小規(guī)模數(shù)據(jù)集上封閉集和開放集性能之間的相關(guān)性——盡管我們強(qiáng)調(diào)它們是OSR文獻(xiàn)中現(xiàn)有的標(biāo)準(zhǔn)基準(zhǔn)。如上圖，論文又在在大規(guī)模數(shù)據(jù)集(ImageNet-1k)上試驗了一系列架構(gòu)。和在CIFAR-10等小數(shù)據(jù)集一致，該數(shù)據(jù)集也存在上述的現(xiàn)象。

至于，獲得更好的open set recognition上的表現(xiàn)，也就非常直接了。就是通過各種優(yōu)化方式、訓(xùn)練策略的設(shè)計，讓模型可以能夠在close set上具有更好的性能。完整的細(xì)節(jié)和用于提高封閉集性能的方法的表格明細(xì)可以在論文，以及附錄中更好地了解。

論文還提出一種新的評估close set性能的方式。以前的工作指出，開放集的例子往往比封閉集的例子具有更低的norm。因此，我們建議在開放集評分規(guī)則中使用最大對數(shù)，而不是softmax概率。Logits是深度分類器中最后一個線性層的原始輸出，而softmax操作涉及到一個歸一化，從而使輸出可以被解釋為一個概率向量的和為1。由于softmax操作將logits中存在的大部分特征幅度信息歸一化，作者發(fā)現(xiàn)logits能帶來更好的開放集檢測結(jié)果。

這種新的方式，改善了在所有數(shù)據(jù)集上的性能，并大大縮小了與最先進(jìn)方法的差距，各數(shù)據(jù)集的AUROC平均絕對值增加了13.9%。如果以報告的baseline和當(dāng)前最先進(jìn)的方法之間的差異比例來計算，這意味著平均差異減少了87.2%。MLS方法還在TinyImageNet上取得了新的領(lǐng)先優(yōu)勢，比OpenHybrid高出3.3%。

另外，作者指出，目前的標(biāo)準(zhǔn)OSRbaseline評價方式有兩個缺點(diǎn)：

它們都只涉及小規(guī)模的數(shù)據(jù)集；

它們?nèi)狈?gòu)成 "語義類 "的明確定義。

后者對于將開放集領(lǐng)域與其他研究問題，如out-of-distribution以及outlier的檢測，進(jìn)行區(qū)分非常重要。OSR旨在識別測試圖像是否與訓(xùn)練類有語義上的不同，而不是諸如模型對其預(yù)測不確定或是否出現(xiàn)了低層次的distribution shift。所以作者基于這兩個缺點(diǎn)，提出來了新的baseline用于評估open set的性能。具體關(guān)于數(shù)據(jù)集的細(xì)節(jié)，可以參考原文

4. 結(jié)論

在這篇文章中，作者給出了模型的閉集準(zhǔn)確率與開集識別能力正相關(guān)的觀點(diǎn)，同時通過實驗驗證了加強(qiáng)模型的閉集性能能夠幫助我們獲得更強(qiáng)的開集能力。對于 Open-Set Recognition 具有啟發(fā)意義。

審核編輯：劉清