APE：對(duì)CLIP進(jìn)行特征提純能夠提升Few-shot性能

本文介紹我們?cè)贗CCV 2023上接收的論文《Not All Features Matter: Enhancing Few-shot CLIP with Adaptive Prior Refinement》。這篇文章基于CLIP提出了一種特征提純的方法為下游任務(wù)選擇合適的特征，以此來(lái)提高下游任務(wù)的性能并同時(shí)提高計(jì)算效率。

論文: https://arxiv.org/pdf/2304.01195

代碼: https://github.com/yangyangyang127/APE

相比于其他方法，我們能夠在性能和計(jì)算量上實(shí)現(xiàn)較好的均衡，如下圖所示。

1. 概述

問(wèn)題：大規(guī)模預(yù)訓(xùn)練的視覺(jué)-文本模型，如CLIP，BLIP等，能夠在多種數(shù)據(jù)分布下表現(xiàn)出良好的性能，并已經(jīng)有很多的工作通過(guò)few-shot的方式將它們應(yīng)用于下游任務(wù)。但這些方法或者性能提升有限（如CoOp, CLIP-Adapter等），或者需要訓(xùn)練大量的參數(shù)（如Tip-Adapter等）。因此我們會(huì)問(wèn)，能否同時(shí)實(shí)現(xiàn)高few-shot性能且少參數(shù)量呢？

出發(fā)點(diǎn)和思路：CLIP是一個(gè)通用的模型，考慮到下游數(shù)據(jù)分布的差異，對(duì)某個(gè)下游任務(wù)來(lái)說(shuō)，CLIP提取的特征并不全是有用的，可能包含一部分冗余或噪聲。因此，在這篇文章中，我們首先提出一種特征提純的方法，為每個(gè)數(shù)據(jù)集提純個(gè)性化的特征通道，從而減少了參數(shù)量，且提升了計(jì)算效率；然后設(shè)計(jì)了一種參數(shù)高效的few-shot框架，提升了CLIP在不同數(shù)據(jù)集上的few-shot性能，下圖是論文的整體流程圖。

2. 方法

這一部分中，我們分別介紹特征提純模塊和新提出的few-shot框架。

2.1 特征提純

CLIP是一個(gè)通用的模型，在下游任務(wù)上，考慮到數(shù)據(jù)分布，CLIP提取的特征可能并不全是有用的，因此我們?cè)噲D為每個(gè)下游數(shù)據(jù)集提純個(gè)性化的特征。我們通過(guò)最大化類(lèi)間差異，或者說(shuō)最小化類(lèi)間相似度，來(lái)選擇合適的特征。對(duì)于一個(gè)類(lèi)的下游任務(wù)，我們計(jì)算所有類(lèi)的所有樣本表征之間平均相似度，

其中，代表類(lèi)的序號(hào)，代表兩個(gè)類(lèi)的先驗(yàn)概率，代表兩個(gè)類(lèi)中的樣本數(shù)量，是相似度函數(shù)，代表表征。假設(shè)代表特征通道是否被選中,代表特征維度，代表預(yù)先限制個(gè)特征被選中，則通過(guò)求解使得最小我們可以得到需要的特征，即求解以下優(yōu)化問(wèn)題：

其中代表逐元素相乘。最后，經(jīng)過(guò)特征提純，我們?cè)贗mageNet上統(tǒng)計(jì)了圖像和文本相似度的變化，如下圖所示。相比于沒(méi)有特征提純，我們選定的特征減小了類(lèi)間相似度，同時(shí)增大了圖像和文本的匹配程度。且我們提純出的特征能夠獲得更好的similarity map。

2.2 三邊關(guān)系的few-shot框架

CLIP等視覺(jué)文本模型一般基于測(cè)試圖像和文本表征的相似度或距離來(lái)完成分類(lèi)任。但除此之外，我們還可以使用測(cè)試圖像和訓(xùn)練圖像的相似度來(lái)校正，并使用訓(xùn)練圖像和文本的相似度來(lái)為困難樣本提供額外的信息?；谶@種考慮，我們探究了測(cè)試圖像、文本描述和訓(xùn)練圖像之間的三邊嵌入關(guān)系。

假設(shè)代表測(cè)試圖像特征，和分別代表訓(xùn)練圖像和文本描述的特征，代表訓(xùn)練圖像的label，則我們可以建立三邊關(guān)系，

其中，代表一般的CLIP基于視覺(jué)文本相似度的預(yù)測(cè)，代表模態(tài)間的相似度，即測(cè)試圖像和訓(xùn)練圖像之間的相似度，反映了訓(xùn)練圖像對(duì)測(cè)試圖像的貢獻(xiàn)?；谝陨先N關(guān)系，可以得到最終的預(yù)測(cè)為

我們可以將特征提純與三邊關(guān)系結(jié)合起來(lái)，直接在選擇出來(lái)的特征上進(jìn)行三種關(guān)系的few-shot學(xué)習(xí)，這樣可以減少參數(shù)和計(jì)算效率。我們提出了training-free和training-required兩種框架，如下圖，后者相比于前者增加了少量可訓(xùn)練的殘差。

3. 結(jié)果

我們?cè)?1個(gè)分類(lèi)數(shù)據(jù)集上研究了方法的性能，并提出了training-free和training-required兩個(gè)版本，下圖是11個(gè)數(shù)據(jù)集上的平均性能以及和其他方法的比較。

與其他方法相比，我們的計(jì)算效率和參數(shù)量都有所優(yōu)化。

提純的特征通道的數(shù)量對(duì)結(jié)果也有所影響：

感謝您的閱讀，更多的實(shí)現(xiàn)細(xì)節(jié)和比較請(qǐng)看我們的文章，我們的代碼已開(kāi)源。感謝您提出寶貴意見(jiàn)。