深度解析CLIP在視覺語言理解與定位任務(wù)上的無監(jiān)督遷移研究

　　CLIP-VG： Self-paced Curriculum Adapting of CLIP for Visual Grounding

　　論文題目：CLIP-VG： Self-paced Curriculum Adapting of CLIP for Visual Grounding

　　發(fā)表期刊：IEEE Transactions on Multimedia 一區(qū)頂刊

　　工作內(nèi)容：基于自步課程學(xué)習(xí)實現(xiàn)多模態(tài)大模型CLIP在多模態(tài)視覺語言理解與定位任務(wù)上的無監(jiān)督遷移研究

圖1。我們提出的CLIP-VG的主要思想，它在自步課程自適應(yīng)的范式中使用偽語言標(biāo)簽來自適應(yīng)CLIP，從而實現(xiàn)在視覺定位的任務(wù)上得遷移學(xué)習(xí)。

論文摘要：

視覺定位(VG)是視覺和語言領(lǐng)域的一個重要課題，它涉及到在圖像中定位由表達(dá)句子所描述的特定區(qū)域。為了減少對人工標(biāo)記數(shù)據(jù)的依賴，無監(jiān)督的方法使用偽標(biāo)簽進(jìn)行學(xué)習(xí)區(qū)域定位。然而，現(xiàn)有的無監(jiān)督方法的性能高度依賴于偽標(biāo)簽的質(zhì)量，并且這些方法總是遇到多樣性有限的問題。為了利用視覺和語言預(yù)訓(xùn)練模型來解決定位問題，并合理利用偽標(biāo)簽，我們提出了一種新穎的方法CLIP-VG，它可以使用偽語言標(biāo)簽對CLIP進(jìn)行自步式地課程自適應(yīng)。我們提出了一個簡單而高效的端到端網(wǎng)絡(luò)架構(gòu)來實現(xiàn)CLIP到視覺定位的遷移。在以CLIP為基礎(chǔ)的架構(gòu)的基礎(chǔ)上，我們進(jìn)一步提出了單源和多源課程自適應(yīng)算法，這些算法可以逐步找到更可靠的偽語言標(biāo)簽來學(xué)習(xí)最優(yōu)模型，從而實現(xiàn)偽語言標(biāo)簽的可靠性和多樣性之間的平衡。我們的方法在單源和多源場景下的RefCOCO/+/g數(shù)據(jù)集上都明顯優(yōu)于當(dāng)前最先進(jìn)的無監(jiān)督方法，提升幅度分別為從6.78%至10.67%和11.39%至14.87%。此外，我們的方法甚至優(yōu)于現(xiàn)有的弱監(jiān)督方法。代碼和模型可在https://github.com/linhuixiao/CLIP-VG上獲得。

論文引言：

視覺定位(Visual Grounding，VG)，又稱指代表達(dá)理解（Referring Expression Comprehension，REC)，或短語定位（Phrase Grounding, PG)，是指在特定圖像中定位文本表達(dá)句子所描述的邊界框(bounding box，即bbox)區(qū)域，這一技術(shù)已成為視覺問答[6]、視覺語言導(dǎo)航[7]等視覺語言(Vision-Language, V-L)領(lǐng)域的關(guān)鍵技術(shù)之一。? ? ?

由于其跨模態(tài)的特性，定位需要同時理解語言表達(dá)和圖像的語義，這一直是一項具有挑戰(zhàn)性的任務(wù)?？紤]到其任務(wù)復(fù)雜性，現(xiàn)有的方法大多側(cè)重于全監(jiān)督設(shè)置(即，使用手工三元組數(shù)據(jù)作為監(jiān)督信號)。然而，有監(jiān)督的定位要求需要高質(zhì)量的手工標(biāo)注信息。具體來說，表達(dá)句子需要與bbox配對，同時在指代上是唯一的，并且需要具有豐富的語義信息。為了減少對手工勞動密集的標(biāo)記數(shù)據(jù)的依賴，弱監(jiān)督(即，僅給定圖像和查詢對，沒有配對的bbox)和無監(jiān)督定位(即，不使用任何與任務(wù)相關(guān)的標(biāo)注信息去學(xué)習(xí)定位圖像區(qū)域)最近受到越來越多的關(guān)注。現(xiàn)有的無監(jiān)督定位方法主要是利用預(yù)訓(xùn)練的檢測器和額外的大規(guī)模語料庫實現(xiàn)對未配對數(shù)據(jù)的指代定位。最先進(jìn)的(SOTA)無監(jiān)督方法提出使用人工設(shè)計的模板和空間關(guān)系先驗知識來匹配目標(biāo)和屬性檢測器獲得的結(jié)果，以及相應(yīng)的目標(biāo)bbox。這將生成表達(dá)式和bbox偽對，它們被用作為偽標(biāo)簽，進(jìn)而以監(jiān)督的方式學(xué)習(xí)定位模型。然而，這些現(xiàn)有方法中的偽標(biāo)注信息的有效性嚴(yán)重依賴于總是在特定數(shù)據(jù)集上預(yù)訓(xùn)練的目標(biāo)或?qū)傩詸z測器。這可能會限制語言分類和匹配模式的多樣性，以及上下文語義的豐富度，最終損害模型泛化能力。

在過去的幾年里，視覺語言預(yù)訓(xùn)練(Vision-Language Pre-trained, VLP)基礎(chǔ)模型(如CLIP)通過使用少量任務(wù)相關(guān)數(shù)據(jù)來進(jìn)行遷移或提示的范式，在許多下游任務(wù)上取得了令人振奮的結(jié)果。這些基礎(chǔ)模型的主要優(yōu)點是，它們可以通過自監(jiān)督約束從現(xiàn)成的web數(shù)據(jù)和各種下游任務(wù)數(shù)據(jù)(例如，BeiT3)中學(xué)習(xí)一般通用的知識。這啟發(fā)我們考慮轉(zhuǎn)移VLP模型(即，本工作中使用CLIP)，以無監(jiān)督的方式解決下游定位任務(wù)。然而由于缺乏與任務(wù)相關(guān)的標(biāo)記數(shù)據(jù)，因此，這是一項具有挑戰(zhàn)性的任務(wù)。一個直接的解決方案是利用以前的無監(jiān)督定位方法中生成的偽標(biāo)簽來微調(diào)預(yù)訓(xùn)練的模型。然而，這將影響預(yù)訓(xùn)練模型的泛化能力，因為特定的偽標(biāo)簽和真實特定任務(wù)的標(biāo)簽之間存在差距。

在本文中，我們提出了CLIP-VG，如圖1所示，這是一種新穎的方法，可以通過利用偽語言標(biāo)簽來解決視覺定位問題，對CLIP進(jìn)行自步地課程自適應(yīng)。首先，我們提出了一個簡單而高效的端到端純Transformer的僅編碼器的網(wǎng)絡(luò)架構(gòu)。我們?yōu)榱藢崿F(xiàn)CLIP向視覺定位的任務(wù)遷移，只需要調(diào)整少量的參數(shù)，花費最少的訓(xùn)練資源。其次，為了通過尋找可靠的偽標(biāo)簽來實現(xiàn)對基于CLIP的網(wǎng)絡(luò)架構(gòu)的更穩(wěn)定的自適應(yīng)遷移，我們提出了一種評估實例級標(biāo)簽質(zhì)量的方案和一種基于自步課程學(xué)習(xí)(SPL)的漸進(jìn)自適應(yīng)算法，即可靠性評估(III-C部分)和單源自步自適應(yīng)(SSA)算法(III-D部分)。實例級可靠性被定義為通過特定標(biāo)簽源學(xué)習(xí)的評估器模型正確預(yù)測的可能性。具體而言，我們學(xué)習(xí)了一個初步的定位模型作為可靠性評估器，以CLIP為偽標(biāo)簽的主干，然后對樣本的可靠性進(jìn)行評分，構(gòu)建可靠性直方圖(RH)。接下來，根據(jù)構(gòu)建的RH，以自步的方式執(zhí)行SSA算法，逐步采樣更可靠的偽標(biāo)簽，以提高定位的性能。為了有效地選擇偽配對的數(shù)據(jù)子集，我們設(shè)計了一種基于改進(jìn)的二叉搜索的貪心樣本選擇策略，以實現(xiàn)可靠性和多樣性之間的最優(yōu)平衡。

我們所提出的CLIP-VG的一個主要優(yōu)點是其漸進(jìn)式自適應(yīng)框架不依賴于偽標(biāo)簽的特定形式或質(zhì)量。因此，CLIP-VG可以靈活擴展，訪問多個偽標(biāo)簽源。在多源場景中，我們首先獨立學(xué)習(xí)每個偽標(biāo)簽源的特定源的定位模型。然后，我們提出了源級復(fù)雜度的評估標(biāo)準(zhǔn)。具體而言，在SPL的不同步驟中，我們根據(jù)每個表達(dá)式中實體的平均數(shù)量，從簡單到復(fù)雜逐步選擇偽標(biāo)簽源。在SSA的基礎(chǔ)上，我們進(jìn)一步提出了特定源可靠性(SR)和跨源可靠性(CR)，以及多源自適應(yīng)(MSA)算法(第3 - e節(jié))。特定源的可靠性定義為使用當(dāng)前標(biāo)簽源學(xué)習(xí)的定位模型正確預(yù)測當(dāng)前偽標(biāo)簽的可能性近似。相應(yīng)的，交叉源可靠性的定義是通過與其他標(biāo)簽源學(xué)習(xí)的定位模型正確預(yù)測當(dāng)前源偽標(biāo)簽的可能性近似。因此，整個方法可以漸進(jìn)式地利用偽標(biāo)簽來學(xué)習(xí)易難課程范式中的定位模型，最大限度地利用不同源的偽標(biāo)簽，保證基礎(chǔ)模型的泛化能力。

在RefCOCO/+/g、RefitGame和Flickr30K Entities這五個主流測試基準(zhǔn)中，我們的模型在單源和多源場景下的性能都明顯優(yōu)于SOTA無監(jiān)督定位方法Pseudo-Q，分別達(dá)到6.78% ~ 10.67% 和11.39% ~ 14.87%。所提出的SSA算法和MSA算法的性能增益為3%以上。此外，我們的方法甚至優(yōu)于現(xiàn)有的弱監(jiān)督方法。與全監(jiān)督SOTA模型QRNet相比，我們僅使用其更新參數(shù)的7.7% 就獲得了相當(dāng)?shù)慕Y(jié)果，同時在訓(xùn)練和推理方面都獲得了顯著的加速，分別高達(dá)26.84倍和7.41倍。與最新報道的結(jié)果相比，我們的模型在速度和能效方面也達(dá)到了SOTA。綜上所述，本文的貢獻(xiàn)有四個方面:

• 據(jù)我們所知，我們是第一個使CLIP實現(xiàn)無監(jiān)督視覺定位的。我們的方法可以將CLIP的跨模態(tài)學(xué)習(xí)能力轉(zhuǎn)移到視覺定位上，而且訓(xùn)練成本很小。

• 我們是第一個在無監(jiān)督視覺定位中引入自步課程學(xué)習(xí)的方法。我們提出的可靠性評估和單源自步自適應(yīng)的方法可以通過在由易到難的學(xué)習(xí)范式中使用偽標(biāo)簽逐步增強基于CLIP的視覺定位模型。

• 我們首先提出了多源自步自適應(yīng)算法來擴展了我們的方法，同時可以獲取多個偽標(biāo)簽源的信息，可以靈活地提高語言分類的多樣性。

• 我們進(jìn)行了大量的實驗來評估我們方法的有效性。結(jié)果表明，我們的方法在無監(jiān)督環(huán)境下取得了顯著的改進(jìn)，同樣，我們的模型在全監(jiān)督環(huán)境下也具有一定的競爭力。

圖2. 我們的CLIP-VG模型架構(gòu)(III-B部分)作為視覺語言定位模型來實現(xiàn)CLIP的自步度課程自適應(yīng)。

圖3。利用偽語言標(biāo)簽和自步課程學(xué)習(xí)實現(xiàn)無監(jiān)督視覺定位。(a)偽語言標(biāo)簽的例子(不同偽語言標(biāo)簽的來源在第IV-A節(jié)中進(jìn)行了描述)。(b)單源自步自適應(yīng)(Single-source self-paced Adapting, SSA)利用視覺語言定位模型(VLGM)對偽模板標(biāo)簽進(jìn)行可靠性評估和貪婪樣本選擇，通過尋找可靠的偽標(biāo)簽實現(xiàn)對CLIP更穩(wěn)定的自適應(yīng)遷移。(c)多源自適應(yīng)(Multi-source Self-paced Adapting, MSA)在SSA的基礎(chǔ)上進(jìn)一步提出了特定源可靠性(SR)和跨源可靠性(CR)。它依次進(jìn)行偽標(biāo)簽源選擇、可靠性評估器選擇和貪婪樣本選擇，從而達(dá)到可靠性和多樣性的最佳平衡。

表1. 在RefCOCO/+/g三個數(shù)據(jù)集上基于top-1精度的SOTA方法對比結(jié)果

表1. 在Rferit Game和Flickr兩個數(shù)據(jù)集上基于top-1精度的SOTA方法對比結(jié)果

表3. 模型的能效、推理訓(xùn)練速度優(yōu)勢對比

編輯：黃飛