韩国三级无码高在线观看,原神刻晴大战史莱姆外网免费,高清无码A片天天操天天操

本文提出了 SAN 框架，用于開放詞匯語義分割。該框架成功地利用了凍結(jié)的 CLIP 模型的特征以及端到端的流程，并最大化地采用凍結(jié)的 CLIP 模型。

簡介本文介紹了一種名為Side Adapter Network (SAN)的新框架，用于基于預訓練的視覺語言模型進行開放式語義分割。該方法將語義分割任務(wù)建模為區(qū)域識別問題，并通過附加一個側(cè)面的可學習網(wǎng)絡(luò)來實現(xiàn)。該網(wǎng)絡(luò)可以重用CLIP（Contrastive Language-Image Pre-Training）模型的特征，從而使其非常輕便。整個網(wǎng)絡(luò)可以進行端到端的訓練，使側(cè)面網(wǎng)絡(luò)適應(yīng)凍結(jié)的CLIP模型，從而使預測的掩碼提案具有CLIP感知能力。作者在多個語義分割基準測試上評估了該方法，并表明其速度快、準確度高，只增加了少量可訓練參數(shù)，在一系列數(shù)據(jù)集上相較于之前的SOTA模型取得了大幅的性能提升（如下表所示）最后，作者希望該方法能夠成為一個baseline，并幫助未來的開放式語義分割研究。

論文鏈接：

https://arxiv.org/abs/2211.08073

Introduction

作者首先討論了語義分割的概念和現(xiàn)代語義分割方法的限制，以及如何將大規(guī)模視覺語言模型應(yīng)用于開放式語義分割?，F(xiàn)代語義分割方法通常依賴于大量標記數(shù)據(jù)，但數(shù)據(jù)集通常只包含數(shù)十到數(shù)百個類別，昂貴的數(shù)據(jù)收集和注釋限制了我們進一步擴展類別的可能性。最近，大規(guī)模視覺語言模型（如CLIP）的出現(xiàn)促進了零樣本學習的發(fā)展，這也鼓勵我們探索其在語義分割中的應(yīng)用。然而，將CLIP模型應(yīng)用于開放式語義分割十分困難，因為CLIP模型是通過圖像級對比學習訓練的，其學習到的表示缺乏像素級別的識別能力，而這種能力在語義分割中是必需的。解決這個問題的一個方法是在分割數(shù)據(jù)集上微調(diào)模型，但是分割數(shù)據(jù)集的數(shù)據(jù)規(guī)模遠遠小于視覺語言預訓練數(shù)據(jù)集，因此微調(diào)模型在開放式識別方面的能力通常會受到影響。

為了充分發(fā)揮視覺-語言預訓練模型在開放詞匯語義分割中的能力。作者提出了一種名為Side Adapter Network（SAN）的新框架。由于端到端訓練，SAN的掩膜預測和分類是基于CLIP輔助的。整個模型十分輕量化。SAN有兩個分支：一個用于預測掩膜，另一個用于預測應(yīng)用于CLIP的注意力偏好，以進行掩膜類別識別。作者表明，這種分離的設(shè)計可以提高分割性能。此外，作者還提出了一種單向前設(shè)計，以最小化CLIP的成本：將淺層CLIP塊的特征融合到SAN中，將其他更深層次的塊與注意偏置結(jié)合以進行掩膜識別。由于訓練是端到端的，SAN可以最大程度地適應(yīng)凍結(jié)的CLIP模型。作者的研究基于官方發(fā)布的ViT CLIP模型，采用Visual Transformer實現(xiàn)。準確的語義分割需要高分辨率圖像，但發(fā)布的ViT CLIP模型設(shè)計用于低分辨率圖像（如），直接應(yīng)用于高分辨率圖像會導致性能下降。為了緩解輸入分辨率的沖突，作者在CLIP模型中使用低分辨率圖像，在SAN中使用高分辨率圖像。作者表明，這種不對稱的輸入分辨率非常有效。此外，作者還探討了僅微調(diào)ViT模型的位置嵌入，并取得了改進。作者在各種基準測試中評估了他們的方法。與之前的方法相比，作者的方法在所有基準測試中都取得了最好的性能。作者的方法只有8.4M可訓練參數(shù)和64.3 GFLOPs。

?Method

3.1 基礎(chǔ)架構(gòu)

SAN的詳細架構(gòu)如下圖所示。輸入圖像被分成個patch。首先通過一個線性層將圖片轉(zhuǎn)化為Visual Tokens。這些Visual Tokens會與個可學習的Query Tokens拼接起來，并送到后續(xù)的Transformer Layer中。每個Transformer Layer的Visual Tokens和Query Tokens都添加了position embedding。

示例圖片SAN的輸出由兩部分構(gòu)成：掩膜提議(Mask Proposals)和注意力偏好（Attention Biases）。在掩膜提議中，Query Tokens和Visual Tokens首先通過兩個單獨的3層MLP，投影成256維，我們將投影的Query Tokens表示為，其中是Query Tokens的數(shù)量，投影的Visual Tokens表示為，其中和是輸入圖像的高度和寬度。然后，通過和的內(nèi)積生成掩膜：其中。生成注意力偏好的過程類似于掩膜提議。Query Tokens和Visual Tokens也通過3層MLP進行投影，表示為和，其中是CLIP模型的注意頭數(shù)。通過對和進行內(nèi)積，我們得到注意力偏好：其中。此外，如果需要，注意力偏好還將進一步調(diào)整為，其中和是CLIP中注意力映射的高度和寬度。在實踐中，和可以共享，并且注意力偏好將應(yīng)用于CLIP的多個自注意層，即偏好將在不同的自注意層中使用。這樣的雙輸出設(shè)計的動機很直觀：作者認為用于在CLIP中識別掩模的感興趣區(qū)域可能與掩模區(qū)域本身不同。作者在后文的對比實驗中也證實了這個想法。

3.2掩膜預測

原始的CLIP模型只能通過標記進行圖像級別的識別。作者工作在不改變CLIP模型參數(shù)的情況下，嘗試通過指導標記的注意力圖在感興趣區(qū)域上實現(xiàn)精確的掩膜識別。為了實現(xiàn)這個目標，作者創(chuàng)建了一組名為標記（仿照Maskclip，如下圖）。

這些標記單向地通過Visual Tokens進行更新，但是Visual Tokens和標記都不受的影響。在更新標記時，預測的注意力偏差被添加到注意力矩陣中：其中表示層編號，表示第個注意力頭，和是的Query 和Key，是Visual Tokens 的Key。，和分別是Query、Key和Value的編碼權(quán)重。通過注意力偏好，標記的特征逐漸演變以適應(yīng)掩膜預測，并且可以通過比較標記和類名CLIP文本編碼之間的距離/相似性來輕松獲得掩膜的類別預測，表示為，其中是類別數(shù)。

3.3分割結(jié)果生成

使用上文提到的掩膜和類別預測，我們可以計算語義分割圖：其中。這是標準的語義分割輸出，因此與主流的語義分割評估兼容。在訓練，我們通過Dice Loss 和binary cross-entropy loss 來監(jiān)督掩膜生成，通過cross-entropy loss 來監(jiān)督掩膜識別?？倱p失為：其中作者使用的損失權(quán)重，，分別為5.0，5.0和2.0。通過端到端的訓練，SAN可以最大程度地適應(yīng)凍結(jié)的CLIP模型,并得到很好的結(jié)果。

討論

具體來說，作者提出了一種全新的端到端架構(gòu)，以極小的參數(shù)量在多個數(shù)據(jù)集上取得了SOTA效果。SAN的主要特點如下：

SAN中沿用了MaskCLIP得出的結(jié)論：在下游數(shù)據(jù)集上微調(diào)會破壞CLIP優(yōu)秀的特征空間。因此在SAN的設(shè)計中，無需微調(diào)（fine-tune）CLIP模型，以便最大程度的保持CLIP模型的開放詞匯能力。
在凍結(jié)CLIP模型的同時，引入了額外的可編碼網(wǎng)絡(luò)，能夠根據(jù)下游任務(wù)數(shù)據(jù)集學習分割所需要的特征，彌補了CLIP模型對于位置信息的缺失。
將語義分割任務(wù)分解為掩膜預測與類別預測兩個子任務(wù)。CLIP模型的開放識別能力不僅僅依賴于物體區(qū)域本身，也依賴于物體的上下文信息（Context Information）。這促使作者提出掩膜預測與類別預測解耦的雙輸出設(shè)計，下表顯示該設(shè)計可以進一步提升模型的預測精度。

充分復用了CLIP模型的特征，大幅度降低所需的額外參數(shù)量的同時獲得最佳性能。下表展示了復用CLIP特征帶來的性能增益。

? ?

?結(jié)論作者在這項工作中提出了SAN框架，用于開放詞匯語義分割。該框架成功地利用了凍結(jié)的CLIP模型的特征以及端到端的流程，并最大化地采用凍結(jié)的CLIP模型。所提出的框架在五個語義分割基準測試中顯著優(yōu)于以往的最先進方法，而且具有更少的可訓練參數(shù)和更少的計算成本。 ·

原文標題：CVPR 2023 | 華科&MSRA新作：基于CLIP的輕量級開放詞匯語義分割架構(gòu)

文章出處：【微信公眾號：智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。舉報投訴