通過Token實現(xiàn)多視角文檔向量表征的構建

寫在前面

今天給大家?guī)硪黄?a target="_blank">ACL2022論文MVR，「面向開放域檢索的多視角文檔表征」，主要解決同一個文檔向量與多個語義差異較大問題向量語義不匹配的問題。通過「插入多個特殊Token」實現(xiàn)多視角文檔向量表征的構建，并為了防止多種視角間向量的趨同，引入了「退火溫度」的全局-局部損失，論文全稱《Multi-View Document Representation Learning for Open-Domain Dense Retrieval》。

該篇論文與前兩天分享的DCSR-面向開放域段落檢索的句子感知的對比學習一文有異曲同工之妙，都是在檢索排序不引入額外計算量的同時，通過插入特殊Token構建長文檔的多語義向量表征，使得同一文檔可以與多種不同問題的向量表征相似。

并且目前的檢索召回模型均存在一些缺陷：

Cross-encoder類模型（BERT）由于計算量太大，無法在召回階段使用；

Bi-encoder類模型（DPR）無法很好地表現(xiàn)長文檔中的多主題要素；

Late Interaction類模型（ColBERT）由于使用sum操作，無法直接使用ANN進行排序；

Attention-based Aggregator類模型（PolyEncoder）增加了額外運算并且無法直接使用ANN進行排序。

模型

通常向量表征時，采用特殊字符[CLS]對應的向量表征作為文本的向量表征。為了獲取文檔中更細粒度的語義信息，MVR引入多個特殊字符[VIE]替代[CLS]。

對于文檔來說，在文本前插入多個字符[]，為了防止干擾原始文本的位置信息，我們將[]的所有位置信息設置為0，文檔語句位置信息從1開始。

對于問題來說，由于問題較短且通常表示同一含義，因此僅使用一個特殊字符[VIE]。

模型采用雙編碼器作為骨干，分別對問題和文檔進行編碼，如下：

其中，表示鏈接符，[VIE]和[SEP]為BERT模型的特殊字符，和分別為問題編碼器和文檔編碼器。

如上圖所示，首先計算問題向量與每個視角的文檔向量進行點積，獲取每一個視角的得分，然后通過max-pooler操作，獲取視角中分值最大的作為問題向量與文檔向量的得分，如下：

為了防止多種視角間向量的趨同，引入了帶有退火溫度的Global-Local Loss，包括全局對比損失和局部均勻損失，如下：

其中，全局對比損失為傳統(tǒng)的對比損失函數(shù)，給定一個問題、一個正例文檔以及多個負例文檔，損失函數(shù)如下：

為了提高多視角向量的均勻性，提出局部均勻性損失，強制將選擇的查詢向量與視角向量更緊密，原理其他其視角向量，如下：

為了進一步區(qū)分不同視角向量間的差異，采用了退火溫度，逐步調整不同視角向量的softmax分布，如下：

其中，為控制退火速度的超參，為模型訓練輪數(shù)，每訓練一輪，溫度更新一次。注意：在全局對比損失和局部均勻損失中，均使用了退火溫度。

實驗

如下表所示，MVR方法對比于其他模型，獲取了更好的效果。

并且，通過實驗發(fā)現(xiàn)，當視角個數(shù)選擇8時，MVR模型效果最佳。

針對Global-Local Loss進行消融實驗，發(fā)現(xiàn)當沒有局部均勻損失和退火溫度時，會使得效果下降；當兩者都沒有時，效果下降更加明顯；并且一個合適退火速度，對訓練較為重要。

相比于其他模型來說，在文檔編碼階段和檢索召回階段的速度基本沒有影響，但由于需要存儲多個視角向量，因此造成存儲空間變大。

并且，對比了簡單的句子切割或者等片段截斷方法獲取一個文本的多個向量表征，發(fā)現(xiàn)其效果均不理想，與DCSR一文觀點一致。

總結

該論文為了對長文檔更好地進行向量表征，引入多個特殊字符，使其生成「多種不同視角的向量表征」，解決了同一個文檔向量與多個語義差異較大問題向量語義不匹配的問題。

審核編輯：郭婷