一種新型的雙流注意力增強(qiáng)型BERT來提高捕捉句子對中細(xì)微差異的能力

1. Abstract

這篇paper主要是針對于傳統(tǒng)的預(yù)訓(xùn)練語言模型捕捉細(xì)微差異能力不足的問題，像添加和刪除單詞、修改句子等微小的噪音就可能會導(dǎo)致模型預(yù)測錯誤

因此，該論文提出一種新型的雙流注意力增強(qiáng)型bert（DABERT，Dual Attention Enhanced BERT ），用來提高捕捉句子對中細(xì)微差異的能力，包括兩個模塊，

（1）雙流注意力模塊，通過引入新的雙通道對齊機(jī)制來測量軟詞匹配，來建模相似注意力和差異注意力

（2）自適應(yīng)融合模塊，使用注意力機(jī)制來學(xué)習(xí)差異和相似特征的聚合，并生成一個描述句對匹配細(xì)節(jié)的向量

2. Motivation

之前的研究提出的方法在區(qū)分字面上相似但語義不同的句子對方面表現(xiàn)不佳，這可能是因為self-attention機(jī)制是利用上下文來理解token的語義，但這樣忽略了句子對之間的語義差異，因此為了更好的整合句子對之間的更加細(xì)粒度的差別，將difference向量和affinity向量放在一起建模

difference vector為差異向量

affinity vector為相似向量，即普通的attention得到的向量表示

字面意義相似但語義不同的例句，S1和S2是一對句子

2.1 Two questions

有了上面的思路之后，就自然而然的產(chǎn)生了兩個關(guān)鍵問題

Q1：如何使普通的注意力機(jī)制能夠?qū)渥訉χg細(xì)微差別的語義進(jìn)行建模？

Vanilla attention，或稱為affinity attention，并不太關(guān)注句子對之間的細(xì)微差別，要提升這個能力，一個直觀的解決方案是在表示向量之間做減法，以捕獲它們的語義差異。論文中提出了一個雙注意力模塊，包括差異注意力和普通注意力。差異注意力使用基于減法的cross-attention來聚合詞和短語層面的交互差異。同時，為了充分利用差異信息，使用雙通道將差異信息注入Transformer中的multi-head attention，以獲得描述相似和差異的語義表示。

Q2：如何將兩類語義表示融合為一個統(tǒng)一的表示？

通過額外的結(jié)構(gòu)對兩種信號進(jìn)行硬融合可能會破壞預(yù)訓(xùn)練模型的表示能力，如何將這些信息更柔和地注入到預(yù)訓(xùn)練的模型中仍然是一個難題。論文中提出了一個自適應(yīng)融合模塊，使用額外的注意力來學(xué)習(xí)差異和相似特征，以產(chǎn)生描述句子匹配細(xì)節(jié)的向量。

它首先通過不同的注意力將兩個信號相互對齊以捕獲語義交互，然后使用門控來自適應(yīng)地融合差異特征。這些生成的向量通過另一個 fuse-gate 進(jìn)一步縮放，以減少差異信息對預(yù)訓(xùn)練模型的損害，輸出的最終向量可以更好地描述句子對的匹配細(xì)節(jié)。

3. Main contributions

明確地對句子對之間的細(xì)粒度差異語義進(jìn)行建模，進(jìn)而有效地提升句子語義匹配任務(wù)的效果，并且提出了一種基于BERT的新型雙流注意力增強(qiáng)機(jī)制

提出的DABERT模型使用雙流注意力來分別關(guān)注句子對中的相似性和差異性特征，并采用soft-integrated的調(diào)節(jié)機(jī)制來自適應(yīng)地聚合這兩個特征，使得生成的向量可以更好地描述句子對的匹配細(xì)節(jié)

4. Semantic Sentence Matching

先介紹一下句子語義匹配任務(wù)（SSM， Semantic Sentence Matching），其目標(biāo)是比較兩個句子并識別它們的語義關(guān)系。

在轉(zhuǎn)述識別中，SSM用來確定兩個句子是否是轉(zhuǎn)述關(guān)系；在自然語言推理任務(wù)中，SSM用來判斷一個假設(shè)句是否可以從一個前提句中推斷出來；在QA任務(wù)中，SSM被用來評估問題-答案之間的相關(guān)性，并對所有候選回答進(jìn)行排序。

處理句子語義匹配任務(wù)一般可分為兩個主要的研究方向：

利用句子編碼器將句子轉(zhuǎn)換為潛在空間中的低維向量，并應(yīng)用參數(shù)化的函數(shù)來學(xué)習(xí)二者之間的匹配分?jǐn)?shù)

采用注意力機(jī)制來計算兩個句子token之間的分?jǐn)?shù)，然后將匹配分?jǐn)?shù)匯總，做出句子級的決策

還有通過注入知識來解決該問題的嘗試，如SemBERT，UER-BERT，Syntax-BERT等

5. Model architecture

DABERT是對原始 Transformer結(jié)構(gòu)的修改，其結(jié)構(gòu)如下所示

The overall architecture of Dual Attention Enhanced BERT (DABERT). The left side is the Dual attention module, and the right side is the Adaptive Fusion module

在這個新結(jié)構(gòu)中包括兩個子模塊

(1）雙注意力模塊，它在多頭注意力中使用雙通道機(jī)制來匹配兩個句子之間的單詞，每個通道使用不同的注意力頭，分別計算affinity 和 difference分?jǐn)?shù)，得到兩個表征，分別測量相似 和 差異信息。

(2）自適應(yīng)融合模塊，用于融合雙流注意力得到的表征，首先使用guide-attention來對齊兩個信號，然后使用多個門控模塊來融合這兩個信號，最終輸出一個包括更細(xì)粒度的匹配細(xì)節(jié)的向量

5.1 Dual Attention Module

在這個模塊中，使用兩個不同的注意力函數(shù)，即常規(guī)注意力和差異注意力，來比較兩個句子之間向量的相似度和差異度。雙重注意力模塊的輸入是的三要素，其中是潛在維度，是序列長度。

雙流注意力模塊通過兩個獨立的注意力機(jī)制計算K、Q和V之間的潛在關(guān)系，以測量它們的相似度和差異度。因此該模塊會產(chǎn)生兩組注意力表征，后續(xù)由自適應(yīng)融合模塊處理。

雙流注意力模塊

5.1.1 Affinity Attention

相似注意力是雙流注意力的一部分，它是標(biāo)準(zhǔn)的點積注意力，按照Transformer的默認(rèn)操作進(jìn)行計算。該模塊的輸入包括query和維度為的key，以及維度為的value。

計算query與所有key的點積，將每個點積除以，并使用softmax函數(shù)來獲得數(shù)值的權(quán)重，將輸出的相似向量表示為

其中，表示描述由Transformer原始注意力模塊生成的相似表達(dá)的向量。

5.1.2 Difference Attention

雙流注意力的第二部分是差異注意力模塊，用于捕捉和聚合句子對之間的差異信息，采用基于減法的cross-attention機(jī)制，它允許模型通過element-wise的減法來捕獲句子對之間的差別，如

其中，是輸入序列長度，
表示差異注意力模塊所產(chǎn)生的表示。是一個Mask操作。相似注意力和差異注意力都被用來建模句子對之間的語義關(guān)系，并分別從相似和差異的角度獲得相同維度的表征，這種雙通道機(jī)制可以獲得描述句子匹配的更詳細(xì)的表征。

5.2 Adaptive Fusion Module

使用自適應(yīng)融合模塊來融合相似表示A和差異表示D，因為直接融合（即平均嵌入向量）可能會損害預(yù)訓(xùn)練模型的原始表示能力

自適應(yīng)融合模塊

融合過程包括三個步驟

通過affinity-guided attention和difference-guided attention，靈活地與這兩個表示進(jìn)行互動和對齊

采用多個門控模塊來選擇性地提取交互語義信息

為了減輕差異表示對預(yù)訓(xùn)練模型的損害，我們利用filter gates來自適應(yīng)地過濾掉噪聲信息，最后生成更好描述句子匹配細(xì)節(jié)的向量

6. Experimental and Results analysis

6.1 Datasets

作者主要做了語義匹配和模型魯棒性的實驗，用到的數(shù)據(jù)集分別如下

Semantic Matching

GLUE的6個句對數(shù)據(jù)集：MRPC、QQP、STS-B、MNLI、RTE、QNLI

其他4個流行的數(shù)據(jù)集：SNLI、SICK、TwitterURL、Scitail

Robustness Test

利用TextFlint對多個數(shù)據(jù)集（Quora、SNLI、MNLI-m/mm）進(jìn)行轉(zhuǎn)化，包括特定任務(wù)的轉(zhuǎn)化（SwapAnt、NumWord、AddSent）和一般轉(zhuǎn)化（InsertAdv、Appendlrr、AddPunc、BackTrans、TwitterType、SwapNamedEnt、SwapSyn-WordNet）

TextFlint是一個自然語言處理模型的魯棒性評估平臺。它包括80多種模式來變形數(shù)據(jù)，包括插入標(biāo)點符號，改變文本中的數(shù)字，替換同義詞，修改副詞，刪除單詞等，可以有效地評估模型的魯棒性和泛化性

6.2 Baselines

BERT、SemBERT、SyntaxBERT、URBERT和其他多個PLM

此外，還選擇了幾個沒有預(yù)訓(xùn)練的競爭模型作為基線，如ESIM，Transformer等

在魯棒性實驗中，比較了多個預(yù)訓(xùn)練模型和SemBERT，URBERT、Syntax-BERT

6.3 Results analysis

更具體的實驗結(jié)果這里就不羅列了，只看一下論文作者對于一些結(jié)果的解釋

模型表現(xiàn)優(yōu)于SyntaxBERT，這是之前利用外部知識的最佳模型，基于BERT-large的平均相對改進(jìn)為0.86%。在QQP數(shù)據(jù)集上，DABERT的準(zhǔn)確性比SyntaxBERT明顯提高了2.4%。造成這種結(jié)果的主要原因有兩個

使用雙流注意力來增強(qiáng)DABERT捕捉差異特征的能力，這使得DABERT能夠獲得更精細(xì)的交互匹配特征

對于外部結(jié)構(gòu)引入的潛在噪聲問題，自適應(yīng)融合模塊可以有選擇地過濾掉不合適的信息，以抑制噪聲的傳播，而以前的工作似乎沒有對這個問題給予足夠的關(guān)注

SyntaxBERT仍在幾個數(shù)據(jù)集上取得了稍好的準(zhǔn)確性，作者認(rèn)為這是句法和依存知識的內(nèi)在關(guān)聯(lián)性的結(jié)果

The performance comparison of DABERT with other methods. Accuracy × 100 on 6 GLUE datasets. Methods with ? indicate the results from their papers, while methods with ? indicate our implementation

Robustness Test Performance

下表列出了DABERT和六個基線模型在三個數(shù)據(jù)集上的準(zhǔn)確性?？梢杂^察到，

SwapAnt的性能表現(xiàn)最差，而DABERT在SwapAnt(QQP)上優(yōu)于最佳模型SemBert近10%，這表明DABERT比基線模型更能處理反義詞引起的語義矛盾

NumWord轉(zhuǎn)換，BERT模型性能下降到56.96%，而DABERT優(yōu)于BERT近6%，因為它要求模型捕捉細(xì)微的數(shù)字差異，以進(jìn)行正確的語言推理

SwapSyn變換，UERBERT明顯優(yōu)于其他基線模型，因為它明確使用同義詞相似性矩陣來校準(zhǔn)注意力分布，而DABERT在不添加外部知識的情況下仍能達(dá)到與UERBERT相當(dāng)?shù)男阅?/strong>