一窺AMR圖譜在自然語(yǔ)言處理中的應(yīng)用

引言

TreeBank 作為自然語(yǔ)言語(yǔ)法的結(jié)構(gòu)化表示可謂廣為人知，其實(shí)在語(yǔ)義層面也有一種類似的結(jié)構(gòu)化方法——抽象語(yǔ)義表示（Abstract Meaning Representation，AMR）。它能記錄自然語(yǔ)言文本中最重要的語(yǔ)義信息，但并不限制實(shí)際表達(dá)時(shí)的語(yǔ)法結(jié)構(gòu)。本次分享我們將向讀者介紹 ACL 2022 中與 AMR 有關(guān)的三篇論文，一窺 AMR 圖譜在自然語(yǔ)言處理中的應(yīng)用。

文章概覽

Graph Pre-training for AMR Parsing and Generation

AMR 既不會(huì)自動(dòng)從文本中展現(xiàn)出來(lái)，也無(wú)法自行表達(dá)一個(gè)句子。因此對(duì)于 AMR 而言，最重要的任務(wù)就是從文本中構(gòu)建 AMR，以及根據(jù) AMR 生成文本。目前的主流模型均以預(yù)訓(xùn)練語(yǔ)言模型作為基礎(chǔ)，然而本文作者指出，傳統(tǒng)的預(yù)訓(xùn)練方法面向文本，存在任務(wù)形式錯(cuò)配的問(wèn)題。因此，本文首次提出將直接針對(duì) AMR 的圖預(yù)訓(xùn)練任務(wù)應(yīng)用至預(yù)訓(xùn)練語(yǔ)言模型中，并取得了不錯(cuò)的效果。

Variational Graph Autoencoding as Cheap Supervision for AMR Coreference Resolution

理論上我們可以利用 AMR 圖譜分析多個(gè)句子甚至一篇文章的語(yǔ)義，但必須通過(guò)指代消融將多個(gè)指代相同實(shí)體的節(jié)點(diǎn)合并。目前的模型一方面需要大量的圖譜數(shù)據(jù)用于訓(xùn)練，另一方面卻對(duì)數(shù)據(jù)噪聲較為敏感。本文作者通過(guò)將變分圖自編碼器引入既有的 AMR 指代消融模型，成功將存在一定錯(cuò)誤的自動(dòng)標(biāo)注 AMR 圖譜數(shù)據(jù)納入訓(xùn)練數(shù)據(jù)中，使模型性能得到了顯著提高。

AMR-DA: Data Augmentation by Abstract Meaning Representation

AMR 圖譜可以助力多種自然語(yǔ)言處理任務(wù)，不過(guò)本文探討的卻是一個(gè)比較另類的應(yīng)用——自然語(yǔ)言數(shù)據(jù)增強(qiáng)。面向文本的數(shù)據(jù)增強(qiáng)方法或者容易導(dǎo)致病句，或者難以提供足夠的數(shù)據(jù)多樣性；相反，面向 AMR 的數(shù)據(jù)增強(qiáng)可以在輕微改變甚至不改變語(yǔ)義的前提下，生成通順而多變的文本?；谏鲜鲇^察，本文在兩個(gè)主流任務(wù)上比較了傳統(tǒng)方法與 AMR 數(shù)據(jù)增強(qiáng)的效果，并分析了 AMR 方法的優(yōu)勢(shì)所在。

論文細(xì)節(jié)

研究動(dòng)機(jī)

人工標(biāo)注 AMR 圖譜往往費(fèi)時(shí)費(fèi)力，因此設(shè)計(jì)能相互轉(zhuǎn)換文本與 AMR 的自動(dòng)模型就顯得非常重要。其中，從文本構(gòu)建 AMR 稱為 AMR 解析（parsing），而根據(jù) AMR 生成文本則稱為 AMR 生成（generation）。目前主流的方法是將 AMR 圖譜按照一定的節(jié)點(diǎn)順序（如 DFS 序列）表示為一個(gè)字符串，然后應(yīng)用序列到序列（seq2seq）模型；然而，通常的序列到序列模型是基于文本設(shè)計(jì)的，并不能很好地學(xué)習(xí) AMR 特有的圖結(jié)構(gòu)。

為了實(shí)現(xiàn)能更好地利用圖結(jié)構(gòu)的模型，本文作者探究了以下三個(gè)問(wèn)題：能否設(shè)計(jì)完全基于圖的預(yù)訓(xùn)練任務(wù)（即圖到圖任務(wù)）作為文本預(yù)訓(xùn)練的補(bǔ)充？怎樣有效結(jié)合這兩類形式不同的訓(xùn)練任務(wù)？能否引入其它模型自動(dòng)標(biāo)注的 AMR（存在一定噪聲）？本文即沿著上述三個(gè)問(wèn)題，分別在 AMR 解析與生成兩個(gè)任務(wù)上進(jìn)行了實(shí)驗(yàn)與分析。

圖訓(xùn)練任務(wù)

為了與既有的模型結(jié)果對(duì)齊，本文依然沿用了基于文本的 BART 模型，輸入或輸出序列化的 AMR 圖譜。BART 的預(yù)訓(xùn)練任務(wù)是文本去噪，即從添加了噪聲的文本中重建原始內(nèi)容，其中噪聲包括語(yǔ)段的增刪、調(diào)換、掩碼（MASK）覆蓋等。顯然如果直接對(duì)序列化 AMR 圖譜應(yīng)用這些操作，很可能會(huì)破壞圖譜表示，導(dǎo)致模型難以利用結(jié)構(gòu)信息恢復(fù)原始圖譜。

為此，作者巧妙地設(shè)計(jì)了兩類能夠表示為文本去噪的圖預(yù)訓(xùn)練任務(wù)——節(jié)點(diǎn)/邊重建和子圖重建。其中，節(jié)點(diǎn)/邊重建任務(wù)隨機(jī)選取原始 AMR 圖譜中部分節(jié)點(diǎn)和邊，并用掩碼標(biāo)簽覆蓋，要求模型恢復(fù)這些節(jié)點(diǎn)和邊的原始標(biāo)簽；子圖重建任務(wù)則進(jìn)一步將一個(gè)完整的隨機(jī)子圖替換為掩碼節(jié)點(diǎn)，要求模型恢復(fù)整個(gè)子圖。這些基于圖譜的變換既可以分別應(yīng)用于不同的輸入，也可以同時(shí)使用。

通過(guò)加入一些限制條件，上述兩個(gè)任務(wù)都能以文本掩碼、語(yǔ)段交換等形式套用既有的 BART 預(yù)訓(xùn)練流程。這樣一方面可以在不改動(dòng)既有模型架構(gòu)的前提下進(jìn)行圖訓(xùn)練任務(wù)，另一方面可以增強(qiáng)模型對(duì)比結(jié)果的說(shuō)服力。

聯(lián)合訓(xùn)練框架

解決了任務(wù)設(shè)計(jì)的問(wèn)題，還需要考慮如何統(tǒng)一圖訓(xùn)練與文本訓(xùn)練。本文作者注意到，這兩類預(yù)訓(xùn)練任務(wù)和下游任務(wù)（AMR 解析與生成）都可以表示為如下形式：輸入一段文本或一個(gè) AMR 圖譜，輸出另一段文本或另一個(gè) AMR 圖譜；然而不難發(fā)現(xiàn)，預(yù)訓(xùn)練任務(wù)的輸入與輸出有相同的形式，但下游任務(wù)卻并非如此——兩類任務(wù)的形式錯(cuò)配了。

作者認(rèn)為，這一錯(cuò)配是目前序列到序列模型性能瓶頸的來(lái)源之一：模型在預(yù)訓(xùn)練階段難以學(xué)習(xí)文本與圖譜信息交互的部分，然而無(wú)論是 AMR 解析還是生成任務(wù)都高度依賴這些交互信息。因此，他們進(jìn)一步提出了文本-圖譜聯(lián)合預(yù)訓(xùn)練框架，即模型同時(shí)輸入文本與圖譜信息，輸出期望的文本或圖譜。如此一來(lái)，上述各種任務(wù)無(wú)非是將其中一個(gè)輸入源置空而已。

在這樣一個(gè)統(tǒng)一的框架下，本文提出了將文本與圖譜結(jié)合起來(lái)的預(yù)訓(xùn)練任務(wù)——其中一類是同時(shí)輸入文本與圖譜，但向其中某個(gè)輸入添加噪聲，并要求模型復(fù)原；另一類是同時(shí)向兩個(gè)輸入添加噪聲，并要求模型恢復(fù)其中一個(gè)。各個(gè)任務(wù)的損失函數(shù)與通常的去噪任務(wù)無(wú)異，均為交叉熵?fù)p失，且訓(xùn)練期間可以同時(shí)加入所有任務(wù)，目標(biāo)損失函數(shù)即為所有任務(wù)的損失函數(shù)之和。

與單純的文本或圖訓(xùn)練任務(wù)相比，模型能同時(shí)利用文本與圖譜的信息，就有機(jī)會(huì)強(qiáng)化模型理解雙方交互的水平。此外，根據(jù)預(yù)訓(xùn)練樣本量的不同，訓(xùn)練樣本的噪聲水平會(huì)逐漸提高（即掩碼出現(xiàn)的頻率），使模型能漸進(jìn)地學(xué)習(xí)。

實(shí)驗(yàn)設(shè)計(jì)

利用以上提到的圖訓(xùn)練與聯(lián)合訓(xùn)練任務(wù)，本文選取 AMR 2.0 與 AMR 3.0 兩個(gè)人工標(biāo)注數(shù)據(jù)集作為訓(xùn)練集和主要測(cè)試集，并額外在 New3、小王子（LP）以及 Bio AMR 等小型數(shù)據(jù)集上測(cè)試模型的跨領(lǐng)域性能。此外為了回答第三個(gè)問(wèn)題——能否利用自動(dòng)標(biāo)注數(shù)據(jù)，作者又從 Gigaword 語(yǔ)料庫(kù)（兩個(gè)主數(shù)據(jù)集的語(yǔ)料來(lái)源）隨機(jī)抽取部分句子，并采用 SPRING 模型生成自動(dòng)標(biāo)注的 AMR 圖譜，作為預(yù)訓(xùn)練專用的附加數(shù)據(jù)集。

AMR 解析與 AMR 生成兩個(gè)任務(wù)均采用原版 BART 作為核心模型，并通過(guò)驗(yàn)證集指標(biāo)選取最優(yōu)模型。AMR 解析任務(wù)采用目前主流的 Smatch 分?jǐn)?shù)及其子項(xiàng)作為評(píng)價(jià)指標(biāo)，AMR 生成任務(wù)則選取 BLEU、CHRF++ 和 METEOR 等文本生成評(píng)價(jià)指標(biāo)。

結(jié)果及分析

下圖展示了在驗(yàn)證集上各種預(yù)訓(xùn)練任務(wù)組合的效果，可見(jiàn)當(dāng)模型是針對(duì)圖譜去噪預(yù)訓(xùn)練時(shí)，解析任務(wù)的性能提升更明顯，生成任務(wù)的性能提升更明顯，且組合所有任務(wù)的效果是最好的。另外作者進(jìn)一步發(fā)現(xiàn)，兩種圖預(yù)訓(xùn)練形式都能提供一定程度的幫助，且子圖重建的貢獻(xiàn)更大一些。

下圖列出了一些驗(yàn)證集上的其它實(shí)驗(yàn)結(jié)果。其中，左圖比較了兩種訓(xùn)練范式下的模型性能，顯示通過(guò)聯(lián)合訓(xùn)練框架預(yù)訓(xùn)練的模型在兩個(gè)任務(wù)上都優(yōu)于采用傳統(tǒng)任務(wù)預(yù)訓(xùn)練的模型；右圖則統(tǒng)計(jì)了添加自帶噪聲的自動(dòng)標(biāo)注數(shù)據(jù)參加預(yù)訓(xùn)練后的指標(biāo)變化，表明在本文提出的訓(xùn)練范式下，即使是自動(dòng)標(biāo)注數(shù)據(jù)也可以有效改善模型的性能。

主數(shù)據(jù)集上的測(cè)試結(jié)果如下圖所示，包括 AMR 解析與 AMR 生成任務(wù)，可見(jiàn)本文提出的模型與其它主流模型相比，在各項(xiàng)指標(biāo)上幾乎都實(shí)現(xiàn)了突破，甚至在生成任務(wù)上用較小的 bart-base 達(dá)到或超過(guò)了用 bart-large 作為核心的其它模型。值得注意的是，在這些模型中，本文提出的模型在利用自動(dòng)標(biāo)注數(shù)據(jù)時(shí)的表現(xiàn)是最好的——作者指出這是因?yàn)槿ピ腩A(yù)訓(xùn)練任務(wù)可以更好地容忍一定的數(shù)據(jù)噪聲。

此外，模型在跨領(lǐng)域數(shù)據(jù)集上的表性能也顯著優(yōu)于參與比較的其它模型，顯示模型有更強(qiáng)的領(lǐng)域適應(yīng)能力，作者認(rèn)為是由于新的預(yù)訓(xùn)練任務(wù)減輕了模型在精調(diào)階段的災(zāi)難遺忘現(xiàn)象。

最后，本文作者還討論了應(yīng)對(duì)復(fù)雜程度不同的 AMR 圖譜時(shí)，模型在兩個(gè)任務(wù)上的表現(xiàn)。從下圖的結(jié)果可以看到，模型的性能改進(jìn)（特別是 AMR 生成）在更大、更深的圖上更加明顯，并且對(duì)有不同平均入度的圖也都有性能提升。

研究動(dòng)機(jī)

雖然 AMR 是針對(duì)句子標(biāo)注的，但從定義來(lái)看，它并不限制語(yǔ)義表達(dá)的規(guī)模，因此對(duì)一篇文章中每個(gè)句子生成 AMR 圖譜并整體處理是完全可行的。但在許多文章中，多個(gè)句子往往會(huì)涉及同一個(gè)實(shí)體，因此有必要將表達(dá)相同實(shí)體的 AMR 節(jié)點(diǎn)合并為一個(gè)聚類節(jié)點(diǎn)——這就是 AMR 上的指代消融任務(wù)。

早期的 AMR 指代消融主要有兩種方式，其一是人工設(shè)計(jì)匹配規(guī)則，其二是通過(guò)對(duì)齊 AMR 與文本，將面向文本的指代消融結(jié)果套用至 AMR 上。最近的研究開(kāi)始聚焦于直接將基于神經(jīng)網(wǎng)絡(luò)的文本指代消融模型改造為專用于 AMR 圖譜的模型，取得了不錯(cuò)的成果；但正如上文所述，這類方法依然需要面對(duì)標(biāo)注數(shù)據(jù)不足的困境。為了幫助模型走出這一困境，本文作者同樣試圖挖掘自動(dòng)標(biāo)注數(shù)據(jù)的潛力，使神經(jīng)網(wǎng)絡(luò)模型也能很好地應(yīng)用于 AMR 指代消融任務(wù)中。

模型結(jié)構(gòu)

本文研究的基準(zhǔn)模型稱為 AMRCoref，是一個(gè)直接在 AMR 圖譜上計(jì)算指代聚類的模型。整個(gè)模型由節(jié)點(diǎn)編碼、圖譜編碼、概念識(shí)別與指代聚類四個(gè)階段組成，其中概念識(shí)別需要確定 AMR 中各個(gè)節(jié)點(diǎn)的類別（功能詞、實(shí)體、動(dòng)詞等），而指代聚類就專注于判斷節(jié)點(diǎn)之間有無(wú)指代關(guān)聯(lián)——模型正是基于后面這兩個(gè)階段的損失函數(shù)訓(xùn)練的。

為了讓模型能學(xué)習(xí)帶有噪聲的自動(dòng)標(biāo)注數(shù)據(jù)，本文將 AMRCoref 中圖譜編碼采用的 GRN 替換為變分圖自編碼器（VGAE）。VGAE 由一個(gè)局部圖編碼器和一個(gè)局部圖解碼器組成，其中前者與 AMRCoref 的圖譜編碼階段作用相同，利用 GCN、GAT 或 GRN 將各個(gè)節(jié)點(diǎn)的編碼相互融合；后者則通過(guò)點(diǎn)積等運(yùn)算試圖重建 AMR 的邊集——解碼器的目標(biāo)正是要讓邊集重建損失以及變分限制懲罰之和最小。

新的 VGAE-AMRCoref 模型有兩種訓(xùn)練方式：直接訓(xùn)練和圖編碼預(yù)訓(xùn)練。直接訓(xùn)練法與原始的 AMRCoref 基本相同，只是額外增加了 VGAE 的解碼器損失；圖編碼預(yù)訓(xùn)練則只考慮解碼器損失，預(yù)訓(xùn)練完畢后再針對(duì)下游任務(wù)精調(diào)。

實(shí)驗(yàn)設(shè)計(jì)

本文選擇了 MS-AMR 基準(zhǔn)測(cè)試作為訓(xùn)練集和主測(cè)試集，并在小王子（LP）數(shù)據(jù)集上測(cè)試了跨領(lǐng)域性能；圖編碼預(yù)訓(xùn)練采用 AMR 3.0（下文稱 AMR-gold）數(shù)據(jù)集。為了檢驗(yàn)?zāi)Ｐ屠米詣?dòng)標(biāo)注數(shù)據(jù)的能力，作者額外為 AMR-gold 的每個(gè)句子自動(dòng)生成了 AMR 圖譜，組成同樣用于預(yù)訓(xùn)練的 AMR-silver 數(shù)據(jù)集。指代消融的評(píng)測(cè)指標(biāo)由 MUC、B3 和 CEAF-phi4 的 F-1 分?jǐn)?shù)組成。

根據(jù)驗(yàn)證集上的實(shí)驗(yàn)結(jié)果，VGAE-AMRCoref 模型采用 GAT 作為圖編碼器。參與比較的模型包括一個(gè)基于節(jié)點(diǎn)字符串匹配的規(guī)則模型、一個(gè)結(jié)合文本指代消融與 AMR 對(duì)齊的模型和 AMRCoref；此外，AMRCoref 和 VGAE-AMRCoref 的節(jié)點(diǎn)編碼均考慮包含 BERT 編碼與不包含兩個(gè)版本。所有實(shí)驗(yàn)結(jié)果均取 5 個(gè)隨機(jī)種子下的平均值。

結(jié)果及分析

下圖展示了各個(gè)模型在兩個(gè)不同的測(cè)試集上的指代消融性能。即使是未經(jīng)過(guò)預(yù)訓(xùn)練階段的 VGAE-AMRCoref，其性能也與 AMRCoref 相當(dāng)；而加入預(yù)訓(xùn)練任務(wù)后，模型性能得到了顯著提升，特別是在跨領(lǐng)域數(shù)據(jù)集上表現(xiàn)突出。另外，在節(jié)點(diǎn)編碼中引入 BERT 編碼可以讓模型略有改進(jìn)，但并不明顯。

此外，本文作者還進(jìn)行了若干消融實(shí)驗(yàn)。下圖顯示了采用不同版本解碼器損失的實(shí)驗(yàn)結(jié)果，可見(jiàn)無(wú)論是邊集重建損失亦或變分限制懲罰都能改進(jìn)模型性能，且后者的效果更好一些。

圖編碼器層數(shù)與模型性能的關(guān)系如下圖所示，不難發(fā)現(xiàn)圖神經(jīng)網(wǎng)絡(luò)中常見(jiàn)的過(guò)平滑現(xiàn)象依然存在——當(dāng)編碼器超過(guò) 3 層時(shí)，模型性能開(kāi)始下降——這與 AMRCoref 的實(shí)驗(yàn)結(jié)果一致。

最后，下圖比較了將不同規(guī)模的 AMR-gold 與 AMR-silver 作為預(yù)訓(xùn)練數(shù)據(jù)集時(shí)模型的效果?？傮w而言，越多的預(yù)訓(xùn)練數(shù)據(jù)能帶來(lái)越高的分?jǐn)?shù)，對(duì)兩個(gè)數(shù)據(jù)集而言都是如此。盡管自動(dòng)標(biāo)注的 AMR-silver 在小數(shù)據(jù)量時(shí)會(huì)稍微降低模型性能，但只要數(shù)據(jù)量達(dá)到一定水平，自動(dòng)標(biāo)注數(shù)據(jù)依然能帶來(lái)可觀的提升。作者在此也提出，如果能用更大規(guī)模的語(yǔ)料庫(kù)與更好的 AMR 解析模型，那么采用自動(dòng)標(biāo)注數(shù)據(jù)預(yù)訓(xùn)練的 VGAE-AMRCoref 仍然存在提升空間。

研究動(dòng)機(jī)

長(zhǎng)期以來(lái)，數(shù)據(jù)增強(qiáng)技術(shù)（Data Augmentation，DA）在自然語(yǔ)言處理領(lǐng)域的應(yīng)用都不算多。一方面，易于存儲(chǔ)的文本數(shù)據(jù)確實(shí)能以語(yǔ)料庫(kù)的形式提供大量樣本；但另一方面，目前的方法大部分難以在合理性與多樣性之間達(dá)到平衡——基于單詞的數(shù)據(jù)增強(qiáng)（如增刪調(diào)換）很容易造出病句或矛盾句，而基于句子的數(shù)據(jù)增強(qiáng)（如往復(fù)翻譯）則難以創(chuàng)造多變的句式，容易導(dǎo)致過(guò)擬合。

為了找到兼顧合理性與多樣性的數(shù)據(jù)增強(qiáng)方法，本文作者將目光轉(zhuǎn)向了 AMR。AMR 不限制語(yǔ)法的設(shè)定使得單個(gè) AMR 圖譜能夠生成多種句式不同的句子，而且在一定范圍內(nèi)修改 AMR 并不會(huì)顯著影響其語(yǔ)義。這些特性就使得 AMR 成為了自然語(yǔ)言數(shù)據(jù)增強(qiáng)的有力中介。

AMR 數(shù)據(jù)增強(qiáng)

AMR 數(shù)據(jù)增強(qiáng)（AMR-DA）包括三個(gè)階段：首先需要將文本語(yǔ)料解析為 AMR 圖譜，然后根據(jù)需求在 AMR 圖譜上作少量修改，最后從修改后的 AMR 圖譜生成新的文本。其中，AMR 解析模型選擇上文提到的 SPRING 模型，而 AMR 生成模型則采用了基于 T5 的預(yù)訓(xùn)練文本生成模型。

需要特別介紹的是 AMR 圖譜的修改操作，包括不修改（Ori）、隨機(jī)調(diào)換（RS）、隨機(jī)刪除（RD）、隨機(jī)插入（RI）和同義詞替換（SR）五種操作。

不修改操作即保持原有的 AMR 圖譜不變，單純利用生成模型實(shí)現(xiàn)文本改寫(xiě)；

隨機(jī)調(diào)換每次將兩個(gè)概念節(jié)點(diǎn)連同其連邊交換，重復(fù)若干次；

隨機(jī)刪除每次刪除一個(gè)葉子節(jié)點(diǎn)及其連邊，重復(fù)若干次；

隨機(jī)插入每次從一個(gè)節(jié)點(diǎn)對(duì)庫(kù)中挑選一對(duì)連邊節(jié)點(diǎn)對(duì)插入，重復(fù)若干次，節(jié)點(diǎn)對(duì)庫(kù)是從 AMR 2.0 中提取并篩去不合適的連邊節(jié)點(diǎn)對(duì)組成的；

同義詞替換每次選擇一個(gè)概念節(jié)點(diǎn)，并用 PPDB 同義詞庫(kù)中的某個(gè)同義詞替換，重復(fù)若干次。

語(yǔ)義相似度實(shí)驗(yàn)

本文作者首先在語(yǔ)義相似度（Semantic Textual Similarity，STS）任務(wù)上進(jìn)行實(shí)驗(yàn)。STS 要求計(jì)算句子對(duì)的語(yǔ)義相似度，在矛盾學(xué)習(xí)（一種無(wú)監(jiān)督句級(jí)表示學(xué)習(xí)方法）中有重要應(yīng)用；在這個(gè)任務(wù)中，自然語(yǔ)言數(shù)據(jù)增強(qiáng)可以提供相似度高的正例。為了檢驗(yàn)各種數(shù)據(jù)增強(qiáng)方法在 STS 上的效果，本文選取了無(wú)監(jiān)督的 ConSERT 和 SimCSE 兩個(gè) STS 模型用于比較，并將原始模型采用的數(shù)據(jù)增強(qiáng)替換為 AMR-DA。所有模型都采用維基百科語(yǔ)料訓(xùn)練，并在 7 個(gè)不同的 STS 基準(zhǔn)數(shù)據(jù)集上測(cè)試。

以下是各種修改操作的實(shí)驗(yàn)結(jié)果，可見(jiàn)所有操作單獨(dú)應(yīng)用時(shí)都能超過(guò)原版 ConSERT 采用的單詞級(jí) DA。其中，不修改的提升效果最明顯，后續(xù)實(shí)驗(yàn)表明這是由于這一操作可以生成相似度更高的句子對(duì)。值得留意的是，上述實(shí)驗(yàn)顯示同義詞替換可以帶來(lái)最大的詞法多樣性，但這一方法同樣可以有效改進(jìn)模型訓(xùn)練。

下圖進(jìn)一步比較了各種模型的測(cè)試性能，可以看到采用 AMR-DA 后，模型性能有了明顯提升，基本達(dá)到了領(lǐng)先水平。需要指出的是，ESimCSE 模型不僅有正例增強(qiáng)，還采用了負(fù)例增強(qiáng)，而 AMR-DA 雖然只能提供正例增強(qiáng)，但依然可以與之匹敵。

文本分類實(shí)驗(yàn)

相比于語(yǔ)義相似度，文本分類（Text Classification，TC）的應(yīng)用要廣泛得多，因此本文作者同樣在若干文本分類任務(wù)上測(cè)試了各種數(shù)據(jù)增強(qiáng)技術(shù)在 CNN、RNN、BERT 等神經(jīng)網(wǎng)絡(luò)模型上的效果。針對(duì)同一種 DA 的所有實(shí)驗(yàn)均采用相同的配置，且只應(yīng)用于訓(xùn)練集的一個(gè)子集上。此外，實(shí)驗(yàn)分別測(cè)試了每個(gè)樣本應(yīng)用一處和五處修改時(shí)模型的性能。

下圖展示了 TC 任務(wù)上的實(shí)驗(yàn)結(jié)果，其中 EDA 直接在文本上應(yīng)用類似 AMR-DA 的修改，而 AEDA 是 EDA 的一種改進(jìn)版本。結(jié)果顯示，無(wú)論何種網(wǎng)絡(luò)、何種任務(wù)，AMR-DA 都取得了比其它 DA 更高的分?jǐn)?shù)，并且同時(shí)采用五種修改方式的提升比單獨(dú)采用一種更大。

當(dāng)限制模型訓(xùn)練集大小時(shí)，模型性能的變化如下圖所示，可見(jiàn) AMR-DA 在各種訓(xùn)練集大小下都超過(guò)了 EDA，并且與原始訓(xùn)練集相比有顯著改進(jìn)。

機(jī)理分析

在上述兩個(gè)任務(wù)上實(shí)驗(yàn)之后，本文作者嘗試從多個(gè)角度分析 AMR-DA 的優(yōu)勢(shì)。下圖列出了不做任何 AMR 修改時(shí) AMR-DA（以下稱為 AMR-Ori）的效果，即只考慮了 AMR 圖譜帶來(lái)的句式多樣性?？梢钥吹剑瑑H僅是通過(guò)解析-生成的方式改寫(xiě)句子，AMR-Ori 就已經(jīng)表現(xiàn)良好，并且不同生成模型對(duì)結(jié)果影響并不算大。

為了進(jìn)一步考察 AMR-DA 帶來(lái)的變化，下圖展示了 STS 任務(wù)中 SimCSE 編碼在不斷學(xué)習(xí)的過(guò)程中對(duì)齊性（正例的相似程度）與統(tǒng)一性（隨機(jī)樣本的分散程度）的發(fā)展，其中兩個(gè)指標(biāo)的值越低，編碼效果越好。對(duì)原版 SimCSE 而言，學(xué)習(xí)過(guò)程中雖然統(tǒng)一性指標(biāo)確實(shí)在不斷下降，但對(duì)齊性指標(biāo)未能進(jìn)一步改進(jìn)；而采用 AMR-DA 后，模型在兩個(gè)指標(biāo)上都優(yōu)于原版模型，且隨著新數(shù)據(jù)的學(xué)習(xí)均有下降。

最后，下圖比較了 AMR-Ori 和往復(fù)翻譯生成句子對(duì)的相似度分布。兩種方法都可以視為對(duì)原文的改寫(xiě)，但 AMR-Ori 的句子多樣性要顯著高于往復(fù)翻譯。這也解釋了為什么在 STS 任務(wù)中，往復(fù)翻譯效果糟糕，但 AMR-Ori 卻表現(xiàn)良好。

審核編輯：劉清