自然語言推理數(shù)據(jù)集“人工痕跡”嚴重，模型性能被高估

編者按：自然語言推理所用的數(shù)據(jù)集再近年得到了研究和發(fā)展，但是在本文中，來自華盛頓大學、卡內(nèi)基梅隆大學和紐約大學等機構(gòu)的研究人員發(fā)現(xiàn)，這些數(shù)據(jù)集中不可避免出現(xiàn)了明顯的“人工痕跡”，使得模型的表現(xiàn)被高估了，評估自然語言推理模型的問題仍然存在。以下是論智的編譯。

自然語言推理是NLP領(lǐng)域被廣泛研究的領(lǐng)域之一，有了這一技術(shù)，許多復雜的語義任務如問題回答和文本總結(jié)都能得到解決。而用于自然語言推理的大規(guī)模數(shù)據(jù)集是通過向眾包工作者提供一個句子（前提）p，然后讓他們創(chuàng)作出三個新的與之相關(guān)的句子（假設(shè)）h創(chuàng)造出來的。自然語言推理的目的就是判斷是否能根據(jù)p的語義推斷出h。我們證明，利用這種方法，使得數(shù)據(jù)中的很大一部分只需查看新生成的句子，無需看“前提”，就能了解到數(shù)據(jù)的標簽。具體來說，一個簡單的文本分類模型在SNLI數(shù)據(jù)集上對句子分類的正確率達到了67%，在MultiNLI上的正確率為53%。分析表明，特定的語言現(xiàn)象，比如否定和模糊與某些推理類別非常相關(guān)。所以這一研究表示，目前的自然語言推理模型的成功被高估了，這一問題仍然難以解決。

2015年，Bowman等人通過眾包標記的方法創(chuàng)造了大規(guī)模推斷數(shù)據(jù)集SNLI；2018年，Williams等人又推出了MultiNLI數(shù)據(jù)集。在這一過程中，研究人員從一些語料中抽取某個前提句子p，讓眾包標注者基于p創(chuàng)作三個新句子，創(chuàng)作的句子與p有三種關(guān)系標準：

包含（Entailment）：h與p非常相關(guān)；

中立（Neutral）：h與p可能相關(guān)；

矛盾（Contradiction）：h與p絕對不相關(guān)。

下面是SNLI數(shù)據(jù)集中具體的例子：

在這篇論文中，我們發(fā)現(xiàn)，通過眾包生成的句子人工痕跡太過明顯，以至于分類器無需查看條件句子p就能將其正確分類。下面我們將詳細講解分析過程。

注釋中的“人工痕跡”其實很明顯

我們猜想，注釋任務的框架對眾包人員編寫句子時會產(chǎn)生顯著的影響，這一影響會反映在數(shù)據(jù)中，我們稱之為“人工注釋（annotation artifacts）”。

為了確定這種人為行為對數(shù)據(jù)的影響程度，我們訓練一個模型來預測生成句子的標簽，無需查看前提句子。具體來說，我們使用現(xiàn)成的文本分類器fastText，它可以將文本模型化為許多單詞和二元語法（bigrams），以預測句子的標簽。

下表顯示，每個測試集中大部分數(shù)據(jù)都能在不看前提句子的情況下被正確分類，這也證明了即使不用對自然語言推理建模，分類器也能表現(xiàn)得很好。

人工注釋的特點

之前我們說到，超過一半的MultiNLI數(shù)據(jù)和三分之二的SNLI數(shù)據(jù)都有明顯的人工痕跡，為了從中總結(jié)出它們的特點，我們將對數(shù)據(jù)進行大致分析，重點關(guān)注詞匯的選擇和句子的長度。

詞匯選擇

為了了解特定詞匯的選擇是否會影響句子的分類，我們計算了訓練集中每個單詞和類別之間的點互信息（PMI）：

下表顯示了每個分類中與類別最相關(guān)的幾個單詞，以及訓練語句中包含這些單詞的比例。

相關(guān)句子（Entailment）

與前提句子完全相關(guān)的生成句子都含有通用詞匯，如動物、樂器和戶外等，這些詞語還有可能衍生出更具體的詞語例如小狗、吉他、沙灘等等。另外，這些據(jù)此都會用確切的數(shù)字代替近似值（一些、至少、各種等等），并且會移除明確的性別。有些還會帶有具體的環(huán)境，例如室內(nèi)或室外，這些都是SNLI數(shù)據(jù)集中圖片的個性特征。

中立句子

中立關(guān)系的句子中，最常見的就是修飾詞（高、悲傷、受歡迎）和最高級詞語（第一、最愛、最多）。除此之外，中立句子比較常見的是原因和目的從句，例如因為。

不相關(guān)句子

否定詞例如“沒有人”、“不”、“從不”、“沒有”等都是不相關(guān)句子的常見詞語。

句子長度

我們發(fā)現(xiàn)，生成句子中tokens的數(shù)量在不同的推理類別中并不是平均分配的。下圖顯示，中性的句子中token往往較長，而相關(guān)句子往往較短。句子長度的差異可能表明，眾包工作者在生成相關(guān)句子時只是簡單地從前提句子p中刪除了幾個單詞。而事實上，當每個句子都用bag of words表示時，SNLI中有8.8%的相關(guān)生成句子完全包含在前提句子之中，而只有0.2%的中性和矛盾句子包含前提。

結(jié)論

通過觀察結(jié)果，并對比其他人工注釋分析，我們得到了三個主要結(jié)論。

很多數(shù)據(jù)集都包含有“人工痕跡”

監(jiān)督模型需要利用人工注釋。Levy等人證明了監(jiān)督詞匯推理模型在很大程度上以來數(shù)據(jù)集中人工生成的詞匯。

人工注釋會高估模型性能。大多數(shù)測試集都能單獨依靠人工注釋解決問題，所以我們鼓勵開發(fā)額外的標準，能夠給讓人了解NLI模型的真實性能。