NLP界的“神話”并沒那么神？

曾經(jīng)狂掃11項記錄的谷歌NLP模型BERT，近日遭到了網(wǎng)友的質(zhì)疑：該模型在一些基準(zhǔn)測試中的成功僅僅是因為利用了數(shù)據(jù)集中的虛假統(tǒng)計線索，如若不然，還沒有隨機(jī)的結(jié)果好。這項研究已經(jīng)在Reddit得到了廣泛的討論。

NLP神話被質(zhì)疑。

自去年谷歌發(fā)布BERT以來，這個曾狂破11項紀(jì)錄、全面超越人類的NLP模型就備受關(guān)注，熱度不減。

然而，近日一位Reddit網(wǎng)友卻對此拋出質(zhì)疑：BERT在一些基準(zhǔn)測試中的成功僅僅是因為利用了數(shù)據(jù)集中虛假的統(tǒng)計線索。若是沒有它們，可能還沒有隨機(jī)的結(jié)果好。

Reddit地址：

https://www.reddit.com/r/MachineLearning/comments/cfxpxy/berts_success_in_some_benchmarks_tests_may_be/

這項論文是由***成功大學(xué)的研究人員完成。

論文地址：

https://arxiv.org/pdf/1907.07355.pdf

研究人員表示：

我們驚訝地發(fā)現(xiàn)BERT在參數(shù)推理理解任務(wù)中的峰值性能達(dá)到77％，僅比平均未經(jīng)訓(xùn)練的人類基線低3個點。但是，我們表明這個結(jié)果完全是通過利用數(shù)據(jù)集中的虛假統(tǒng)計線索來解釋的。

我們分析了這些線索的性質(zhì)，并證明了一系列模型都在利用它們。該分析報告了一個對抗性數(shù)據(jù)集的構(gòu)造，所有模型都在該數(shù)據(jù)集上實現(xiàn)隨機(jī)精度。

Reddit網(wǎng)友lysecret對此研究表示：

他認(rèn)為這是一種非常簡單而有效的方法來表明這類模型是不能正確地做到“理解”的，智能利用(不好的)統(tǒng)計線索。然而，對于大多數(shù)人(除了埃隆·馬斯克)來說可能都會認(rèn)為，像BERT這類模型的就是這么做的。

BERT在論證理解方面真的學(xué)到什么了嗎？

論證挖掘是確定自然語言文本中的論證結(jié)構(gòu)的任務(wù)。例如，哪些文本段代表claim，并且包括支持或攻擊這些claim的reason。

對于機(jī)器學(xué)習(xí)者來說，這是一項具有挑戰(zhàn)性的任務(wù)，因為即使是人類也很難確定兩個文本段何時處于爭論關(guān)系中，正如對論證注釋的研究所證明的那樣。解決這個問題的一個方法是專注于warrant(權(quán)證)——一種允許推理的世界知識形式。

考慮一個簡單的論點：“（1）正在下雨；因此（2）你應(yīng)該拿一把傘?！?Warrant“（3）弄濕是不好的”可以許可這個推論。知道（3）有助于得出（1）和（2）之間的推論聯(lián)系。

然而，很難在任何地方找到它，因為warrant通常是隱含的。因此，在這種方法中，機(jī)器學(xué)習(xí)者不僅必須使用warrant進(jìn)行推理，還要發(fā)現(xiàn)它們。

論證推理理解任務(wù)（ARCT）推遲發(fā)現(xiàn)warrant的問題，并側(cè)重于推理。提供了一個包含claim C和reason R的論點。該任務(wù)是在分心器上選擇正確的warrant W，稱為備選warrant A。

該備選方案的書寫方式是R∧A→?C。之前例子的另一種保證可能是“（4）濕是好的”，在這種情況下我們有（1）∧（4）→“（?2）你不應(yīng)該拿傘?！睌?shù)據(jù)集中的一個例子如圖1所示。

圖1：ARCT測試集中的一個數(shù)據(jù)點示例以及如何讀取它。從R和A到?C的推論是通過設(shè)計得出的。

ARCT SemEval共享任務(wù)，驗證了該問題的挑戰(zhàn)性。即使提供warrant，學(xué)習(xí)者仍需要依賴進(jìn)一步的世界知識。

例如，為了正確地對圖1中的數(shù)據(jù)點進(jìn)行分類，至少需要知道消費者選擇和網(wǎng)絡(luò)重定向如何與壟斷概念相關(guān)，并且Google是搜索引擎。除了一個參與系統(tǒng)之外，所有參與共享任務(wù)的系統(tǒng)的準(zhǔn)確度不能超過60%（二進(jìn)制分類）。

因此，令人驚訝的是，BERT以其最佳運行（表1）實現(xiàn)了77％的測試集精度，僅比平均（未訓(xùn)練的）人類基線低3個點。如果沒有為這項任務(wù)提供所需的世界知識，那么期望它表現(xiàn)如此之好似乎是不合理的。這就激發(fā)了一個問題：BERT在論證理解方面學(xué)到了什么？

表1：基線和BERT結(jié)果。我們的結(jié)果來自20個不同的隨機(jī)種子（±給出標(biāo)準(zhǔn)偏差）。BERT Large的平均值受到5/20隨機(jī)種子的影響而不能訓(xùn)練，這是Devlin等人提出的一個問題。因此，我們認(rèn)為中位數(shù)是衡量BERT平均表現(xiàn)的更好指標(biāo)。BERT（大）的非退化運行的平均值為0.716±0.04。

為了研究BERT的決策，工作人員研究了數(shù)據(jù)點，發(fā)現(xiàn)在多次運行中很容易分類。對SemEval提交進(jìn)行了類似的分析，并且與他們的結(jié)果一致，發(fā)現(xiàn)BERT利用了warrant中提示詞的存在，特別是“not”。通過探索旨在隔離這些影響的實驗，研究人員在這項工作中證明了BERT在利用虛假統(tǒng)計線索方面的驚人之處。

但是，結(jié)果表明ARCT是可以消除主要問題的。由于R∧A→?C，我們可以添加每個數(shù)據(jù)點的副本，其中claim被否定并且標(biāo)簽被反轉(zhuǎn)。

這意味著warrant中統(tǒng)計線索的分布將反映在兩個標(biāo)簽上，從而消除了信號。在這種對抗性數(shù)據(jù)集上，所有模型都是隨機(jī)執(zhí)行的，BERT實現(xiàn)了53％的最大測試集精度。

因此，對抗性數(shù)據(jù)集提供了對參數(shù)理解的更可靠的評估，并且應(yīng)該被用作該數(shù)據(jù)集的未來工作的標(biāo)準(zhǔn)。

實驗表明：BERT并不能做出正確“理解”，只能利用統(tǒng)計線索

如果一個模型正在利用標(biāo)簽上的分布線索，那么如果只訓(xùn)練warrant(W)，它應(yīng)該表現(xiàn)得相對較好。

同樣的道理也適用于僅刪除claim、保留reason和warrant(R，W)或刪除reason(C，W)。

后一種設(shè)置允許模型額外考慮reason和claim中的線索，以及與warrant組合相關(guān)的線索。

表3用BERT Large、BoV和BiLSTM作為基線探測實驗結(jié)果

實驗結(jié)果如表3所示。僅在warrant(W)上，BERT的準(zhǔn)確率最高可達(dá)71%。與其最高峰值的77%差了6個百分點。

而(R，W)比(W)增加了4個百分點，(C，W)增加了2個百分點，這就是剛才說到了那6個百分點。

基于這一證據(jù)，研究人員發(fā)現(xiàn)BERT的全部表現(xiàn)可以通過利用虛假的統(tǒng)計線索來解釋。

對抗性測試集

由于數(shù)據(jù)集的原始設(shè)計，消除了ARCT中標(biāo)簽統(tǒng)計線索的主要問題。

鑒于R∧A→?C，可以通過否定claim并反轉(zhuǎn)每個數(shù)據(jù)點的標(biāo)簽來產(chǎn)生對抗性示例（如圖4所示）。

圖4 原始和對抗數(shù)據(jù)點。claim被否定，warrant被交換。W和A的標(biāo)簽分配保持不變。

然后將對抗性示例與原始數(shù)據(jù)進(jìn)行組合。這通過鏡像兩個標(biāo)簽周圍的提示分布來消除該問題。

驗證和測試集中大多數(shù)claim的否定已經(jīng)存在于數(shù)據(jù)集中的其他地方。剩下的claim被一個以英語為母語的工作人員人工進(jìn)行動否定。

研究人員嘗試了兩種實驗設(shè)置。

首先，在對抗集上評估在原始數(shù)據(jù)上訓(xùn)練和驗證的模型。由于過度擬合原始訓(xùn)練集中的線索，所有結(jié)果都比隨機(jī)差。

其次，模型在對抗性訓(xùn)練和驗證集上從頭開始訓(xùn)練，然后在對抗性測試集上進(jìn)行評估。其結(jié)果如表4所示。

表4 BERT Large在具有對抗性訓(xùn)練和驗證集的對抗性測試集上的結(jié)果。

BERT的峰值性能降低至53％，平均值和中值為50％。從這些結(jié)果中得出結(jié)論，對抗性數(shù)據(jù)集已成功地消除了預(yù)期的線索，從而提供了對機(jī)器參數(shù)理解的更可靠的評估。

這一結(jié)果更符合研究人員對這個任務(wù)的直覺：由于對這些論點背后的現(xiàn)實知之甚少或一無所知，良好的表現(xiàn)應(yīng)該是不可行的。

任務(wù)描述、基線、BERT與統(tǒng)計線索

任務(wù)描述和基線

設(shè)t i = 1, . . . ，n索引數(shù)據(jù)集D中的每個點，其中| D | = n。在每種情況下，兩個候選warrant被隨機(jī)分配二進(jìn)制標(biāo)簽j ∈ {0, 1}，使得每個具有相同的正確概率。輸入是c（i）的表示，reason r（i），保證零w0（i），并且保證一個w1(i)。標(biāo)簽y（i）是對應(yīng)于正確授權(quán)的二進(jìn)制指示符。所有模型的一般體系結(jié)構(gòu)如圖2所示。學(xué)習(xí)共享參數(shù)θ以獨立地使用參數(shù)對每個warrant進(jìn)行分類，得到 logit：

zj（i）=θ[c（i）;r（i）;wj(i)]

然后將它們連接起來并通過softmax以確定兩個warrant上的概率分布p（i）= softmax（[z0（i），z1（i）]）。那么預(yù)測是y（i）= arg maxjp（i）。基線是一包載體（BoV），雙向LSTM（BiLSTM），SemEval獲勝者GIST，Botschen等人的最佳模型，人類表現(xiàn)（表1）。對于我們的所有實驗，我們使用網(wǎng)格搜索來選擇超參數(shù)，退出正則化和Adam進(jìn)行優(yōu)化。當(dāng)驗證準(zhǔn)確度下降時，我們將學(xué)習(xí)率anneal1/10。最終參數(shù)來自具有最大驗證精度的epoch。BoV和BiLSTM輸入是在640B上訓(xùn)練的300維GloVe嵌入。GitHub上提供了重現(xiàn)所有實驗和詳細(xì)說明所有超參數(shù)的代碼。（https://github.com/IKMLab/arct2）

圖2：我們實驗中模型的一般架構(gòu)。為每對argument-warrant獨立計算 logit，然后連接并通過softmax傳遞。

BERT

我們的BERT分類器如圖3所示。claim和reason連接在一起形成第一個文本段，與每個warrant配對并獨立處理。將最終層CLS向量傳遞到線性層以獲得對數(shù)zj（i）。整個架構(gòu)都經(jīng)過精心調(diào)整。學(xué)習(xí)率為2e-5，我們允許最多20個訓(xùn)練期，從最佳驗證集準(zhǔn)確度的時期獲取參數(shù)。我們使用Hugging Face PyTorch實現(xiàn)。

圖3：使用BERT處理參數(shù)一對argument-warrant。reason（長度為a的單詞）和claim（長度b）一起形構(gòu)成第一句話，而warrant（長度c）是第二句。然后將最終的CLS矢量傳遞到線性層以計算 logit zj（i）。

Devlin et al.報告說，在小型數(shù)據(jù)集上，BERT有時無法訓(xùn)練，產(chǎn)生退化的結(jié)果。ARCT非常小，有1210次訓(xùn)練觀察。在5/20運行中，我們遇到了這種現(xiàn)象，在驗證和測試集上看到接近隨機(jī)精度。這些情況發(fā)生在訓(xùn)練準(zhǔn)確性也不明顯高于隨機(jī)（<80％）的情況下。除去退化曲線，BERT的平均值為71.6±0.04。這將超過先前的技術(shù)水平 - 中位數(shù)為71.2％，這是一個比整體平均值更好的平均值，因為它不受退化情況的影響。但是，我們的主要發(fā)現(xiàn)是這些結(jié)果沒有意義，應(yīng)該被丟棄。在接下來的部分中，我們將重點放在BERT的77％峰值性能上。

統(tǒng)計線索

ARCT中虛假統(tǒng)計線索的主要來源是標(biāo)簽的不均勻分布。接下來便將展示這些線索的存在和性質(zhì)。

雖然可能存在更為復(fù)雜的線索，但是研究人員只考慮了一元圖和二元圖的情況。

研究人員的目標(biāo)是計算模型利用線索k的有益程度，以及它在數(shù)據(jù)集中的普遍程度(表示信號的強(qiáng)度)。

首先，定義幾個概念：

線索的適應(yīng)性(applicability)：αk，定義為在一個標(biāo)簽上出現(xiàn)的數(shù)據(jù)點數(shù)；

線索的生產(chǎn)率(productivity)：πk，定義為預(yù)測正確答案的適用數(shù)據(jù)點的比例；

線索的覆蓋率(coverage)：ξk，定義為適用情況占數(shù)據(jù)點總數(shù)的比例。

表2 適用“not”在warrant中的存在來預(yù)測ARCT中標(biāo)簽的生產(chǎn)率和覆蓋率。

表2給出了研究人員發(fā)現(xiàn)的最強(qiáng)的unigram線索(“not”)的生產(chǎn)率和覆蓋率。它提供了一個特別強(qiáng)的訓(xùn)練信號。雖然它在測試集中的效率較低，但它只是許多這樣的線索之一。

研究人員還發(fā)現(xiàn)了許多其他的unigram，盡管總體生產(chǎn)率較低，但大多數(shù)是高頻詞，如“is”、“do”和“are”。與“not”連用的bigram，如“will not”和“can”，也被發(fā)現(xiàn)是高效的。