神經(jīng)網(wǎng)絡(luò)、機(jī)器翻譯、情感分類和自動(dòng)評(píng)論等研究方向的5篇論文

第 56 屆計(jì)算語言學(xué)協(xié)會(huì)年會(huì)ACL 2018將于當(dāng)?shù)貢r(shí)間7月15-20日在澳大利亞墨爾本舉辦。騰訊AI Lab 今年共有5 篇論文入選，涉及到神經(jīng)機(jī)器翻譯、情感分類和自動(dòng)評(píng)論等研究方向。下面將介紹這 5 篇論文的研究?jī)?nèi)容。

1、通往魯棒的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯指路（Towards Robust Neural MachineTranslation）

論文地址：https://arxiv.org/abs/1805.06130

在神經(jīng)機(jī)器翻譯（NMT）中，由于引入了循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和注意機(jī)制，上下文中的每個(gè)詞都可能影響模型的全局輸出結(jié)果，這有些類似于“蝴蝶效應(yīng)”。也就是說，NMT對(duì)輸入中的微小擾動(dòng)極其敏感，比如將輸入中某個(gè)詞替換成其近義詞就可能導(dǎo)致輸出結(jié)果發(fā)生極大變化，甚至修改翻譯結(jié)果的極性。針對(duì)這一問題，研究者在本論文中提出使用對(duì)抗性穩(wěn)定訓(xùn)練來同時(shí)增強(qiáng)神經(jīng)機(jī)器翻譯的編碼器與解碼器的魯棒性。

上圖給出了該方法的架構(gòu)示意，其工作過程為：給定一個(gè)輸入句子x，首先生成與其對(duì)應(yīng)的擾動(dòng)輸入x'，接著采用對(duì)抗訓(xùn)練鼓勵(lì)編碼器對(duì)于x 和x' 生成相似的中間表示，同時(shí)要求解碼器端輸出相同的目標(biāo)句子y。這樣能使得輸入中的微小擾動(dòng)不會(huì)導(dǎo)致目標(biāo)輸出產(chǎn)生較大差異。

研究者在論文中提出了兩種構(gòu)造擾動(dòng)輸入的方法。第一種是在特征級(jí)別（詞向量）中加入高斯噪聲；第二種是在詞級(jí)別中用近義詞來替換原詞。

研究表明，該框架可以擴(kuò)展應(yīng)用于各種不同的噪聲擾動(dòng)并且不依賴于特定的 NMT 架構(gòu)。實(shí)驗(yàn)結(jié)果表明該方法能夠同時(shí)增強(qiáng)神經(jīng)機(jī)器翻譯模型的魯棒性和翻譯質(zhì)量，下表給出了在NIST 漢語-英語翻譯任務(wù)上的大小寫不敏感 BLEU 分?jǐn)?shù)。

可以看到，研究者使用極大似然估計(jì)（MLE）訓(xùn)練的 NMT 系統(tǒng)優(yōu)于其它最好模型大約3 BLEU。

2、hyperdoc2vec：超文本文檔的分布式表示（hyperdoc2vec:Distributed Representations of Hypertext Documents）

論文地址：https://arxiv.org/abs/1805.03793

現(xiàn)實(shí)世界中很多文檔都具有超鏈接的結(jié)構(gòu)。例如，維基頁面（普通網(wǎng)頁）之間通過URL互相指向，學(xué)術(shù)論文之間通過引用互相指向。超文檔的嵌入（embedding）可以輔助相關(guān)對(duì)象（如實(shí)體、論文）的分類、推薦、檢索等問題。然而，針對(duì)普通文檔的傳統(tǒng)嵌入方法往往偏重建模文本/鏈接網(wǎng)絡(luò)中的一個(gè)方面，若簡(jiǎn)單運(yùn)用于超文檔，會(huì)造成信息丟失。

本論文提出了超文檔嵌入模型在保留必要信息方面應(yīng)滿足的四個(gè)標(biāo)準(zhǔn)并且表明已有的方法都無法同時(shí)滿足這些標(biāo)準(zhǔn)。這些標(biāo)準(zhǔn)分別為：

內(nèi)容感知度（content awareness）：超文檔的內(nèi)容自然在描述該超文檔方面起主要作用

上下文感知度（context awareness）：超鏈接上下文通常能提供目標(biāo)文檔的總結(jié)歸納

新信息友好度（newcomer friendliness）：對(duì)于沒有被其它任何文檔索引的文檔，需要采用適當(dāng)?shù)姆绞降玫剿鼈兊那度?/p>

語境意圖感知度（context intent awareness）：超鏈接周圍的“evaluate... by”這樣的詞通常指示了源超文檔使用該引用的原因

為此，研究者提出了一種新的嵌入模型hyperdoc2vec。不同于大多數(shù)已有方法，hyperdoc2vec會(huì)為每個(gè)超文檔學(xué)習(xí)兩個(gè)向量，以表征其引用其它文檔的情況和被引用的情況。因此，hyperdoc2vec可以直接建模超鏈接或引用情況，而不損失其中包含的信息。下面給出了hyperdoc2vec 模型示意圖：

為了評(píng)估所學(xué)習(xí)到的嵌入，研究者在三個(gè)論文領(lǐng)域數(shù)據(jù)集以及論文分類和引用推薦兩個(gè)任務(wù)上系統(tǒng)地比較了hyperdoc2vec 與其它方法。模型分析和實(shí)驗(yàn)結(jié)果都驗(yàn)證了hyperdoc2vec 在以上四個(gè)標(biāo)準(zhǔn)下的優(yōu)越性。下表展示了在DBLP 上的 F1 分?jǐn)?shù)結(jié)果：

可以看到，添加了 DeepWalk 信息后基本都能得到更優(yōu)的結(jié)果；而不管是否使用了 DeepWalk，hyperdoc2vec的結(jié)果都是最優(yōu)的。

3、TNet：面向評(píng)論目標(biāo)的情感分類架構(gòu)（TransformationNetworks for Target-Oriented Sentiment Classification）

論文地址：https://arxiv.org/abs/1805.01086

開源項(xiàng)目：https://github.com/lixin4ever/TNet

面向評(píng)論目標(biāo)（opinion target）的情感分類任務(wù)是為了檢測(cè)用戶對(duì)于給定評(píng)論實(shí)體的情感傾向性。直觀上來說，帶注意機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）很適合處理這類任務(wù)，以往的工作也表明基于這類模型的工作確實(shí)取得了很好的效果。

研究者在這篇論文中嘗試了一種新思路，即用卷積神經(jīng)網(wǎng)絡(luò)（CNN）替代基于注意機(jī)制的RNN去提取最重要的分類特征。

由于CNN 很難捕捉目標(biāo)實(shí)體信息，所以研究者設(shè)計(jì)了一個(gè)特征變換組件來將實(shí)體信息引入到單詞的語義表示當(dāng)中。但這個(gè)特征變換過程可能會(huì)使上下文信息丟失。針對(duì)這一問題，研究者又提出了一種“上下文保留”機(jī)制，可將帶有上下文信息的特征和變換之后的特征結(jié)合起來。

綜合起來，研究者提出了一種名為目標(biāo)特定的變換網(wǎng)絡(luò)（TNet）的新架構(gòu)，如下左圖所示。其底部是一個(gè)BiLSTM，其可將輸入變換成有上下文的詞表示（即 BiLSTM 的隱藏狀態(tài)）。其中部是TNet 的核心部分，由 L 個(gè)上下文保留變換（CPT）層構(gòu)成。最上面的部分是一個(gè)可感知位置的卷積層，其首先會(huì)編碼詞和目標(biāo)之間的位置相關(guān)性，然后提取信息特征以便分類。

右圖則展示了一個(gè)CPT 模塊的細(xì)節(jié)，其中有一個(gè)全新設(shè)計(jì)的TST 組件，可將目標(biāo)信息整合進(jìn)詞表示中。此外，其中還包含一個(gè)上下文保留機(jī)制。

研究者在三個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上評(píng)估了新提出的框架，結(jié)果表明新方法的準(zhǔn)確率和F1值全面優(yōu)于已有方法；下表給出了詳細(xì)的實(shí)驗(yàn)結(jié)果。

本研究的相關(guān)代碼已經(jīng)開源。

4、兼具領(lǐng)域適應(yīng)和情感感知能力的詞嵌入學(xué)習(xí)（Learning Domain-Sensitive andSentiment-Aware Word Embeddings）

論文地址：https://arxiv.org/abs/1805.03801

詞嵌入是一種有效的詞表示方法，已被廣泛用于情感分類任務(wù)中。一些現(xiàn)有的詞嵌入方法能夠捕捉情感信息，但是對(duì)于來自不同領(lǐng)域的評(píng)論，它們不能產(chǎn)生領(lǐng)域適應(yīng)的詞向量。另一方面，一些現(xiàn)有的方法可以考慮多領(lǐng)域的詞向量自適應(yīng)，但是它們不能區(qū)分具有相似上下文但是情感極性相反的詞。

在這篇論文中，研究者提出了一種學(xué)習(xí)領(lǐng)域適應(yīng)和情感感知的詞嵌入（DSE）的新方法，可同時(shí)捕獲詞的情感語義和領(lǐng)域信息。本方法可以自動(dòng)確定和生成領(lǐng)域無關(guān)的詞向量和領(lǐng)域相關(guān)的詞向量。模型可以區(qū)分領(lǐng)域無關(guān)的詞和領(lǐng)域相關(guān)的詞，從而使我們可以利用來自于多個(gè)領(lǐng)域的共同情感詞的信息，并且同時(shí)捕獲來自不同領(lǐng)域的領(lǐng)域相關(guān)詞的不同語義。

在 DSE 模型中，研究者為詞匯表中的每個(gè)詞都設(shè)計(jì)了一個(gè)用于描述該詞是領(lǐng)域無關(guān)詞的概率的分布。這個(gè)概率分布的推理是根據(jù)所觀察的情感和上下文進(jìn)行的。具體而言，其推理算法結(jié)合了期望最大化（EM）方法和一種負(fù)采樣方案，其過程如下算法1 所示。

其中，E 步驟使用了貝葉斯規(guī)則來評(píng)估每個(gè)詞的 zw（一個(gè)描述領(lǐng)域相關(guān)性的隱變量）的后驗(yàn)分布以及推導(dǎo)目標(biāo)函數(shù)。而在M 步驟中則會(huì)使用梯度下降法最大化該目標(biāo)函數(shù)并更新相應(yīng)的嵌入。

研究者在一個(gè)亞馬遜產(chǎn)品評(píng)論數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，下表給出了評(píng)論情感分類的實(shí)驗(yàn)結(jié)果：

實(shí)驗(yàn)結(jié)果表明，本工作提供了一個(gè)有效的學(xué)習(xí)兼具領(lǐng)域適應(yīng)和情感感知能力的詞嵌入的方法，并提高了在句子層面和詞匯層面的情感分類任務(wù)的性能。

5、自動(dòng)評(píng)論文章：任務(wù)和數(shù)據(jù)集（Automatic Article Commenting: theTask and Dataset）

論文地址：https://arxiv.org/abs/1805.03668

公開數(shù)據(jù)集：https://ai.tencent.com/upload/PapersUploads/article_commenting.tgz

在線文章的評(píng)論可以提供延伸的觀點(diǎn)以及提升用戶的參與度。因而，自動(dòng)產(chǎn)生評(píng)論正成為在線論壇和智能聊天機(jī)器人中的一個(gè)很有價(jià)值的功能。

本論文提出了一個(gè)新的自動(dòng)評(píng)論文章任務(wù)，并為這個(gè)任務(wù)構(gòu)建了一個(gè)大規(guī)模的中文數(shù)據(jù)集：它包含數(shù)百萬條真實(shí)評(píng)論和一個(gè)人工標(biāo)注的、能夠表達(dá)評(píng)論質(zhì)量的子集。下圖給出了這個(gè)數(shù)據(jù)集的統(tǒng)計(jì)信息和分類情況：

這個(gè)數(shù)據(jù)集是從騰訊新聞（news.qq.com）收集的。其中每個(gè)實(shí)例都有一個(gè)標(biāo)題以及文章的文本內(nèi)容，還有一組讀者評(píng)論及輔助信息（sideinformation），該輔助信息中包含編輯為該文章劃分的類別以及每個(gè)評(píng)論獲得的用戶點(diǎn)贊數(shù)。

研究者爬取了 2017 年 4 月到 8 月的新聞文章及相關(guān)內(nèi)容，然后使用Python 庫Jieba 對(duì)所有文本進(jìn)行了token 化，并過濾掉了文本少于 30 詞的短文章和評(píng)論數(shù)少于 20 的文章。所得到的語料又被分成了訓(xùn)練集、開發(fā)集和測(cè)試集。該數(shù)據(jù)集的詞匯庫大小為1858452。文章標(biāo)題和內(nèi)容的平均長(zhǎng)度分別為 15 和 554 中文詞（不是漢字）。平均評(píng)論長(zhǎng)度為17 詞。輔助信息方面，每篇文章都關(guān)聯(lián)了44 個(gè)類別中的一個(gè)。每條評(píng)論的點(diǎn)贊數(shù)量平均在 3.4-5.9 之間，盡管這個(gè)數(shù)字看起來很小，但該分布表現(xiàn)出了長(zhǎng)尾模式——受歡迎的評(píng)論的點(diǎn)贊數(shù)可達(dá)成千上萬。

該數(shù)據(jù)集已開放下載。

通過引入評(píng)論質(zhì)量的人工偏好，本論文還提出了多個(gè)自動(dòng)評(píng)價(jià)度量（W-METEOR、W-BLEU、W-ROUGE、W-CIDEr），它們拓展了現(xiàn)有主流的基于參考答案的度量方法而且它們獲得了與人類評(píng)價(jià)更好的相關(guān)度。研究者也演示了該數(shù)據(jù)集和相關(guān)評(píng)價(jià)度量在檢索和生成模型上的應(yīng)用。