對2017年NLP領(lǐng)域中深度學(xué)習(xí)技術(shù)應(yīng)用的總結(jié)

在過去幾年，深度學(xué)習(xí)（DL）的架構(gòu)和算法在很多領(lǐng)域都取得了里程碑似的進展，例如圖像識別和語言處理。

起初，深度學(xué)習(xí)在自然語言處理（NLP）中的應(yīng)用并不起眼，但后來卻出現(xiàn)了許多重量級的成果，例如命名實體識別（NER）、詞性標注（POS tagging）或文本情感分析（sentiment analysis）等都是神經(jīng)網(wǎng)絡(luò)模型超越傳統(tǒng)模型的方法。然而，機器翻譯領(lǐng)域所取得的進步才是最顯著的。

本文作者Javier Couto是tryo labs公司的一名研發(fā)科學(xué)家，專注于NLP技術(shù)。這篇文章是他對2017年NLP領(lǐng)域中深度學(xué)習(xí)技術(shù)應(yīng)用的總結(jié)，也許并不全面，但都是他認為有價值、有意義的成果。Couto表示，2017年是對NLP領(lǐng)域非常有意義的一年，隨著深度學(xué)習(xí)的應(yīng)用，NLP技術(shù)也將繼續(xù)發(fā)展下去。

從訓(xùn)練word2vec到使用預(yù)先訓(xùn)練的模型

通常來說，詞嵌入（word embeddings）是與NLP相關(guān)的最有名的深度學(xué)習(xí)技術(shù)了，它遵循了Harris提出的分布假想（distributional hypothesis），分布假想源自于語言學(xué)中的語義學(xué)原理，即認為出現(xiàn)在相似的上下文環(huán)境中的詞匯可能是用于表達相似的意思。

詞的分布式向量

雖然著名的word2vec和GloVe等算法不能算作是深度學(xué)習(xí)框架（word2vec中只涉及淺顯的神經(jīng)網(wǎng)絡(luò)，而GloVe是基于矩陣的方法），但用它們訓(xùn)練的許多模型都被輸入到用于NLP的深度學(xué)習(xí)工具中。所以在這一領(lǐng)域使用詞嵌入通常是非常好的做法。

開始時，對于一個需要詞嵌入的問題，我們傾向于從與該領(lǐng)域相關(guān)的語料庫中訓(xùn)練自己的模型。不過，這種方法并不適用于所有情況，所以出現(xiàn)了預(yù)訓(xùn)練模型。通過在維基百科、Twitter、谷歌新聞以及其他網(wǎng)頁上訓(xùn)練，這些模型可以讓你輕松地將詞嵌入整合到深度學(xué)習(xí)算法中。

今年，許多人認為預(yù)訓(xùn)練的詞嵌入模型仍然是NLP中的一個關(guān)鍵問題。例如，F(xiàn)acebook人工智能實驗室（FAIR）發(fā)布的fastText是一款能夠支持294種語言的預(yù)訓(xùn)練詞嵌入模型，為NLP領(lǐng)域做出了巨大的貢獻。除了支持多種語言，fastText還能夠?qū)⒆址纸獬勺址鹡-gram，即使遇到詞典中不存在的字（OOV problem），也能給出向量表示。因為一些特定領(lǐng)域的罕見詞仍然可以被分解成字符n-gram，所以它們可以與通用字共享這些n-gram。而word2vec和GloVe都不能為詞典中不存在的詞提供向量表示。所以從這方面來說，fastText比上述兩種方法表現(xiàn)得更好，在小數(shù)據(jù)集上更是如此。

不過，雖然取得了一些進展，NLP方面還有很多工作要做。例如，強大的NLP框架spaCy能夠以本地方式將詞嵌入整合到深度學(xué)習(xí)模型中，完成例如NER或依存句法分析（Dependency Parsing）等任務(wù)，允許用戶更新或使用自己的模型。

我認為，在將來，對于易于在NLP框架中使用的特定領(lǐng)域（例如生物學(xué)、文學(xué)、經(jīng)濟等），使用預(yù)訓(xùn)練的模型是很合適的。對我們來說，如果能用最簡單的方式對它們進行調(diào)校，那就更是錦上添花的進步了。與此同時，能夠適應(yīng)詞嵌入的方法開始出現(xiàn)。

將通用型嵌入應(yīng)用到具體應(yīng)用案例

使用預(yù)訓(xùn)練的詞嵌入的主要缺點就是，訓(xùn)練數(shù)據(jù)與實際問題中的數(shù)據(jù)存在著詞語分布的差距（word distributional gap）。假如你有一份生物學(xué)論文、或一份食譜、或經(jīng)濟學(xué)研究論文的語料，但是沒有足夠大的語料庫來訓(xùn)練良好的嵌入，所以最終會選擇通用詞嵌入來幫助你提高結(jié)果。但是如果能將通用的嵌入調(diào)整為適合你個人案例的情況呢？

這種適應(yīng)通常被稱為NLP中的跨領(lǐng)域或域自適應(yīng)技術(shù)，與遷移學(xué)習(xí)非常接近。Yang等人今年提出了一個正則化的skip-gram模型，給定始源域（source domain）的嵌入，可以學(xué)習(xí)目標域（target domain）的嵌入，是一項非常有趣的研究。

重要思想簡潔且高效。假設(shè)我們知道始源域中單詞w的詞嵌入為ws。為了計算目標域中wt的嵌入，就要在兩個域之間加入一個特定量的遷移ws。一般來說，如果這個單詞在兩個域中都經(jīng)常出現(xiàn)，那么它的語義就是獨立的。在這種情況下，遷移的值越大，嵌入的結(jié)果可能在兩個域中就越相似。反之，如果一個單詞在一個域中的出現(xiàn)頻率高于另一個域，那么遷移的值就小。

關(guān)于這一話題的研究并未深入展開，但我相信在不遠的未來會有更多人關(guān)注它。

情感文本分析不可思議的副作用

偉大的發(fā)明往往是意外之喜，下面要說的這個成就也不例外。今年，Radford等人在研究字節(jié)級循環(huán)語言模型的特性，目的是要預(yù)測亞馬遜評論文本中的下一個字符。然而在這一過程中，他們發(fā)現(xiàn)訓(xùn)練模型中的一個單一神經(jīng)元能夠高度預(yù)測出文章的情感價值（sentiment value）。這個單一的“情感神經(jīng)元”（sentiment neuron）能夠以相當準確的方式將評論分為積極或消極的兩類。

評論極性vs神經(jīng)元值

在發(fā)現(xiàn)了這一特性后，作者決定將模型應(yīng)用于Stanford Sentiment Treebank數(shù)據(jù)集上，結(jié)果得到的精確度高達91.8%，比之前最佳的90.2%的結(jié)果還要高。這意味著，他們的模型經(jīng)過無監(jiān)督的方式訓(xùn)練后，用更少的訓(xùn)練數(shù)據(jù)達到了最先進的情感文本分析結(jié)果。

情感神經(jīng)元的工作過程

由于模型是在字符層面工作，可以看到，神經(jīng)元在文本中進行判斷時，能夠改變特殊的字符顏色。如下圖所示：

在單詞“best”之后，神經(jīng)元使文本變成了深綠色（代表積極），而在單詞“horrendous”之后，綠色消失，表示情感由積極開始轉(zhuǎn)向消極。

生成極性偏向文本

當然，訓(xùn)練過的模型是一個有效地生成模型，所以你也可以拿他來生成類似亞馬遜的評論那樣的文本。但是，我覺得很棒的一點是，你可以簡單地改寫情感神經(jīng)元的值來決定生成文本的極性（polarity）。

作者選用的神經(jīng)網(wǎng)絡(luò)模型是Krause等人在2016年提出的multiplicative LSTM，主要原因是他們觀察到該模型的超參數(shù)設(shè)置比正常的LSTM收斂地更快。它有4096個單位，訓(xùn)練的語料庫中含有8200萬條亞馬遜的評論。

同時，你還可以試著訓(xùn)練自己的模型并進行試驗。當然這需要你有足夠的時間和強大的GPU：論文的作者在NVIDIA Pascal GPU上花了一個月的時間訓(xùn)練了該模型。

Twitter上的情感文本分析

要想知道人們對某個品牌的評價，或是分析某一營銷活動的影響，甚至是衡量人們對總統(tǒng)大選的感受，Twitter中的情感分析是一個非常強大的工具。

推特對有關(guān)川普和希拉里的推文的情感分析

SemEval 2017

Twitter中的情感文本分析已經(jīng)引起了NLP研究人員的關(guān)注，而且也引起了政界和社會科學(xué)界的關(guān)注。所以自從2013年以來，國際語義測評SemEval提出了一項具體的任務(wù)。

2017年共有48支隊伍參加了評選，以下五個子任務(wù)可以讓你了解SemEval在Twitter上都分析了什么。

A：給定一條推文，判斷它是積極的或是消極的或是中立的情緒。

B：給定一條推文和話題，將話題中所傳達出的情緒進行分類：正面或負面。

C：給定一條推文和話題，將推文中所傳達出的情緒分為五類：非常積極、一般積極、中立、一般消極、非常消極。

D：給定關(guān)于某一話題的一組推文，估計這些推文在積極和消極中的分布。

E：給定關(guān)于某一話題的一組推文，將推文的情緒分為五類：非常積極、一般積極、中立、一般消極、非常消極。

可以看到，A任務(wù)是最常見的任務(wù)，共有38支隊伍參加了這個任務(wù)，其他的幾項更難一些。主辦方指出，今年使用深度學(xué)習(xí)方法的隊伍比較顯眼，并且在不斷增加，有20個團隊使用了CNN和LSTM等模型。另外，盡管SVM模型仍然非常流行，但已經(jīng)有幾個隊伍將它們與神經(jīng)網(wǎng)絡(luò)或詞嵌入等方法結(jié)合起來了。

BB_twtr系統(tǒng)

我認為今年最值得關(guān)注的是一個純粹的深度學(xué)習(xí)系統(tǒng)——BB_twtr，該系統(tǒng)在英語的5個子任務(wù)中排名第一。作者將10個CNN和10個biLSTM的集合結(jié)合起來，用不同的超參數(shù)和不同的預(yù)訓(xùn)練策略進行訓(xùn)練?？梢栽谡撐闹锌吹缴窠?jīng)網(wǎng)絡(luò)架構(gòu)的細節(jié)。

為了訓(xùn)練這些模型，作者使用了帶有話題標簽的推文（A任務(wù)中共有49693條推文），然后建立了一個含有1億條沒有標簽的推文數(shù)據(jù)集，將其中帶有類似微笑表情的推文歸為積極一類，反之歸為消極一類，再次建立派生的數(shù)據(jù)集。在這里，推文都被變成了小寫、標上了記號；URL和表情符號被替換成了特殊的符號；重復(fù)的字母都被合并，例如“niiice”和“niiiiiiiice”變成了“niice”。

為了對用作CNN和biLSTM的輸入詞嵌入進行預(yù)訓(xùn)練，作者使用帶有默認設(shè)置的word2vec、GloVe和fastText在未標記的數(shù)據(jù)集上進行訓(xùn)練。然后他使用派生數(shù)據(jù)集改進嵌入，并加入極性信息，然后再使用帶有標簽的數(shù)據(jù)集再次改進。

使用從前的SemEval數(shù)據(jù)集的實驗表明，使用GloVe會降低性能，并且對所有金標準數(shù)據(jù)集沒有一個最佳模型。然后作者將所有模型與軟投票策略結(jié)合起來，由此產(chǎn)生的模型比2014和2016年的最佳成績都好，接近2015年的最佳成績。它最終在2017SemEval的5個子任務(wù)中排名第一。

即使這種組合并不是以一種有機的方式進行的，而是加入了簡單的軟投票策略，也表明了將深度學(xué)習(xí)模型應(yīng)用其中的潛力非常大，同樣也證明了幾乎所有端到端的方法在Twitter中的情感分析可以超越監(jiān)督的方法（輸入必須進行預(yù)處理）。

令人激動的抽象總結(jié)系統(tǒng)

自動總結(jié)（automatic summarization）是NLP最早的任務(wù)之一。方式主要有兩種：抽取式（extraction-based）和生成式（abstraction-based）。抽取式自動文摘方法是通過提取文檔中已存在的關(guān)鍵詞、句子形成摘要；生成式自動文摘方法是通過建立抽象的語義表示，使用自然語言生成技術(shù)形成摘要。在過去，抽取式是最常用的方法，因為他們比另一種方法簡單。

在過去幾年，基于RNN的模型在文本生成方面取得了驚人的成果。對于簡短的文本輸入和輸出，它們表現(xiàn)得很好。但是遇到長文本，往往輸出的是不連貫的、重復(fù)的結(jié)果。在他們的工作中，Paulus等人提出了一種新型的神經(jīng)網(wǎng)絡(luò)模型來克服這一局限性，并取得了令人興奮的結(jié)果，如下所示：

自動摘要生成模型

作者使用biLSTM編碼器讀取輸入，并使用LSTM解碼器生成輸出。他們的主要貢獻是創(chuàng)建了一種新的內(nèi)部注意策略，能夠分別關(guān)注輸入和連續(xù)的輸出，并且還有一種新的訓(xùn)練方法，將監(jiān)督詞語預(yù)測的標準和強化學(xué)習(xí)結(jié)合起來。

內(nèi)部注意策略

新型的內(nèi)部注意策略的目的是避免在輸出中出現(xiàn)重復(fù)。為了達到這個目的，他們在解碼時用緩存的注意查看輸入文本的前一段內(nèi)容，然后再決定下一個將要產(chǎn)生的字。這就使得模型在生成過程中使用輸入的不同部分。他們還允許模型從解碼器訪問之前的隱藏狀態(tài)，兩個函數(shù)結(jié)合后，就會選擇出最適合輸出摘要的下個詞。

強化學(xué)習(xí)

寫摘要時，兩個不同的人會使用不同的詞語和句子，但寫出的摘要都是正確的。因此，判斷一個摘要是好的標準不一定是使其完全與數(shù)據(jù)集中的單詞序列相匹配。了解這一點后，作者就避免了標準的強制教導(dǎo)（teacher forcing）算法，該算法會在每個解碼步驟將損失最小化，而是依賴更可靠的強化學(xué)習(xí)策略。

近似端到端模型的好結(jié)果

該模型在CNN和《每日郵報》的數(shù)據(jù)集上進行了測試，并取得了前所未有的好結(jié)果。在人類評估下，一項具體的實驗結(jié)果表明，可讀性和質(zhì)量都有了增長。由于在預(yù)處理時，輸入文本都被打上了標記、改為小寫，同時數(shù)字被替換成0，以及數(shù)據(jù)集的一些特殊對象被移除，還能得到這樣的結(jié)果，實在令人印象深刻。

邁向完全無監(jiān)督機器翻譯的第一步

雙語詞典構(gòu)建是NLP領(lǐng)域一個老生常談的問題了，它使用兩種語言的源語言和目標語言的單語料庫生成詞語互譯。自動生成的雙語詞典能夠幫助其他NLP任務(wù)，例如信息檢索和機器翻譯統(tǒng)計。然而，這些方法大多都需要一個初始的雙語詞典，但通常很難建立。

隨著詞嵌入的出現(xiàn)，跨語言詞嵌入（cross-lingual word embeddings）也隨之產(chǎn)生，其目的是調(diào)整嵌入空間而不是生成字典。但不幸的是，跨語言嵌入也需要有雙語詞典或平行語料庫。接著，Conneau等人提出了一個可行的方法，可以不依賴任何特定的資源，在詞語翻譯、句子翻譯檢索以及跨語言詞語相似性等任務(wù)上由于現(xiàn)有的監(jiān)督式方法。

作者提出的方法是將兩組在單語語料庫上訓(xùn)練的詞嵌入作為輸入，然后學(xué)習(xí)二者之間的映射，使得公共空間上的翻譯相近。他們利用fastText對維基百科上的文本進行無監(jiān)督訓(xùn)練，如下圖所示。

構(gòu)建兩個詞嵌入空間之間的映射

紅色的X表示英語單詞的嵌入，紫色的Y表示意大利語的詞嵌入。

剛開始，他們使用對抗學(xué)習(xí)來學(xué)習(xí)旋轉(zhuǎn)矩陣W，W將執(zhí)行第一次原始對齊。接著，在Ian Goodfellow等人提出生成對抗網(wǎng)絡(luò)之后，他們也訓(xùn)練了一個GAN。

為了用生成學(xué)習(xí)對該問題建模，他們將判別器看作能夠做決定的角色。他們從Wx和Y中隨機采樣（上圖第二欄），兩種語言分別屬于Wx和Y。然后，他們訓(xùn)練W，防止判別器做出好的預(yù)測。我認為這種方式非常聰明優(yōu)雅，直接結(jié)果也非常不錯。

之后，他們增加了兩步來完善映射。一是消除罕見字在映射計算中產(chǎn)生的噪聲，另一個是利用學(xué)到的映射和測量距離建立實際的翻譯。

在某些案例中，輸出的結(jié)果已經(jīng)超越了最佳紀錄。例如在P@10的英語和意大利語之間的詞語翻譯中，他們在1500個源單詞所組成的數(shù)據(jù)庫中得出了近17%的平均準確率。

英語-意大利語詞語翻譯平均精確度

作者稱，他們的方法可以用作開啟無監(jiān)督機器翻譯的第一步，讓我們拭目以待。

特別的框架和工具

現(xiàn)如今已經(jīng)有很多通用的深度學(xué)習(xí)框架和工具，例如TensorFlow、Keras、PyTorch等等。然而，面向NLP的特定開源深度學(xué)習(xí)框架和工具才剛剛興起。今年對我們來說十分重要，因為有許多開源框架出現(xiàn)，其中三個是我很感興趣的。

AllenNLP

AllenNLP框架是構(gòu)建在PyTorch之上的一個平臺，它的設(shè)計初衷是將深度學(xué)習(xí)方法應(yīng)用其中，執(zhí)行相關(guān)的NLP任務(wù)。其目的是讓研究人員設(shè)計并評估新模型，它包含了語義角色標注（semantic role labeling）、文字蘊涵（textual entailment）和共指消解（coreference resolution）等常見的NLP語義任務(wù)。

ParlAI

ParlAI框架是一個開源的用于對話研究的軟件平臺。它在Python中實現(xiàn)，其目標是提供一個集分享、訓(xùn)練和測試于一體的框架。ParlAI提供了一個與亞馬遜Mechanical Turk輕松集成的機制，同時還提供了該領(lǐng)域流行的數(shù)據(jù)集，并支持多種模型，包括內(nèi)存網(wǎng)絡(luò)、seq2seq和注意力LSTM等神經(jīng)模型。

OpenNMT

OpenNMT工具箱是專門用于序列到序列模型的通用框架，它可以執(zhí)行類似機器翻譯、總結(jié)、圖像到文本和語音識別的任務(wù)。

寫在最后

不可否認，用于NLP領(lǐng)域的深度學(xué)習(xí)技術(shù)在不斷增長，從過去幾年的ACL、EMNLP、EACL、NAACL等關(guān)鍵大會上所提交的有關(guān)NLP深度學(xué)習(xí)的論文上就能看出這一趨勢。