拿高薪必備的深度學(xué)習(xí)nlp技術(shù),這篇文章講得很透徹

過去幾年，深度學(xué)習(xí)架構(gòu)和算法在圖像識(shí)別和語(yǔ)音處理等領(lǐng)域取得了重大的進(jìn)步。而在NLP（自然語(yǔ)言處理）領(lǐng)域，起初并沒有太大的進(jìn)展。不過現(xiàn)在，NLP領(lǐng)域取得的一系列進(jìn)展已證明深度學(xué)習(xí)技術(shù)將會(huì)對(duì)自然語(yǔ)言處理做出重大貢獻(xiàn)。一些常見的任務(wù)如實(shí)體命名識(shí)別，詞類標(biāo)記及情感分析等，自然語(yǔ)言處理都能提供最新的結(jié)果，并超越了傳統(tǒng)方法。另外，在機(jī)器翻譯領(lǐng)域的應(yīng)用上，深度學(xué)習(xí)技術(shù)所取得的進(jìn)步應(yīng)該是最顯著的。

這篇文章中，我將在通過一些深度學(xué)習(xí)技術(shù)來闡述2017年NLP領(lǐng)域所取得的一系列進(jìn)步。相關(guān)的科技論文，框架和工具有很多，在這里我沒辦法逐一列出，內(nèi)容也不詳盡。我只是想和大家分享并介紹今年一系列我最喜歡的研究。

我認(rèn)為，2017年是深度學(xué)習(xí)的一個(gè)重要年份，隨著深度學(xué)習(xí)技術(shù)在NLP領(lǐng)域中的應(yīng)用不斷深入且產(chǎn)生了令人驚喜的結(jié)果，所有的跡象都表明，NLP領(lǐng)域?qū)⒃谏疃葘W(xué)習(xí)技術(shù)的輔助下繼續(xù)高效前進(jìn)。

從訓(xùn)練word2vec到使用預(yù)訓(xùn)練模型

可以說，詞嵌入模型（Word embedding）是深度學(xué)習(xí)技術(shù)在NLP領(lǐng)域最顯著的技術(shù)。他們遵循了Harris (1954) 提出的分布式假說。根據(jù)這個(gè)假說可知，具有相似含義得此通常會(huì)出現(xiàn)在上下文的語(yǔ)境中。關(guān)于詞嵌入的詳細(xì)解釋，你也可以閱讀Gabriel Mordecki的文獻(xiàn)。

諸如word2vec(Mikolov等，2013)和Glove(Pennington等，2014)等算法已經(jīng)成為NLP領(lǐng)域的代表性算法。盡管它們不能被認(rèn)為是深度學(xué)習(xí)技術(shù)在該領(lǐng)域的應(yīng)用(word2vec中應(yīng)用淺層神經(jīng)網(wǎng)絡(luò)，而Glove是基于計(jì)數(shù)模型的一種算法)，但是用他們訓(xùn)練得到的模型作為大量深度學(xué)習(xí)模型的輸入，也是深度學(xué)習(xí)技術(shù)與自然語(yǔ)言處理領(lǐng)域相結(jié)合的一種常見方式。因此，目前在我們領(lǐng)域中應(yīng)用詞嵌入模型，通常被視為是一種好的嘗試。

一開始，給定一個(gè)需要詞嵌入模型的NLP問題,我們更希望在一個(gè)與領(lǐng)域相關(guān)的大語(yǔ)料庫(kù)中訓(xùn)練我們自己的模型。當(dāng)然，這不是使用詞嵌入模型最好的方式，所以需要從預(yù)訓(xùn)練模型開始慢慢進(jìn)行。通過維基百科，Twitter，Google新聞，網(wǎng)頁(yè)抓取等數(shù)據(jù)的訓(xùn)練，這些模型可以很容易地讓你將詞嵌入模型整合到深度學(xué)習(xí)算法中去。

今年的研究進(jìn)展證實(shí)了預(yù)訓(xùn)練詞嵌入模型仍然是NLP領(lǐng)域的一個(gè)關(guān)鍵性的問題。例如，來自Facebook AI Research(FAIR)實(shí)驗(yàn)室的fastText模型，用294種語(yǔ)言發(fā)布預(yù)訓(xùn)練好的模型向量，這是一項(xiàng)偉大的工作，對(duì)于我們研究領(lǐng)域來說更是一重大的貢獻(xiàn)。除了大量的語(yǔ)言的使用，由于fastText使用字符n-grams作為語(yǔ)義特征，使得該模型能夠得到很大的應(yīng)用。

此外，fastText模型還能避免OOV問題(超出詞匯量問題)，因?yàn)榧词故且粋€(gè)非常罕見的詞(如特定領(lǐng)域的專業(yè)術(shù)語(yǔ))也有可能與一個(gè)常見詞共享同一個(gè)n-gram字符。因此，從這個(gè)意義上來說，fastText模型比word2vec和Glove模型表現(xiàn)得更好，并且對(duì)于小數(shù)據(jù)庫(kù)有著更優(yōu)的性能。

然而，盡管我們可以看到該領(lǐng)域一些進(jìn)步，但是對(duì)這領(lǐng)域的研究還有很長(zhǎng)一段路要走。例如，著名的NLP框架spaCy以本地的方式將詞嵌入模型和深度學(xué)習(xí)模型集成并應(yīng)用到諸如NER和Dependency Parsing等NLP任務(wù)中，并允許用戶更新模型或使用自己的模型。

我認(rèn)為這是需要研究的東西。未來，對(duì)于這些易于應(yīng)用到特定領(lǐng)域(諸如生物學(xué)，文學(xué)，經(jīng)濟(jì)學(xué)等)的NLP框架來說，進(jìn)行預(yù)訓(xùn)練得到模型是一種非常好的方式。根據(jù)我們的情況，以最簡(jiǎn)單的方式對(duì)模型進(jìn)行一系列的微調(diào)優(yōu)化，來提高模型的性能。同時(shí)，一些適用于詞嵌入模型的方法也開始慢慢出現(xiàn)。

調(diào)整通用嵌入模型應(yīng)用于特定的案例

也許使用預(yù)訓(xùn)練的詞嵌入模型的最大缺點(diǎn)是訓(xùn)練數(shù)據(jù)與我們問題中使用的實(shí)際數(shù)據(jù)之間存在詞分布差距（word distributional gap）。這么說吧，假設(shè)你有生物學(xué)論文集，食譜和經(jīng)濟(jì)領(lǐng)域的研究文章，由于你可能沒有足夠大的語(yǔ)料庫(kù)來訓(xùn)練得到良好性能的詞嵌入模型，所以你需要通用嵌入模型來幫助你改善研究結(jié)果。但是如果通用嵌入模型可以進(jìn)行調(diào)整并應(yīng)用于你所需要的特定案例呢？

這個(gè)想法是簡(jiǎn)單而又有效的。想象一下，我們知道在源域中單詞w的詞嵌入是w_s。為了計(jì)算w_t(目標(biāo)域)的嵌入，作者向w_s添加了兩個(gè)域之間的一定量的傳輸?；旧?，如果這個(gè)詞在這兩個(gè)領(lǐng)域出現(xiàn)的都很頻繁，那就意味著它的語(yǔ)義不具有領(lǐng)域依賴性。

在這種情況下，由于傳輸量很高，因此在兩個(gè)域中產(chǎn)生的詞嵌入趨勢(shì)是相似的。但是，對(duì)于特定領(lǐng)域的詞，會(huì)在一個(gè)領(lǐng)域出現(xiàn)的更頻繁，所需要傳輸?shù)牧渴呛苄〉摹?/span>

關(guān)于詞嵌入的研究課題至今還沒有得到廣泛的研究和探索，但我認(rèn)為在近期會(huì)得到更多的關(guān)注。

情感分析將有一個(gè)難以置信的作用

今年，Ranford等人發(fā)現(xiàn)訓(xùn)練模型中的單個(gè)神經(jīng)元對(duì)于情感價(jià)值有著高度的預(yù)測(cè)性，為進(jìn)一步預(yù)測(cè)Amazon評(píng)論文本中的下一個(gè)字符，他們探索了字節(jié)級(jí)循環(huán)語(yǔ)言模型的特性。結(jié)果表明，這個(gè)單一的“情感神經(jīng)元”的確能夠相當(dāng)準(zhǔn)確地預(yù)測(cè)并將評(píng)論分類為正負(fù)面。

注意到這種行為之后，他們決定在 Stanford Sentiment Treebank數(shù)據(jù)庫(kù)上測(cè)試模型，并發(fā)現(xiàn)模型的準(zhǔn)確性高達(dá)91.8%，而之前最好的模型準(zhǔn)確度為90.2%。這說明，使用很少的樣本，以無監(jiān)督的方式進(jìn)行訓(xùn)練的模型，至少在一個(gè)特定但廣泛研究的數(shù)據(jù)庫(kù)上得到了最先進(jìn)的情感分析結(jié)果。

工作中的情感神經(jīng)元

由于模型的表現(xiàn)是基于字符水平的，所以神經(jīng)元在文本中改變了每個(gè)字符的狀態(tài)，這是相當(dāng)驚人的行為。

例如，在一個(gè)單詞后面，神經(jīng)元的值變?yōu)閺?qiáng)的正值，然而這種作用效果將隨著詞的消失而消失，這看起來也是有道理的。

生成帶極偏見性文本

當(dāng)然，訓(xùn)練好的模型仍然是一個(gè)有效的生成模型，所以它可以用來生成類似Amazon評(píng)論的文本。但是，我覺得很棒的是，你可以通過簡(jiǎn)單地覆蓋情感神經(jīng)元的價(jià)值來選擇生成樣本的極性。

文本生成示例（來源-https://blog.openai.com/unsupervised-sentiment-neuron/）

Krause等（2016）所選擇的NN模型是由Krause等人提出的乘式LSTM模型。這是因?yàn)樗麄冇^察到，該模型的超參數(shù)設(shè)置方式能比正常的LSTM模型更快地收斂。它有4096個(gè)神經(jīng)元，并用8200萬(wàn)條Amazon的評(píng)論語(yǔ)料庫(kù)來進(jìn)行訓(xùn)練。

為什么訓(xùn)練有素的模型能夠準(zhǔn)確地捕捉到情感概念中一些開放而迷人的問題呢。與此同時(shí)，你也可以嘗試訓(xùn)練自己的模型并進(jìn)行實(shí)驗(yàn)。當(dāng)然，如果你有充裕的時(shí)間和GPU的話，那么用四款NVIDIA Pasca GPUs，對(duì)這個(gè)特定的模型進(jìn)行訓(xùn)練，仍需要花費(fèi)一個(gè)月時(shí)間才能完成。

Twitter上的情感分析

無論是人們對(duì)企業(yè)品牌的評(píng)價(jià)，分析營(yíng)銷活動(dòng)的影響，還是衡量上次競(jìng)選期間民眾對(duì)希拉里·克林頓和唐納德·特朗普的整體感受，Twitter的情感分析都是一個(gè)非常強(qiáng)大的工具。

SemEval 2017

Twitter上的情感分析已經(jīng)引起了NLP研究人員的興趣，同時(shí)也得到政治和社會(huì)科學(xué)界的廣泛關(guān)注。這就是為什么自2013年以來，SemEval比賽都會(huì)提出一系列具體的任務(wù)。

今年的比賽共有48支參賽隊(duì)伍參與了競(jìng)賽，表現(xiàn)出極大的熱情和興趣。為了讓你更好地了解Twitter推出的SemEval比賽究竟是什么（http://www.aclweb.org/anthology/S17-2088），讓我們來看看今年提出的五個(gè)子任務(wù)。

• 子任務(wù)A：給定一個(gè)推文，來判斷所表達(dá)的情緒是積極的、消極的還是中性的。

• 子任務(wù)B：給定一個(gè)推文和一個(gè)話題，分兩種情況下表達(dá)對(duì)這個(gè)話題的觀點(diǎn)：正面與負(fù)面。

• 子任務(wù)C：給定一個(gè)推文和一個(gè)話題，分五種情況來表達(dá)對(duì)這個(gè)話題的觀點(diǎn)：強(qiáng)勢(shì)、弱勢(shì)、中性、弱肯定性和強(qiáng)大的消極。

• 子任務(wù)D：給定一個(gè)關(guān)于某個(gè)話題的推文，評(píng)估推文在正性和負(fù)性類別中的分布情況。

• 子任務(wù)E：給定一組關(guān)于某個(gè)話題的推文，評(píng)估推文在五中情緒類別中的分布情況：強(qiáng)勢(shì)、弱勢(shì)、中性、弱弱及強(qiáng)大。

正如你所看到的，子任務(wù)A是最常見的任務(wù)，有38個(gè)團(tuán)隊(duì)參與了這個(gè)任務(wù)的評(píng)估，而其他的任務(wù)則更具挑戰(zhàn)性。今年有20支團(tuán)隊(duì)使用了卷積神經(jīng)網(wǎng)絡(luò)(CNN)和長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)模型。此外，盡管SVM模型仍然非常流行，但是一些參賽隊(duì)伍都將它與神經(jīng)網(wǎng)絡(luò)的方法或詞嵌入特征相結(jié)合。

BB_twtr系統(tǒng)

今年讓我比較驚奇的發(fā)現(xiàn)是BB_twtr系統(tǒng)（Cliche，2017），它是一個(gè)純粹的深度學(xué)習(xí)系統(tǒng)，并且在英語(yǔ)的5個(gè)子任務(wù)中排名第一。 作者將10個(gè)CNN結(jié)構(gòu)和10個(gè)biLSTM結(jié)構(gòu)集合(ensemble)起來，采用不同的超參數(shù)和預(yù)訓(xùn)練策略來進(jìn)行訓(xùn)練。

為了訓(xùn)練這些模型，作者使用了人工標(biāo)注的推文(tweets)（給定一個(gè)數(shù)量級(jí)，子任務(wù)A有49,693個(gè)），并且構(gòu)建了一個(gè)包含1億條推文的未標(biāo)記數(shù)據(jù)集，這個(gè)數(shù)據(jù)集只是通過簡(jiǎn)單的標(biāo)記一條推文來獲取，比如表示推文內(nèi)容積極的表情符號(hào)是:-)，對(duì)于內(nèi)容消極的推文就是相反的表情。這些推文中的小寫，標(biāo)記，URL和表情符號(hào)被替換為特定的標(biāo)記(,, etc.)，并且字符重復(fù)的內(nèi)容將會(huì)統(tǒng)一，例如，“niiice”和“niiiiiiiice”變成“niice”。

為了對(duì)用作CNN和biLSTM結(jié)構(gòu)輸入的單詞嵌入信息進(jìn)行預(yù)訓(xùn)練，作者在未標(biāo)記的數(shù)據(jù)集上使用了word2vec，GloVe和fastText（全部使用默認(rèn)設(shè)置）詞向量。然后他使用距離數(shù)據(jù)集(distant dataset)來提煉嵌入特征是為了增加作用力信息，然后使用人工標(biāo)記的數(shù)據(jù)集再次提取它們的特征。

作者使用以前的SemEval數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)表明，使用GloVe詞向量會(huì)降低性能，而且對(duì)于所有好的數(shù)據(jù)集都沒有唯一的最佳模型。 然后作者將所有模型與軟投票策略結(jié)合起來。 由此產(chǎn)生的模型結(jié)果比2014年和2016年的歷史最好的歷史成績(jī)更勝一籌，而且也與其他年份非常接近。最后，它在2017自然語(yǔ)言競(jìng)賽 SemEval 數(shù)據(jù)集5子任務(wù)中排名第一。

即便這種組合采取的簡(jiǎn)單的軟投票策略并不能看作是一種有效的方式，但是這項(xiàng)工作表明了將深度學(xué)習(xí)模型結(jié)合起來的可能性，以及一種幾乎端到端的方法（輸入必須經(jīng)過預(yù)處理 ）。并且是在Twitter的情感分析中是可以超越監(jiān)督方法的。

一個(gè)令人興奮的抽象概括系統(tǒng)

自動(dòng)概括和自動(dòng)翻譯一樣，是最早的NLP任務(wù)之一。目前有兩種主要的方法：基于提取的方法，其概括是通過從源文本中提取最重要的段而建立的，而基于抽象的方法則是通過生成文本來構(gòu)建概括。

從發(fā)展歷史上看，基于提取的方法是最常用的，因?yàn)樗鼈儽然诔橄蟮姆椒ê?jiǎn)單。在過去的幾年里，基于RNN的模型在文本生成方面取得了驚人的成果。它們?cè)诤?jiǎn)短的輸入輸出文本上表現(xiàn)得非常好，但是對(duì)于長(zhǎng)文本往往是不連貫和重復(fù)的。

在Paulus等人的工作中，他們提出了一種新的神經(jīng)網(wǎng)絡(luò)模型來克服這個(gè)局限性。結(jié)果令人興奮，如下圖所示

生成概括的模型說明（https://einstein.ai/research/your-tldr-by-an-ai-a-deep-reinforced-model-for-abstractive-summarization）

作者使用了一個(gè)biLSTM編碼器來讀取輸入和一個(gè)LSTM解碼器來產(chǎn)生輸出。他們的主要貢獻(xiàn)是一種新的內(nèi)部注意（intra-attention）策略，這種策略是分別關(guān)注輸入和連續(xù)產(chǎn)生的輸出，和一種結(jié)合了標(biāo)準(zhǔn)的有監(jiān)督的詞預(yù)測(cè)和強(qiáng)化學(xué)習(xí)的新的訓(xùn)練方法。

內(nèi)部注意策略

提出內(nèi)部注意策略的目的是為了避免輸出中的重復(fù)。為了達(dá)到這個(gè)目的，它們?cè)诮獯a時(shí)使用時(shí)間上的注意力來查看輸入文本的已輸入片段，然后決定下一個(gè)將要產(chǎn)生的字。這迫使模型在生成過程中使用輸入的不同部分。他們還允許模型訪問解碼器以前的隱藏狀態(tài)。然后將這兩個(gè)函數(shù)組合起來，為輸出概括選擇最好的下一個(gè)單詞。

強(qiáng)化學(xué)習(xí)

為了創(chuàng)建一個(gè)概括，需要兩個(gè)不同的人使用不同的單詞和句子順序，這兩個(gè)概括才可能被認(rèn)為是有效的。因此，一個(gè)好的概括不一定非要是盡可能匹配訓(xùn)練數(shù)據(jù)集中單詞序列的序列。

由于知道這一點(diǎn)，作者沒有采用標(biāo)準(zhǔn)的教師強(qiáng)迫算法來使每個(gè)解題步驟的損失最小化，而是依靠強(qiáng)化學(xué)習(xí)策略，并且證明了這是一個(gè)很好的選擇。

幾乎是端到端模型最好的結(jié)果

該模型在美國(guó)有線電視新聞網(wǎng)和每日郵報(bào)數(shù)據(jù)集上進(jìn)行了測(cè)試，并取得了最先進(jìn)的成果。此外，一項(xiàng)帶有人類評(píng)估者的具體實(shí)驗(yàn)結(jié)果也顯示了人類對(duì)于生成的文本在可讀性和質(zhì)量方面的提高。

這些結(jié)果是令人欽佩的，該模型的基本預(yù)處理過程是：輸入文本進(jìn)行分詞，小寫字母，數(shù)字用“0”替換，然后刪除數(shù)據(jù)集中一些特定的實(shí)體。

邁出無監(jiān)督機(jī)器翻譯的第一步？

雙語(yǔ)詞典歸納，即用兩種語(yǔ)言的源語(yǔ)和單語(yǔ)語(yǔ)料庫(kù)來識(shí)別單詞翻譯對(duì)，這其實(shí)是一個(gè)古老的NLP任務(wù)。自動(dòng)生成的雙語(yǔ)詞典有助于其他的NLP任務(wù)，如信息檢索和統(tǒng)計(jì)機(jī)器翻譯。 然而，這些方法大部分時(shí)間都依賴于某種資源，通常是一個(gè)初始的雙語(yǔ)詞典，但是這個(gè)詞典并不總是可用或者很容易建立。

隨著詞嵌入方法的成功，跨語(yǔ)言詞嵌入的設(shè)想也出現(xiàn)了，目標(biāo)是對(duì)齊嵌入空間而不是詞典。 不幸的是，第一種方法也依賴于雙語(yǔ)詞典或平行的語(yǔ)料庫(kù)。Conneau等（2018）提出了一個(gè)非常超前的方法，它不依賴于任何特定的資源，并且在多個(gè)語(yǔ)言對(duì)（language pairs）的語(yǔ)言翻譯，句子翻譯檢索和跨語(yǔ)言單詞相似性三個(gè)任務(wù)上優(yōu)于現(xiàn)有的監(jiān)督方法。

作者開發(fā)的方法是將輸入的兩組單詞嵌入在單語(yǔ)數(shù)據(jù)上進(jìn)行獨(dú)立訓(xùn)練來學(xué)習(xí)它們之間的映射，使得翻譯后的內(nèi)容在空間上接近。他們使用fastText詞向量是在維基百科文檔上訓(xùn)練出無監(jiān)督的詞向量。

以下圖片詮釋了他們的核心想法：

建立兩個(gè)詞在嵌入空間之間的映射（https://arxiv.org/abs/1710.04087）

紅色的X分布是英語(yǔ)單詞的嵌入，藍(lán)色的Y分布是意大利語(yǔ)單詞的分布。

首先，他們使用對(duì)抗學(xué)習(xí)（adversarial learning-https://en.wikipedia.org/wiki/Adversarial_machine_learning）來學(xué)習(xí)用于第一次原始對(duì)齊的旋轉(zhuǎn)矩陣W.。他們根據(jù)Goodfellow等人在2014年提出的想法，主要是是訓(xùn)練了一個(gè)生成對(duì)抗網(wǎng)絡(luò)（GAN）。要了解GAN是如何工作的，我建議你讀這篇由Pablo Soto撰寫的文章（https://tryolabs.com/blog/2016/12/06/major-advancements-deep-learning-2016/）。

為了在對(duì)抗學(xué)習(xí)方面對(duì)問題進(jìn)行建模，他們將判別器定義為確定的角色，給定從WX和Y隨機(jī)采樣的一些元素（參見上圖中的第二列），每個(gè)元素代表一種語(yǔ)言。然后，他們訓(xùn)練W以防止判別器做出好的預(yù)測(cè)。

這在我看來非常聰明和優(yōu)雅的做法，并且直接得出的結(jié)果也是相當(dāng)不錯(cuò)的。

之后，他們?cè)俨捎昧藘蓚€(gè)步驟來完善整個(gè)映射。第一個(gè)步驟是為了避免映射計(jì)算中由罕見字引入的噪聲。另一個(gè)步驟是為了使用學(xué)習(xí)的映射和距離度量來建立實(shí)際的翻譯。

在某些情況下的結(jié)果是非常好的。 例如，對(duì)于英語(yǔ)—意大利語(yǔ)之間單詞的翻譯，在P @ 10的情況下，他們勝過了最佳平均精確度近17％。

英語(yǔ)-意大利語(yǔ)單詞翻譯的平均精度

作者聲稱，他們的方法可以看作是邁向了無監(jiān)督機(jī)器翻譯的第一步。我們可以看一看這個(gè)新的有前景的方法到底能走多遠(yuǎn)。

專業(yè)化的框架和工具

通用的DL框架和工具有很多種，比如說被廣泛應(yīng)用的Tensorflow，Keras還有PYTorch。不過，具體到開源的NLP方向的DL框架和工具卻剛嶄露頭腳。今年對(duì)我們來說是非常棒的一年，因?yàn)橛泻芏嘤杏玫拈_源框架已經(jīng)在社區(qū)里實(shí)現(xiàn)了。這其中有三個(gè)框架吸引了我的注意力，我覺得各位肯定也會(huì)非常感興趣。

Allen NLP

Allen NLP 框架（http://allennlp.org/papers/AllenNLP_white_paper.pdf）是建立在PyTorch之上的平臺(tái)，設(shè)計(jì)之初的目的是為了在語(yǔ)義NLP的任務(wù)中用起來更簡(jiǎn)單。它的目的是讓研究者能夠設(shè)計(jì)和評(píng)價(jià)新的模型。它包括了通用語(yǔ)義NLP任務(wù)中的模型的參考實(shí)現(xiàn)，這些任務(wù)包括語(yǔ)義角色標(biāo)簽、文本蘊(yùn)含以及共指消解。

Parl AI

Parl AI框架（https://arxiv.org/pdf/1705.06476.pdf）是一個(gè)針對(duì)對(duì)話研究的開源軟件平臺(tái)。該平臺(tái)是用Python來實(shí)現(xiàn)的，旨在為分享、訓(xùn)練以及對(duì)話模型測(cè)試提供一個(gè)聯(lián)合框架。ParlAI提供了一個(gè)非常簡(jiǎn)單的可以與亞馬遜的Mechanical Turk合并機(jī)制。它也提供了當(dāng)下很流行的數(shù)據(jù)集并且支持好幾種模型，包括神經(jīng)模型，例如：記憶網(wǎng)絡(luò)、seq2seq和LSTMs。

Open NMT

OpenNMT工具集是一個(gè)通用的針對(duì)序列到序列的模型的框架。它可以用來執(zhí)行機(jī)器翻譯、總結(jié)以及圖像到文字、語(yǔ)音識(shí)別的任務(wù)。

終極思考

DL技術(shù)的使用在解決NLP問題中的穩(wěn)步增長(zhǎng)是不容置疑的。最能說明的一個(gè)指標(biāo)就是過去幾年中，深度學(xué)習(xí)論文中使用關(guān)鍵NLP會(huì)議中的占比的變化，例如ACL、EMNLP、EACL和NAACL。

深度學(xué)習(xí)論文的比例

然而，真正的端到端的學(xué)習(xí)才剛剛開始。我們正在處理典型的NLP任務(wù)來為數(shù)據(jù)集做準(zhǔn)備，例如，清理，標(biāo)記化或者一些實(shí)體的統(tǒng)一（例如：URL，數(shù)字、電子郵箱等）。我們也用通用的嵌入式，缺點(diǎn)就是它們不能抓住特殊領(lǐng)域的關(guān)鍵詞的重要性，而且它們?cè)诙辔淖直磉_(dá)中表現(xiàn)的很糟糕，這是我在工作的項(xiàng)目中反復(fù)發(fā)現(xiàn)的一個(gè)關(guān)鍵問題。

對(duì)應(yīng)用于NLP的深度學(xué)習(xí)來說，今年是非常不錯(cuò)的一年，希望2018年能有更多端到端的學(xué)習(xí)著作，能有更多趨于成熟的開源框架。你可以在評(píng)論區(qū)和我們盡情分享你對(duì)這些著作和框架的思考和意見，更歡迎你分享本文沒有提到的框架和著作。