為什么AI的翻譯水平還遠(yuǎn)不能和人類相比?

前一段時(shí)間，大家都在熱議 Google 的翻譯系統(tǒng)出現(xiàn)了一些相當(dāng)奇怪的結(jié)果，例如下圖呈現(xiàn)的是最被大家談及的一個(gè)翻譯結(jié)果。

后來(lái) Google 發(fā)言人也對(duì)包括數(shù)據(jù)在內(nèi)等因素做出了解釋（“這只是一個(gè)將無(wú)意義的話語(yǔ)輸入系統(tǒng)然后產(chǎn)生無(wú)意義輸出的功能”），隨后界內(nèi)一些技術(shù)人員也發(fā)表了分析與評(píng)論，表示這可能與 Google 采用的 NMT（神經(jīng)機(jī)器翻譯） 技術(shù)有關(guān)。

然而經(jīng)過(guò)這一系列事件過(guò)后，大家又重新開(kāi)始思考一個(gè)問(wèn)題：AI 的翻譯水平真的已經(jīng)可以和人類媲美了嗎？而本文的作者從 NMT 技術(shù)出發(fā)，分析了這項(xiàng)技術(shù)仍存在的問(wèn)題，給出了自己明確的態(tài)度及答案：AI的翻譯水平還遠(yuǎn)不能和人類相比。

最近，諸多媒體都報(bào)道了有關(guān)人工智能的翻譯已經(jīng)可以達(dá)到人類譯者水平的新聞，如：

The Verge – Google's AI translation system is approaching human-level accuracy

The Verge – 谷歌 AI 翻譯系統(tǒng)的準(zhǔn)確度趨近于人類

Quartz – AI-based translation to soon reach human levels

Quartz – 基于人工智能的翻譯即將達(dá)到人類水平

ZDNet - Microsoft researchers match human levels in translation news from Chinese to English

ZDNet - 微軟研究員表示，機(jī)器翻譯中文新聞的水平可與人類匹敵

這一顯著突破源于神經(jīng)機(jī)器翻譯（Neural Machine Translation, NMT）的出現(xiàn)，該方法使用神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行機(jī)器翻譯。這項(xiàng)技術(shù)應(yīng)用起來(lái)非常出色，是因?yàn)樗刑幚泶笠?guī)模翻譯數(shù)據(jù)的能力。谷歌、Facebook 等大型科技公司在過(guò)去幾年都引入了 NMT，并開(kāi)發(fā)出了較高水平的翻譯功能。

一個(gè)例子：引入 NMT 后，谷歌翻譯的水平有明顯提升

但 NMT 系統(tǒng)真的可以像上述題目說(shuō)的那樣，已經(jīng)可以和人類譯者相比了嗎？還差得遠(yuǎn)呢。我們發(fā)現(xiàn)，目前的 NMT 系統(tǒng)并沒(méi)有他們所說(shuō)的那么好用，他們忽視了翻譯中的許多關(guān)鍵問(wèn)題。

什么是 NMT？

NMT 在整個(gè) AI 領(lǐng)域中的位置

機(jī)器翻譯（MT）是 AI 的一個(gè)分支，它致力于通過(guò)軟件來(lái)進(jìn)行不同語(yǔ)言之間的翻譯。神經(jīng)機(jī)器翻譯（NMT）是一種較新穎的方法，它利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)機(jī)器翻譯。神經(jīng)網(wǎng)絡(luò)可以被訓(xùn)練，對(duì)數(shù)據(jù)進(jìn)行模式識(shí)別，從而將輸入數(shù)據(jù)轉(zhuǎn)換為我們所需要的形式。接下來(lái)，我們看一個(gè)有關(guān) NMT 系統(tǒng)的例子：

一個(gè)例子：將法語(yǔ)翻譯成英語(yǔ)，引入 NMT 后質(zhì)量有所提高

如果要將一句法語(yǔ)翻譯成英語(yǔ)，NMT 的執(zhí)行過(guò)程如下：先把需要翻譯的法語(yǔ)句子輸入網(wǎng)絡(luò)，其中每個(gè)單詞都會(huì)被編碼成由數(shù)字組成的向量，這樣網(wǎng)絡(luò)才能對(duì)其進(jìn)行處理。接下來(lái)，這些數(shù)字經(jīng)過(guò)一系列數(shù)學(xué)公式的計(jì)算，最終生成一個(gè)新的數(shù)字序列，這個(gè)序列就代表了要輸出的英文句子。

除了上述過(guò)程，在實(shí)際情況中，還有幾個(gè)重要步驟：

在進(jìn)行翻譯前，人類工程師需要決定網(wǎng)絡(luò)的具體結(jié)構(gòu)；

工程師若要運(yùn)行這樣的網(wǎng)絡(luò)，需要使用具備強(qiáng)大處理能力的計(jì)算機(jī)；

網(wǎng)絡(luò)需要基于大量的語(yǔ)料數(shù)據(jù)，進(jìn)行反復(fù)訓(xùn)練，才能具備合格的翻譯水平；

最后，在測(cè)試 NMT 系統(tǒng)過(guò)程中，工程師要使用訓(xùn)練數(shù)據(jù)集中沒(méi)有的語(yǔ)句進(jìn)行測(cè)試，以確保系統(tǒng)在處理外部數(shù)據(jù)時(shí)也能正常工作。
強(qiáng)大的神經(jīng)網(wǎng)絡(luò)來(lái)源于強(qiáng)大的數(shù)據(jù)

引入海量數(shù)據(jù)后，深度神經(jīng)網(wǎng)絡(luò)的表現(xiàn)超過(guò)了其他模型

神經(jīng)網(wǎng)絡(luò)近期獲得的成功源于大規(guī)模數(shù)據(jù)的出現(xiàn)。當(dāng)有了足夠多的數(shù)據(jù)作支撐，深度神經(jīng)網(wǎng)絡(luò)的提升尤為明顯。同時(shí)，網(wǎng)絡(luò)達(dá)到足夠的深度，NMT 系統(tǒng)翻譯的語(yǔ)句相比于過(guò)去技術(shù)翻譯的結(jié)果也更為流暢。這里的“流暢”是指，輸出的文本不會(huì)過(guò)于生硬，甚至有時(shí)候會(huì)被認(rèn)為是人工翻譯的結(jié)果。

NMT 存在什么問(wèn)題？

回想文章開(kāi)頭提到的幾個(gè)題目 -- NMT 聽(tīng)起來(lái)極其卓越，但它真的可以與人工翻譯相比嗎？根本不可能。事實(shí)上，與人類相比 NMT 在很多方面都存在缺陷。

這些缺陷可歸為三類：可靠性、記憶力和判斷力。

可靠性：這可能是最令人擔(dān)憂的一點(diǎn)，NMT 翻譯并不可靠。NMT 系統(tǒng)無(wú)法保證準(zhǔn)確度，常常出現(xiàn)漏掉否定詞、整個(gè)單詞甚至整個(gè)短語(yǔ)的情況。

記憶力：NMT 系統(tǒng)還有嚴(yán)重的短期記憶缺陷。目前，我們所建立的系統(tǒng)每次只能翻譯一句話，導(dǎo)致其忽略了上文中可能包含的信息。

判斷力：NMT 系統(tǒng)對(duì)外部的信息與知識(shí)幾乎沒(méi)有判斷能力。對(duì)翻譯工作來(lái)說(shuō)，把握一段內(nèi)容在特定語(yǔ)境中的理解是很重要的，但對(duì)機(jī)器來(lái)說(shuō)這很難做到。

在接下來(lái)的內(nèi)容里，我會(huì)闡述有關(guān)這三個(gè)缺陷的細(xì)節(jié)。

可靠性

NMT 無(wú)法檢查其輸出的信息是否真實(shí)。例如，NMT 系統(tǒng)可能漏掉否定詞或整段信息。這些錯(cuò)誤會(huì)導(dǎo)致什么后果呢？

“The US did not attack the EU! Nothing to fear,”

這是著名報(bào)紙 Le Monde 中用法語(yǔ)報(bào)道的內(nèi)容，然后機(jī)器翻譯成英語(yǔ)的結(jié)果是：

“The US attacked the EU! Fearless.”

試想象，如果這樣錯(cuò)誤的翻譯遍布互聯(lián)網(wǎng)，在假新聞病毒式傳播之前我們來(lái)得及更正嗎？令人沮喪的是，這樣的災(zāi)難幾乎無(wú)法挽回。

▌?dòng)洃浟?/p>

當(dāng)前的 NMT 系統(tǒng)還有一個(gè)明顯的不足：每次只能單獨(dú)翻譯一個(gè)句子。這意味著機(jī)器并不知道它們當(dāng)前翻譯的句子之前的內(nèi)容。而作為人類，我們閱讀文章的時(shí)候會(huì)聯(lián)系上下文。

那么為什么我們?cè)谟?xùn)練 NMT 系統(tǒng)時(shí)，每次只用一個(gè)句子而不是整段文檔呢？這里面有技術(shù)原因：首先，對(duì)神經(jīng)系統(tǒng)來(lái)說(shuō)，讀取一段長(zhǎng)文檔，儲(chǔ)存所有信息并快速調(diào)用都很困難；其次，當(dāng)輸入的信息量過(guò)大時(shí)，系統(tǒng)運(yùn)行的時(shí)間也會(huì)更長(zhǎng)。所以為了提高效率，我們?cè)谟?xùn)練過(guò)程中都使用了單獨(dú)的語(yǔ)句。

總之，不能聯(lián)系上下文是 NMT 的主要問(wèn)題，尤其對(duì)于翻譯一個(gè)故事來(lái)說(shuō)至關(guān)重要。講故事是人類的行為，是創(chuàng)造力、智慧和表達(dá)的結(jié)合，也因此將我們與動(dòng)物區(qū)分開(kāi)來(lái)。如果 AI 翻譯系統(tǒng)連有條理地翻譯一個(gè)故事都做不到，更不用說(shuō)文法上是否優(yōu)雅，怎么能說(shuō)它們達(dá)到了人類的水平呢？

▌判斷力

假設(shè)你在讀一篇關(guān)于音樂(lè)會(huì)的文章，然后使用 NMT 系統(tǒng)把英語(yǔ)翻譯成法語(yǔ)，發(fā)給了你講法語(yǔ)的朋友。在英文原文中，文章記錄了對(duì)許多音樂(lè)會(huì)參與者的采訪，其中包括一位年輕人的感慨：

“I’m a huge metal fan!”

但這句話被翻譯成了：

“Je suis un énorme ventilateur en métal” (“I’m a large ventilator made of metal.”)

在這篇文章中，系統(tǒng)并不知道 "metal fan" 是指熱愛(ài)金屬音樂(lè)的一類人，直接翻譯成了由金屬制造的通風(fēng)裝置。

這個(gè)問(wèn)題在機(jī)器發(fā)展初期就存在了，但至今無(wú)法解決。早在 1958 年的相關(guān)論文中就提到了該問(wèn)題，這里有一個(gè)經(jīng)典的例子：

The box was in the pen.

對(duì)此 NMT 系統(tǒng)會(huì)被 "pen" 這個(gè)單詞困擾：它在這里指寫字的工具還是圍欄呢？

對(duì) NMT 系統(tǒng)來(lái)說(shuō)，關(guān)于世界的常識(shí)知識(shí)對(duì)翻譯來(lái)說(shuō)尤為重要。然而，對(duì)這些知識(shí)全部進(jìn)行編碼以及從大量數(shù)據(jù)中提取都是很困難的。我們需要一個(gè)有自主判斷力的機(jī)制，并將常識(shí)知識(shí)引入到神經(jīng)網(wǎng)絡(luò)中。

什么是好的翻譯？

我們應(yīng)該如何評(píng)估機(jī)器翻譯系統(tǒng)的水平？目前，最常用的方法是 BLEU score。我們把機(jī)器翻譯出的內(nèi)容與人工翻譯的內(nèi)容做對(duì)比，分別計(jì)算其 BLEU 分?jǐn)?shù)。如果機(jī)器翻譯結(jié)果中的單詞和短語(yǔ)與人工的結(jié)果相似度很高，那么系統(tǒng)就會(huì)得到較高的 BLEU 分?jǐn)?shù)。

BLEU score 是一種簡(jiǎn)單卻有效的翻譯評(píng)估方法，尤其在評(píng)估性能低的系統(tǒng)時(shí)。然而研究者發(fā)現(xiàn)，BLEU score 也經(jīng)常與人類的觀點(diǎn)不同。這意味著 BLEU 指標(biāo)只能在若干低性能系統(tǒng)中挑選出最佳的一個(gè)，而面對(duì)性能更好的系統(tǒng)進(jìn)行評(píng)估時(shí)比較吃力。

相比于 BLEU 評(píng)估方法，對(duì)翻譯結(jié)果直接進(jìn)行人工評(píng)估的方法更加出色，但也并非沒(méi)有缺點(diǎn)。關(guān)于人工對(duì)機(jī)器翻譯進(jìn)行評(píng)估，存在兩個(gè)不可忽視的問(wèn)題：

人工評(píng)估不是自動(dòng)的，所以成本較高且效率低。

人工評(píng)估往往會(huì)出現(xiàn)分歧。這個(gè)問(wèn)題不僅存在于 BLEU 方法與人類之間，也存在于人類評(píng)估者之間。

總地來(lái)說(shuō)，雖然人工評(píng)估效果更好，但它需要很高的成本，同時(shí)要求盡量不能出錯(cuò)。進(jìn)一步來(lái)說(shuō)，在將 NMT 系統(tǒng)與人類譯者做對(duì)比時(shí)，要考慮到評(píng)估機(jī)制的限制因素。

我們?nèi)栽诶^續(xù)努力！未來(lái)會(huì)如何發(fā)展？

NMT 正在飛速發(fā)展，新的進(jìn)步與突破也在被頻繁報(bào)道著。新的研究正致力于解決以上提出的所有問(wèn)題：可靠性、數(shù)據(jù)偏差、無(wú)意義輸出、記憶力、對(duì)常識(shí)的判斷力以及評(píng)估標(biāo)準(zhǔn)。

過(guò)去幾年，NMT 在表現(xiàn)和效率方面都有所突破。這源于新系統(tǒng)不再需要連續(xù)處理數(shù)據(jù)，如按照從左到右或從右到左的順序，從而使我們可以同時(shí)訓(xùn)練更多的數(shù)據(jù)，最后生成更合理的翻譯結(jié)果。

同時(shí)，我們可以期待會(huì)有越來(lái)越多關(guān)于新研究的報(bào)道。哈佛的 OpenNMT -- 一個(gè)可用于 LuaTorch、PyTorch 和 Tensorflow 的開(kāi)源神經(jīng)機(jī)器翻譯工具包，正在迅速融入新的方法，以便于大家可以建立最好的翻譯系統(tǒng)。由前谷歌研究員開(kāi)發(fā)的新型商業(yè)系統(tǒng) deepL，聲稱已經(jīng)超越谷歌的翻譯系統(tǒng)。這是一個(gè)發(fā)展迅速的領(lǐng)域，這也是一個(gè)見(jiàn)證 NMT 不斷突破的時(shí)代。