Facebook采用無(wú)監(jiān)督機(jī)器學(xué)習(xí)翻譯其平臺(tái)上內(nèi)容

【概要】臉書(shū)公司開(kāi)始使用無(wú)監(jiān)督機(jī)器學(xué)習(xí)來(lái)為其用戶(hù)提供翻譯服務(wù)。

由于缺少?gòu)囊环N語(yǔ)言到另一種語(yǔ)言的很多翻譯示例——例如從英語(yǔ)到烏爾都語(yǔ)（Urdu），F(xiàn)acebook（臉書(shū)）公司已經(jīng)開(kāi)始使用無(wú)監(jiān)督的機(jī)器學(xué)習(xí)來(lái)翻譯其平臺(tái)上的內(nèi)容。

Facebook人工智能研究院（FacebookAI Research，F(xiàn)AIR）巴黎實(shí)驗(yàn)室的主任Antoine Bordes表示：該方法由FAIR設(shè)計(jì)，并由FAIR和Facebook的應(yīng)用機(jī)器學(xué)習(xí)部門(mén)合作用于其平臺(tái)。在實(shí)驗(yàn)中，該方法的表現(xiàn)與經(jīng)過(guò)10萬(wàn)次翻譯訓(xùn)練的有監(jiān)督模型相當(dāng)，并且在翻譯示例很少的情況下，其表現(xiàn)優(yōu)于Facebook的語(yǔ)言匹配系統(tǒng)。Bordes說(shuō)：“當(dāng)你處理像英語(yǔ)到烏爾都語(yǔ)這樣的案例很少的翻譯任務(wù)時(shí)，我們系統(tǒng)的表現(xiàn)超過(guò)了有監(jiān)督的系統(tǒng)。因此，在沒(méi)有足夠數(shù)據(jù)的時(shí)候，訓(xùn)練無(wú)監(jiān)督系統(tǒng)比有監(jiān)督系統(tǒng)更好?！?/p>

由Facebook人工智能研究人員Guillaume Lample和Marc'Aurelio Ranzato領(lǐng)導(dǎo)的這項(xiàng)工作的成果將于今年秋季在EMNLP 2018上公布。作為FAIR的一名老員工，Bordes表示這項(xiàng)研究是他見(jiàn)過(guò)的最好的翻譯系統(tǒng)。Bordes說(shuō)：“我們現(xiàn)在可以去一個(gè)使用未知語(yǔ)言的星球—或者說(shuō)，跟外星人交談—你可以嘗試對(duì)他們所說(shuō)的內(nèi)容進(jìn)行合理的翻譯。你也可以從一本古老的手稿上找到尚未破譯的語(yǔ)言，你可以真正了解它的含義，因此這項(xiàng)工作真的在這些方面取得了突破，而這就是我如此興奮的原因。”

與FAIR的其他項(xiàng)目一樣，該AI系統(tǒng)將是開(kāi)源的，可以在GitHub上下載。今年早些時(shí)候，F(xiàn)acebook將Translate做了開(kāi)源，這是目前Facebook用來(lái)輔助翻譯的人工智能系統(tǒng)。Translate等系統(tǒng)需要大量的標(biāo)記數(shù)據(jù)。例如，完成從法語(yǔ)到英語(yǔ)的翻譯需要數(shù)百萬(wàn)個(gè)樣本句子來(lái)創(chuàng)建一個(gè)能夠理解這兩種語(yǔ)言的系統(tǒng)。因此，在缺少翻譯示例時(shí)，翻譯工作是非常困難的。

當(dāng)前用于處理這種案例的人工智能系統(tǒng)結(jié)合了三個(gè)要素：逐字翻譯、語(yǔ)言模型和反向翻譯。逐字翻譯的訓(xùn)練原理為：根據(jù)一個(gè)句子中某個(gè)字的前面五個(gè)單詞和后面五個(gè)單詞來(lái)推測(cè)其上下文含義，然后對(duì)該單詞進(jìn)行預(yù)測(cè)。這個(gè)嵌入詞語(yǔ)的方法是在2017年秋天Lample和Ranzato共同撰寫(xiě)的一篇論文中提出的。然后，使用大量數(shù)據(jù)（如書(shū)籍或其他書(shū)面文本）訓(xùn)練的語(yǔ)言模型被用于按照英語(yǔ)或?yàn)鯛柖颊Z(yǔ)使用者能夠理解的結(jié)構(gòu)來(lái)安排句子。最后，使用反向翻譯來(lái)改進(jìn)通過(guò)逐字翻譯和語(yǔ)言模型獲得的翻譯結(jié)果。這些方法并不新鮮，但三者的結(jié)合的確是有效的。

Bordes稱(chēng)：“使用這兩個(gè)系統(tǒng)，并在兩種語(yǔ)言之間進(jìn)行雙向翻譯，我可以將它們進(jìn)行同時(shí)訓(xùn)練以獲得相互促進(jìn)，所以真正核心思想是使用這些詞語(yǔ)（翻譯模型），利用該語(yǔ)言模型做第一次翻譯，然后用反向翻譯的方法嘗試進(jìn)行改進(jìn)。”

Facebook將在未來(lái)探索將這種人工智能系統(tǒng)用于其他形式的翻譯，但需要更多的數(shù)據(jù)，并需要與專(zhuān)業(yè)翻譯人員合作來(lái)驗(yàn)證結(jié)果。