機器翻譯中細粒度領域自適應的數(shù)據(jù)集和基準實驗

01

—

研究動機

近年來，神經(jīng)機器翻譯（Neural Machine Translation, NMT）研究取得了重大的進展。從大規(guī)模平行數(shù)據(jù)中學習具有大規(guī)模參數(shù)的通用神經(jīng)機器翻譯模型已經(jīng)比較成熟。當需要處理特定場景中的翻譯任務時，人們廣泛采用領域自適應技術將一個通用領域的神經(jīng)機器翻譯模型遷移到目標領域。

然而現(xiàn)有領域自適應研究考慮的領域仍比較粗糙，例如法律、醫(yī)療、科技、字幕等領域。事實上，在這些領域下還存在著非常多的細粒度領域。例如，科技領域下還包含著自動駕駛(Autonomous Vehicles, AV)、AI教育(AI Education, AIE)、實時網(wǎng)絡通信(Real-Time Networks, RTN)、智能手機(Smart Phone, SP)等等細粒度領域。即使這些領域都屬于科技領域，但是在這些領域中卻存在著不同的翻譯現(xiàn)象。在詞級別，以中文“卡”字為例，它在不同的細粒度科技領域中其實對應著不同的英文翻譯（表格1）。在句子級別，在科技領域（FGraDA）和通用領域（CWMT）的分布存在著較大的差異的同時（圖1的左圖），科技領域內(nèi)部的細粒度領域的分布仍然存在著一定的差異（圖1的右圖）。

表格1中文“卡”在幾個科技細粒度領域?qū)姆g

圖1數(shù)據(jù)分布差異可視化分析

細粒度領域自適應問題是一個重要的實際應用問題。當研發(fā)人員需要為某個特定主題提供翻譯服務（比如為某個主題的會議提供翻譯）時，往往需要在特定的細粒度領域上取得更好的翻譯性能。在這些場景中，細粒度領域的專業(yè)性、研發(fā)部署的預算要求使得人們難以獲取大規(guī)模的細粒度領域平行數(shù)據(jù)，這進一步加大了建模細粒度領域的難度。當細粒度領域建模不準確時，NMT模型很容易出現(xiàn)翻譯錯誤，包括專有名詞錯誤、一詞多義錯誤、漏譯錯誤等（表格2）。為了精確建模細粒度領域、解決細粒度領域自適應問題，需要思考如何從多樣的非平行數(shù)據(jù)中挖掘有效的目標領域信息。

表格2三種典型翻譯錯誤及樣例

02

—

貢獻

本文構(gòu)建了一份細粒度領域自適應的中英機器翻譯數(shù)據(jù)集(FGraDA)。該數(shù)據(jù)集并不是為特定領域的翻譯提供數(shù)據(jù)支持，而是展示了一個包含多個細粒度領域的實際場景，制作了評估領域翻譯效果的驗證集和測試集數(shù)據(jù)，并提供了實際應用中可能面臨的多種類型的數(shù)據(jù)資源。希望該數(shù)據(jù)集可以支持在細粒度領域自適應方向的研究。

在FGraDA數(shù)據(jù)集上，我們比較了現(xiàn)有的部分自適應方法，可以作為后續(xù)研究工作的實驗基準；也分析了現(xiàn)有方法在進行細粒度領域自適應時存在的一些缺陷，希望能為后續(xù)研究工作提供參考。

03

—

數(shù)據(jù)集構(gòu)建

為了模擬真實場景，我們以四個有代表性的會議（CCF-GAIR, GIIS, RTC, Apple-Events）為基礎構(gòu)建FGraDA數(shù)據(jù)集。這四個會議對應的領域分別是：自動駕駛、AI教育、實時網(wǎng)絡通信、智能手機，這些領域都屬于科技領域下的細分領域。我們?yōu)槊總€領域配備了詞典資源、wiki資源、驗證集、測試集（數(shù)據(jù)規(guī)模如表格3所示）。詞典資源和wiki資源作為獲取成本較低的非平行資源，包含著豐富的領域信息，用于細粒度領域建模及自適應。驗證集和測試集則用于評估自適應效果。下面將具體介紹這些資源的構(gòu)建過程。

表格3FGraDA數(shù)據(jù)集各領域數(shù)據(jù)規(guī)模報告

詞典相比于平行句對是一種獲取成本更低的資源。與此同時，詞典資源可以提供領域詞語的翻譯信息，這對于處理細粒度領域翻譯任務是非常有幫助的。因此，我們?yōu)槊總€領域人工標注了一定規(guī)模的雙語詞典資源。表格4中展示了一些我們標注的詞典條目示例。標注完成后，我們請語言專家確認了詞典的準確性和可靠性。

表格4詞典條目示例

Wiki資源是機器翻譯研究中的一種重要的可利用資源。鑒于領域詞典中包含大量的領域詞語，我們利用這些英文領域詞語抽取細粒度領域相關的wiki頁面。具體來說，我們首先抽取標題中包含領域詞語的wiki頁面作為種子頁面（seed page）。這些種子頁面中的內(nèi)容是與細粒度領域高度相關的，并且這些頁面中的部分內(nèi)容還會鏈接到其他相關頁面（如圖2所示）。因此我們利用這種天然存在的鏈接關系，收集種子頁面所鏈接到的一跳頁面（one-hop-link page），進一步擴充wiki資源。最終，抽取出的種子頁面和一跳頁面共同構(gòu)成了細粒度領域相關的wiki資源（數(shù)據(jù)規(guī)模如表格5所示）。該資源不僅包含了大量的單語文本，還包含了諸如鏈接關系的結(jié)構(gòu)知識，具有非常大的利用價值。

圖2Wiki資源示例

表格5Wiki資源數(shù)據(jù)規(guī)模報告

最后，為了評估細粒度領域自適應效果，我們?yōu)楦鱾€細粒度領域標注了平行數(shù)據(jù)作為驗證集和測試集。我們從上面提到的四個會議上收集了70個小時的錄音，然后使用內(nèi)部工具將其轉(zhuǎn)錄為文本。隨后我們進行了數(shù)據(jù)清洗和數(shù)據(jù)脫敏，去除了文本語料中領域無關的句子和涉及隱私的人名、公司名。最終，經(jīng)過語言專家標注，一共在四個領域上得到了4767條中英平行句對。我們把每個領域的平行數(shù)據(jù)分為兩部分：200條作為驗證集，剩下的作為測試集。我們可以看到，僅僅是收集少量平行數(shù)據(jù)用于評估就需要花費大量的人力、物力代價。在這種情況下，期望收集更多的平行數(shù)據(jù)用于自適應學習是不現(xiàn)實的，因此本數(shù)據(jù)集也沒有提供這種資源。

04

—

基線結(jié)果

我們在FGraDA數(shù)據(jù)集上比較了部分現(xiàn)有自適應方法（實驗結(jié)果如表格6所示）。實驗結(jié)果表明現(xiàn)有方法能夠利用數(shù)據(jù)集中提供的資源取得一定的提升，并且綜合使用詞典資源和wiki資源取得的提升最多。但是，這些方法在部分領域上的翻譯性能仍然較弱。為了進一步對自適應效果進行分析，我們統(tǒng)計了表現(xiàn)最好的基線方法在測試集上的句子級別BLEU的分布情況（如圖3所示）。分布情況顯示自適應模型在大部分句子上的翻譯狀況還不理想（BLEU分數(shù)低于20），這也表明細粒度領域的翻譯效果仍然有待提升。

表格6基線方法在細粒度領域上的翻譯性能（BLEU）

圖3句子級別BLEU分布情況

05

—

有待解決的挑戰(zhàn)

在詞典資源方面，我們發(fā)現(xiàn)現(xiàn)有的領域自適應方法還無法充分利用這些詞語翻譯知識。我們在測試集上統(tǒng)計了領域詞典條目的翻譯準確率（實驗結(jié)果如表格7所示）。實驗結(jié)果表明，即使采用詞約束解碼算法Grid Beam Search（GBS），自適應模型也無法100%正確翻譯出領域詞典中的領域詞語。為了進一步分析在細粒度領域自適應中使用詞典資源的挑戰(zhàn)，我們嘗試了調(diào)節(jié)GBS算法中的權重超參數(shù)（實驗結(jié)果如圖4所示）。實驗結(jié)果表明盡管我們可以調(diào)節(jié)GBS算法中的權重超參數(shù)強制模型翻譯出更多領域詞語，但是翻譯結(jié)果的BLEU分數(shù)會大幅下降。這說明，簡單地通過詞約束解碼的方式并不能翻譯好領域詞語，如何更好地利用領域詞典仍然有待探索。

表格7領域詞典條目翻譯準確率（%）

圖4不同權重下詞典詞語翻譯準確率和BLEU分數(shù)的變化情況

在wiki資源方面，現(xiàn)有的領域自適應方法主要將wiki頁面中包含的文本作為單語數(shù)據(jù)使用，忽視了wiki頁面中包含的各種結(jié)構(gòu)化知識。這些知識對于理解領域詞語語義可能會起到非常重要的作用。我們在這里列舉出兩種重要的結(jié)構(gòu)化知識：（1）wiki頁面正文的第一句話通常是標題的定義。以圖2中的頁面標題“HDR”為例，正文的第一句話“High dynamic range (HDR) is a dynamic range higher than usual”，這是“HDR”的定義，可以幫助理解HDR的含義。（2）當前wiki頁面中鏈接到其他wiki頁面的詞語往往和當前wiki頁面的標題是高度相關的。同樣以圖2中的頁面標題“HDR”為例，該頁面中包含的“dynamic range”，“display devices”，“photography”等詞語都是和“HDR”高度相關的，也可以幫助理解“HDR”的含義。

在領域?qū)蛹壏矫妫F(xiàn)有的領域自適應方法只考慮使用目標領域?qū)念I域資源進行領域自適應，忽略了利用相近細粒度領域中的資源。為了量化細粒度領域之間的近似關系，我們評估了適應到各個領域的模型在另外三個領域的翻譯性能（實驗結(jié)果如表格8所示）。從翻譯性能的差異可以看出細粒度領域之間有的差距較大，有的差距較小。如何利用相近細粒度領域中的資源輔助當前目標細粒度領域建模，以及如何利用粗細粒度領域間的層級關系仍然是值得探究的問題。

表格8遷移到不同細粒度領域上的模型翻譯性能對比（BLEU）

06

—

總結(jié)

本文從實際問題出發(fā)，構(gòu)建了細粒度領域自適應機器翻譯數(shù)據(jù)集FGraDA。我們在FGraDA 數(shù)據(jù)集對比了現(xiàn)有的部分領域自適應方法，發(fā)現(xiàn)細粒度領域的翻譯效果仍然有待提升。進一步的分析顯示FGraDA數(shù)據(jù)集中提供的多樣非平行資源中仍然存在著非常多有待挖掘的、對自適應有益的信息。如何從各種不同資源中挖掘、利用這些信息建模細粒度領域，實現(xiàn)細粒度領域自適應是一個有待研究的重要課題。

審核編輯 ：李倩