無需翻譯的無監(jiān)督復(fù)述的新方法：允許從輸入句子生成多樣化、但語義上接近的句子

無需翻譯的無監(jiān)督復(fù)述的新方法：允許從輸入句子生成多樣化、但語義上接近的句子。模型基于矢量量化自動(dòng)編碼器（VQ-VAE），可以在單純語言環(huán)境中解釋句子。它還具有獨(dú)特的功能，即與量化瓶頸并行的殘余連接，可以更好地控制解碼器熵并簡化優(yōu)化過程。

近年來，研究人員一直在嘗試開發(fā)自動(dòng)復(fù)述的方法，復(fù)述就是對相同語義的不同表達(dá)，例如一句話，可以有一千種說法。這需要從文本中自動(dòng)抽象語義內(nèi)容。

由于缺乏可用的復(fù)映對標(biāo)記數(shù)據(jù)集，目前更多的是使用依賴于機(jī)器翻譯（MT）技術(shù)的方法，已經(jīng)被證明非常受歡迎。

理論上來看，翻譯技術(shù)可能是自動(dòng)復(fù)述的有效解決方案，因?yàn)榉g技術(shù)是從語言實(shí)現(xiàn)中抽象出語義內(nèi)容。例如，將相同的句子分配給不同的翻譯者，最終翻譯出來的內(nèi)容通常是有差別的，這樣就得到一個(gè)豐富的解釋集，在復(fù)述任務(wù)中可能會(huì)非常有用。

盡管許多研究人員已經(jīng)開發(fā)出基于翻譯的自動(dòng)復(fù)述方法，但顯然人類并不需要翻譯才能解釋句子。

基于這一觀察結(jié)果，Google Research的兩位研究人員最近提出了一種新的復(fù)述技術(shù)，可以不依賴機(jī)器翻譯的方法。

在預(yù)先發(fā)表在arXiv上的論文中，他們將這種單語方法與其他翻譯技巧進(jìn)行了比較（例如監(jiān)督翻譯和無監(jiān)督翻譯方法），該論文被引用了47次。

進(jìn)行這項(xiàng)研究的兩位研究人員Aurko Roy和David Grangier在他們的論文中寫道：“這項(xiàng)工作建議只從未標(biāo)記的單語語料庫中學(xué)習(xí)復(fù)述模型…為此，我們提出了矢量量化變分自動(dòng)編碼器的殘差變量。”

Aurko Roy

David Grangier

研究人員介紹的模型基于矢量量化自動(dòng)編碼器（VQ-VAE），可以在單純語言環(huán)境中解釋句子。同時(shí)，它還具有獨(dú)特的特征（即與量化瓶頸并行的殘余連接），這使得能夠更好地控制解碼器熵、并簡化優(yōu)化過程。他們的模型只需要在一種語言中使用未標(biāo)記的數(shù)據(jù)：即用語言來解釋句子。

研究人員在論文中解釋道：“與連續(xù)自動(dòng)編碼器相比，我們的方法允許從輸入句子生成多樣化、但語義上接近的句子?！?/p>

在研究中，Roy和Grangier將他們的模型表現(xiàn)與其他基于MT的方法在復(fù)述識(shí)別、生成和訓(xùn)練增強(qiáng)方面的表現(xiàn)進(jìn)行了比較。

他們特別將這種方法，與在平行雙語數(shù)據(jù)上訓(xùn)練的監(jiān)督翻譯方法、以及在兩種不同語言的非平行文本上訓(xùn)練的無監(jiān)督翻譯方法進(jìn)行了比較。

研究人員發(fā)現(xiàn)，他們的單語方法在所有任務(wù)中均優(yōu)于無監(jiān)督翻譯技術(shù)。另一方面，他們的模型和監(jiān)督翻譯方法之間的比較產(chǎn)生了混合的結(jié)果：單語方法在識(shí)別和增強(qiáng)任務(wù)中表現(xiàn)更好，而監(jiān)督翻譯方法在復(fù)述生成方面表現(xiàn)更好。

研究人員總結(jié)道：“總的來說，我們發(fā)現(xiàn)在進(jìn)行復(fù)述識(shí)別和數(shù)據(jù)增強(qiáng)方面，單語模型可以勝過雙語模式。單語模型的生成質(zhì)量要高于基于無監(jiān)督翻譯的模型，但并不高于基于有監(jiān)督翻譯的模型?！?/p>

Roy和Grangier的研究結(jié)果表明，雖然使用雙語并行數(shù)據(jù)（即文本及在其他語言中的可能翻譯）在產(chǎn)生復(fù)述能夠得到更卓越的表現(xiàn)。然而，在雙語數(shù)據(jù)不易獲得的情況下，谷歌研究院提出的單語模型可能是一種有用的資源或替代解決方案。