百度研究院推出了他們有關(guān)TTS的成果——ClariNet

語音合成，也被稱作TTS（text-to-speech），該技術(shù)的應(yīng)用目前已十分廣泛了，例如智能家居設(shè)備和智能助手等，論智也曾報道過很多相關(guān)研究項(xiàng)目。

百度研究者利用少量樣本實(shí)現(xiàn)語音克隆

谷歌發(fā)布新語音合成模型Tacotron 2：這竟是機(jī)器說的話？

谷歌大腦發(fā)力語音搜索：一個用于語音識別的端到端模型

近日，百度研究院推出了他們有關(guān)TTS的成果——ClariNet，成為百度在TTS研究上的又一里程碑。此前基于神經(jīng)內(nèi)網(wǎng)絡(luò)的TTS模型是將優(yōu)化的文本到聲譜圖和波形合成模型分開來的，這可能會導(dǎo)致不理想的表現(xiàn)。而ClariNet第一次做到了用完全的端到端TTS模型，直接將文本轉(zhuǎn)換成波形圖，并且只需要一個神經(jīng)網(wǎng)絡(luò)即可。它的全卷積結(jié)構(gòu)能夠從零開始快速地訓(xùn)練。ClariNet在語音的自然度方面成功地超越了其他方法。以下是論智對這篇論文的編譯。

論文摘要

WaveNet是DeepMind去年推出的基于深度學(xué)習(xí)的語音生成模型，它可以生成平行的語音波形，即整個句子中所有的詞語都可以同時生成對應(yīng)的波形?，F(xiàn)在，我們提出了一種替代WaveNet的方法，我們從自回歸的WaveNet中提取一個高斯逆自回歸流（Gaussian Inverse autoregressive flow），并且以閉合形式計算KL散度，簡化了訓(xùn)練算法并且提供了非常高效的蒸餾過程。除此之外，我們還提出了首個針對語音合成的文本到波形的神經(jīng)架構(gòu)（text-to-wave），這是全卷積的，并且可以快速地從零開始進(jìn)行端到端訓(xùn)練。除此之外，我們還成功地在模型的隱藏表示中創(chuàng)建了并行波形生成器。

并行波形生成

在模型中，我們用高斯自回歸WaveNet作為“老師網(wǎng)絡(luò)”，將高斯逆自回歸流作為“學(xué)生網(wǎng)絡(luò)”。2018年，Oord等人提出了概率密度蒸餾法來降低逆自回歸流（IAF）的最大可能學(xué)習(xí)中的難度。蒸餾過程中，學(xué)生網(wǎng)絡(luò)IAF試著將它自己的樣本分布與在自回歸的WaveNet中訓(xùn)練的樣本相匹配。然而，學(xué)生網(wǎng)絡(luò)IAF的輸出邏輯分布和教師網(wǎng)絡(luò)WaveNet的輸出之間的KL散度是不相容的，必須使用蒙特卡羅方法進(jìn)行大概計算。而最終并行的WaveNet需要在蒸餾過程中進(jìn)行雙次采樣：首先要將白噪聲輸入到學(xué)生網(wǎng)絡(luò)中，然后從學(xué)生網(wǎng)絡(luò)的輸出分布中選擇多個不同樣本對KL散度進(jìn)行估計。

但是在我們的模型中，加入了高斯設(shè)置，密度蒸餾方法只需要一個白噪聲樣本，然后將其輸入封閉的KL散度計算中。我們的學(xué)生IAF網(wǎng)絡(luò)在蒸餾過程中和老師WaveNet使用同一個條件網(wǎng)絡(luò)（2D卷積層）。

Text-to-Wave架構(gòu)

我們的卷積text-to-wave架構(gòu)如下圖所示：

它是基于另一個基于注意力的卷積TTS模型——Deep Voice 3創(chuàng)建的。Deep Voice 3能夠?qū)⑽谋咎卣鳎ɡ缱址?、音素、?qiáng)調(diào)等）轉(zhuǎn)換成波譜特征（例如log-mel聲譜和log-linear聲譜）。這些波普特征可以輸入到訓(xùn)練波形合成的模型中，例如WaveNet。相反，我們直接將從注意力機(jī)制中學(xué)習(xí)到的隱藏表示輸入到神經(jīng)語音編碼器中，用端到端的方式從零訓(xùn)練整個模型。

我們所提出的架構(gòu)包含四個部分：

編碼器：一個和Deep Voice 3相同的編碼器，它可以將文本特征編寫進(jìn)內(nèi)部的隱藏表示。

解碼器：同樣和Deep Voice 3相同，可以用自回歸的方式將編碼器中的內(nèi)容加碼城log-mel聲譜。

Bridge-net：這是一個卷積中間處理模塊，它可以從解碼器中處理隱藏表示，并且預(yù)測log-linear聲譜。與解碼器不同的是，它并非是因果聯(lián)系的，并且可以使用未來的語境。另外，它還可以從框架層到采樣層對隱藏表示進(jìn)行上采樣。

語音編碼器：高斯自回歸WaveNet可以合成波形，但是只能在上采樣后的隱藏表示中實(shí)現(xiàn)。而它可以由自回歸語音編碼器的學(xué)生IAF網(wǎng)絡(luò)替換。

實(shí)驗(yàn)過程

我們進(jìn)行了幾組實(shí)驗(yàn)來評估所提出的并行波形生成方法和text-to-wave結(jié)構(gòu)。我們用了20個小時的英文演講作為訓(xùn)練數(shù)據(jù)，下采樣后音頻變?yōu)?4kHz。

首先我們測試了生成語音的自然程度，用MOS分?jǐn)?shù)表示：

結(jié)果表示，高斯自回歸WaveNet和MoGul以及softmax輸出水平相當(dāng)，比MoL要好。

接著我們將一個60層的并行學(xué)生網(wǎng)絡(luò)從20層的高斯自回歸WaveNet中進(jìn)行蒸餾，它包括6個堆疊的高斯逆自回歸流，每個流都由一個10層的WaveNet進(jìn)行參數(shù)化。我們測試了前向和逆向KL散度，結(jié)果如下：

兩種蒸餾方法都得到了不錯的分?jǐn)?shù)，我們希望未來加入感知和對比損失后會進(jìn)一步提升。

最后我們從零訓(xùn)練了text-to-wave模型，并將其與Deep Voice 3中的同類模型相比，結(jié)果如下：

該分?jǐn)?shù)表明text-to-wave模型明顯比其他模型表現(xiàn)得好，并且有經(jīng)過蒸餾的語音編碼器的模型呢自回歸神經(jīng)編碼器的表現(xiàn)水平相當(dāng)。

結(jié)語

百度在語音合成方面的確做出了許多努力，今年三月，他們還推出了神經(jīng)語音克隆系統(tǒng)，只需輸入少量樣本就能合成逼真語音。而今天的ClariNet是語音合成的又一里程碑，是該領(lǐng)域第一個真正的端到端模型，在GPU上取得了更高質(zhì)量的結(jié)果。