微軟與浙大開發(fā)新AI模型，解決語音助手卡頓問題

（文章來源：雷鋒網）

目前，Google Assistant 語音助手及最近出現(xiàn)在 Alexa 和 Amazon Polly 服務中的新聞播音員的語音乍聽上去幾乎與人聲無異。事實上，這些語音助手都是由文本-語音模型提供支持的。

在當下，基于神經網絡的端到端文本-語音合成技術發(fā)展迅速，大多數(shù)模型的合成方法為：從文本生成梅爾譜（Mel-Spectrogram，即一種展示聲音功率的光譜圖），然后使用聲碼器（分析和合成語音信號的編解碼器）合成語音。

但是，這種合成方法存在著一些不可避免的問題，主要包括：速度慢：端到端模型通常以自回歸方式生成梅爾譜，再通過聲碼器合成語音，而一段語音的梅爾譜通常能到幾百上千幀，導致合成速度較慢；穩(wěn)定性差：序列生成的錯誤傳播及注意力對齊不準，會導致出現(xiàn)重復吐詞或漏詞現(xiàn)象；缺乏可控性：自回歸的神經網絡模型自動決定一條語音的生成長度，不易控制語速或韻律停頓等。

為解決這些問題，微軟（亞洲）互聯(lián)網工程院語音團隊聯(lián)合浙江大學提出了一種新的機器學習模型 FastSpeech，并在論文《FastSpeech：快速、強大且可控的文本-語音模型》中詳細介紹了該模型。另外，值得一提的是，該論文已被溫哥華 NeurIPS 2019 會議錄用。

與其他文本-語音模型相比，F(xiàn)astSpeech 模型架構較為獨特，且有著更佳的性能（其梅爾譜生成速度比基線快 270 倍，語音生成速度比基線快 38 倍）。不僅如此，它還能夠避免了單詞跳過等錯誤，還支持精細調整語速和單詞中斷。

更為重要的是，F(xiàn)astSpeech 包含長度調節(jié)器，可協(xié)調梅爾譜序列和音素序列（即感知度不同的聲音單位）之間的差異。

簡單來講，由于音素序列的長度總是小于梅爾譜序列長度，一個音素對應多個梅爾譜。而長度調節(jié)器會根據(jù)持續(xù)時間，擴展音素序列以匹配梅爾譜序列長度（一個補充時長預測器組件確定一個音素的時長）。 增加或減少與音素或音素持續(xù)時間匹配的梅爾譜數(shù)目，可成比例地調整語音速度。

為驗證 FastSpeech 的有效性，研究人員將其與開源的 LJ Speech 數(shù)據(jù)集進行了對比，該數(shù)據(jù)集包含 13100 個英語音頻片段（相當于 24 個小時的音頻）和相應的文本轉錄。在將數(shù)據(jù)集隨機分成用于訓練的 12500 個樣本、用于驗證的 300 個樣本和用于測試的 300 個樣本后，他們對語音質量、穩(wěn)定性等進行了一系列評估。

論文中，研究團隊主要從語音質量（audio quality）、生成速度（inference speedup）、穩(wěn)定性（robustness）和可控性（controllability）等方面評估?FastSpeech 模型的性能。

研究團隊表示，F(xiàn)astSpeech 的質量幾乎與谷歌的 Tacotron 2 文本-語音模型相當，在穩(wěn)定性上輕松超過主流的 Transformer 模型。同時，與基線的 34% 有效錯誤率相比，F(xiàn)astSpeech 的有效錯誤率為零。（但不可否認的是，其穩(wěn)定性測試只涉及 50 個語義復雜的句子） 此外，F(xiàn)astSpeech 能在保持準確度的前提下，將生成的語音速度從 0.5 倍變?yōu)?1.5 倍。

因此，研究團隊表示，F(xiàn)astSpeech 兼具快速、魯棒、可控等特點。論文的最后，研究團隊也提到，未來將把 FastSpeech 和速度更快的聲碼器組合成單一模型，提供完全端到端的文本-語音解決方案。
? ? ? （責任編輯：fqj）