Google最新推出的音頻編解碼器Lyra

Google最新推出的音頻編解碼器Lyra，不僅實現(xiàn)了以每秒3kb網(wǎng)絡(luò)寬帶提供聽起來自然清晰的語音聊天，還可以在僅90ms延遲的情況下在從高端云服務(wù)器到中端智能手機的任何設(shè)備上運行。

2月25日，Google AI blog發(fā)布了一篇文章詳細的介紹了最新推出的Lyra——一種用于語音壓縮的新型超低比特率編解碼器。該編解碼器使Google Duo，以及未來的其他應(yīng)用程序能夠以每秒3kb的網(wǎng)絡(luò)寬帶提供聽起來很自然清晰的語音聊天。

眾所周知，人們對實時音視頻的需求不斷增加。特別是去年由于受到疫情的影響，許多人不得不隔離在家，只能與親朋好友通過視頻通話的方式保持聯(lián)系。例如，僅去年一年Google Duo和Meet就承載了超過1萬億分鐘的視頻。而這些情況無疑是給全球的互聯(lián)網(wǎng)基礎(chǔ)設(shè)施帶來了巨大的挑戰(zhàn)。除此之外，雖然有些人可以使用一致的高質(zhì)量，高速網(wǎng)絡(luò)，但這種連接并不普遍。比如在網(wǎng)絡(luò)通信并不發(fā)達的農(nóng)村地區(qū)。然而，盡管在連接良好的地區(qū)，人們有時也會遇到質(zhì)量差、帶寬低的問題。那么如何在有限的帶寬下實現(xiàn)高質(zhì)量的音頻輸出就成為了目前最重要的議題。

Lyra音頻編解碼器

因此，Google推出了一種高質(zhì)量、低比特率的新型音頻編解碼器——Lyra。盡管用戶在網(wǎng)速很慢的情況下，也能進行語音聊天。Lyra編解碼器的基本結(jié)構(gòu)體系非常簡單，如上圖所示。而Lyra與其他音頻編解碼器的不同之處在于：它利用機器學(xué)習(xí)模型，開發(fā)了一種新的模型，能夠使用最少的數(shù)據(jù)來重建語音。這種模型不僅能夠區(qū)分信號，還能生成全新的信號。與之相比，傳統(tǒng)的參數(shù)編解碼器只從語音中提取關(guān)鍵參數(shù)，然后用于在接收端重建信號。雖然實現(xiàn)低比特率，但得到的音頻通常聽起來很機械，不自然。而Lyra利用這些新的自然聲生成模型，即能夠保持參數(shù)編解碼器的低比特率，同時又能實現(xiàn)高質(zhì)量的音頻輸出。這與目前大多流媒體平臺中使用的波形編解碼器幾乎不相上下。更重要的是，Lyra的效率足夠高，可以在僅90ms延遲的情況下在從高端云服務(wù)器到中端智能手機的任何設(shè)備上運行。

與現(xiàn)有編解碼器對比

Lyra目前被設(shè)計運行在3kbps情況下，聽力測試表明，Lyra的表現(xiàn)優(yōu)于任何其他編解碼器。并且優(yōu)于在相同8kbps情況下的Opus，從而實現(xiàn)了超過60%的帶寬減少。Lyra可以在帶寬條件不適合高比特率和現(xiàn)有的低比特率編解碼器不能提供足夠質(zhì)量的情況下使用，這是它的一大優(yōu)勢，也是解決現(xiàn)在低音頻質(zhì)量的方案。

以下是Lyra與現(xiàn)有編解碼器的對比：

在安靜的環(huán)境下：

Original原始音頻

Opus@6kbps

Lyra@3kbps

Speex@3kbps

在嘈雜的環(huán)境下：

Original原始音頻

Opus@6kbps

Lyra@3kbps

Speex@3kbps

上方是Google提供的Lyra與Opus、Speex分別以6kbps和3kbps，對同一音頻的壓縮質(zhì)量對比。能夠明顯感受到即使Lyra在3kbps情況下，自然語音音頻的清晰程度也遠優(yōu)于Opus在6kbps下的情況。

適用情況

Google已經(jīng)利用開源音頻庫對Lyra使用超過70種語言的揚聲器進行了數(shù)千小時的音頻培訓(xùn)，然后與專家和來自廣泛的聽眾一起驗證音頻質(zhì)量。Lyra在一個廣泛的數(shù)據(jù)集中訓(xùn)練，包括大量不同語言的使用者，以確保編解碼器能夠應(yīng)對各種情況。另外，Lyra還可以在云環(huán)境中使用，以方便使用各種網(wǎng)絡(luò)和設(shè)備的用戶能夠無縫對接聊天。不僅如此，Google還將Lyra與新的視頻壓縮技術(shù)（例如AV1）配對后，即使用戶通過56kbps撥號調(diào)制調(diào)節(jié)器連接到Internet，也可以進行視頻聊天。

責任編輯：lq