搜索歷史

清空
搜索熱詞
      0
      • 聊天消息
      • 系統(tǒng)消息
      • 評論與回復(fù)
      VIP于 到期 續(xù)費
      登錄后你可以
      • 下載海量資料
      • 學(xué)習(xí)在線課程
      • 觀看技術(shù)視頻
      • 寫文章/發(fā)帖/加入社區(qū)
      會員中心
      創(chuàng)作中心
      發(fā)布
      創(chuàng)作活動

      完善資料讓更多小伙伴認識你，還能領(lǐng)取20積分哦，立即完善>

      3天內(nèi)不再提示

      語音領(lǐng)域的GPT時刻：Meta 發(fā)布「突破性」生成式語音系統(tǒng)，一個通用模型解決多項任務(wù)

      智能感知與物聯(lián)網(wǎng)技術(shù)研究所 ? 來源：未知 ? 2023-06-18 21:30 ? 次閱讀

      繼開源 LLaMA 之后，Meta 在生成式 AI 方向又公布一項重大研究。

      我們知道，GPT、DALL-E 等大規(guī)模生成模型徹底改變了自然語言處理和計算機視覺研究。這些模型可以生成高保真文本或圖像，而且它們有個重要特點就是「通才」，可以解決沒訓(xùn)過的任務(wù)。相比之下，語音生成模型在規(guī)模和任務(wù)泛化方面一直沒有「突破性」成果。 今日，Meta 介紹了一種「突破性」的生成式語音系統(tǒng)，它可以合成六種語言的語音，執(zhí)行噪聲消除、內(nèi)容編輯、轉(zhuǎn)換音頻風(fēng)格等。Meta 稱之為最通用的語音生成 AI。

      ab49431c-0ddb-11ee-962d-dac502259ad0.png

      相關(guān)研究論文也已公布。接下來我們具體看下這下項研究。

      ab689302-0ddb-11ee-962d-dac502259ad0.png

      論文：https://research.facebook.com/publications/voicebox-text-guided-multilingual-universal-speech-generation-at-scale/ Meta 表示，Voicebox 是第一個沒有經(jīng)過專門針對語音生成的訓(xùn)練，卻可以泛化到語音生成任務(wù)的模型。 與圖像和文本的生成一樣，Voicebox 可以創(chuàng)建多種樣式的語音輸出，包括從頭開始創(chuàng)建輸出和修改給定的樣本。Voicebox 可以合成六種語言的語音，以及執(zhí)行噪聲去除、內(nèi)容編輯、風(fēng)格轉(zhuǎn)換和多樣化樣本生成。 在 Voicebox 出現(xiàn)之前，生成語音的 AI 需要使用精心準(zhǔn)備的訓(xùn)練數(shù)據(jù)對每項任務(wù)進行特定訓(xùn)練。而 Voicebox 僅需要從原始音頻和隨附的轉(zhuǎn)錄文本中學(xué)習(xí)，并且 Voicebox 可以修改給定樣本的任何部分。 Voicebox 基于一種稱為流匹配（Flow Matching）的方法，該方法已被證明可以改進擴散模型。 在生成效果方面，Voicebox 的可懂度（詞錯率：1.9% VS 5.9%）和音頻相似度（0.681 VS 0.580）優(yōu)于當(dāng)前英文語音生成 SOTA 模型 VALL-E，并且速度快了 20 倍。在跨語言風(fēng)格遷移任務(wù)上，Voicebox 優(yōu)于 YourTTS，將平均詞錯率從 10.9% 降低到 5.2%，將音頻相似度從 0.335 提高到 0.481。

      ab7baaa0-0ddb-11ee-962d-dac502259ad0.png

      Voicebox 在詞錯率指標(biāo)上的表現(xiàn)優(yōu)于 Vall-E 和 YourTTS，實現(xiàn)新的 SOTA。

      ab87e856-0ddb-11ee-962d-dac502259ad0.png

      在英語和多語言基準(zhǔn)的音頻風(fēng)格相似度指標(biāo)上，Voicebox 都取得了新的最佳結(jié)果。 語音生成新方法 現(xiàn)有語音合成器的一大主要局限是它們的訓(xùn)練數(shù)據(jù)都是針對目標(biāo)任務(wù)準(zhǔn)備的。這些輸入基本都要求是單調(diào)的干凈數(shù)據(jù)，也因此難以獲取，數(shù)據(jù)量很有限，并且用這些數(shù)據(jù)訓(xùn)練出的模型也只能輸出單調(diào)的聲音。 Voicebox 基于流匹配（Flow Matching）模型，這是 Meta 在非自回歸生成模型方面的最新進展，其可以學(xué)習(xí)到文本和語音之間高度非確定性的映射關(guān)系。非確定性映射很有用，因為這能讓 Voicebox 學(xué)習(xí)不同的語音數(shù)據(jù)而無需仔細標(biāo)注這些變體。也就是說，Voicebox 可以在更多樣化的數(shù)據(jù)上訓(xùn)練，因此可使用數(shù)據(jù)的范圍也大得多。 Meta 訓(xùn)練 Voicebox 時使用的數(shù)據(jù)來自英語、法語、德語、西班牙語、波蘭語、葡萄牙語這六種語言，包含 50000 小時的錄音和轉(zhuǎn)錄文本以及公共領(lǐng)域的有聲書。Voicebox 的訓(xùn)練目標(biāo)是根據(jù)周圍語音和某片段的轉(zhuǎn)錄文本來預(yù)測該片段的語音。學(xué)習(xí)過基于上下文填充語音之后，該模型就能讓其用于各種語音生成任務(wù)，包括生成音頻錄音中的缺失片段（無需重建整個輸入）。 Voicebox 的這種多功能性使其可以很好地執(zhí)行多種不同任務(wù)，包括： 基于語境的文本轉(zhuǎn)語音合成：僅需使用長度 2 秒的輸入音頻樣本，Voicebox 就能匹配樣本的音頻風(fēng)格并將其用于文本轉(zhuǎn)語音生成。這一能力具有重要的應(yīng)用前景，比如可以為難以說話的人帶來語音表達能力，還能讓用戶為 NPC 角色和虛擬助手定制聲音。 跨語言風(fēng)格遷移：給定一段語音樣本和對應(yīng)的文本片段，不管是英語、法語、德語，還是西班牙語、波蘭語、葡萄牙語，Voicebox 都能以該語言讀出該文本。這是一種激動人心的能力，因為這能幫助人們自然而真實地交流 —— 即便他們不說同一種語言。 語音降噪和編輯：Voicebox 的上下文學(xué)習(xí)能力讓它可以在音頻錄音中生成無縫銜接的片段。要是音頻中出現(xiàn)了被噪聲污染的片段，它也可以為其重新合成，甚至無需重新錄音就能替換原音頻中說錯的詞句。用戶可以辨別原始音頻中被噪聲（比如犬吠聲）污染的片段，然后將其裁剪下來，再指示 Voicebox 重新生成該片段。這項能力有望讓音頻編輯變得非常簡單，就像現(xiàn)在流行的圖像編輯工具調(diào)整圖像一樣。 多樣化的語音采樣：Voicebox 學(xué)習(xí)了多樣化的野外數(shù)據(jù)，所以可以生成就像在現(xiàn)實世界中說話的聲音，并且支持上述六種語言。未來，這種能力可用于合成數(shù)據(jù)，然后用于訓(xùn)練語音助理模型等。Meta 的實驗結(jié)果表明，基于 Voicebox 合成語音訓(xùn)練的語音識別模型的表現(xiàn)幾乎不遜于使用真實語音訓(xùn)練的模型 —— 錯誤率僅高了 1%；而要是使用之前的文本轉(zhuǎn)語音模型合成的數(shù)據(jù)訓(xùn)練，錯誤率會提升 45%-70%。 Meta 表示，Voicebox 作為首個能成功執(zhí)行任務(wù)泛化的高效的多功能模型，將開創(chuàng)一個語音生成式 AI 的新時代。 但 Meta 也沒有否認這項技術(shù)可能被誤用乃至被惡意使用。為了應(yīng)對這種可能性，降低潛在的風(fēng)險，Meta 還構(gòu)建了一種分類器，其宣稱可有效分辨真實語音和 VoiceBox 生成的音頻。 Voicebox 是生成式 AI 研究的重要一步。具備任務(wù)泛化能力的生成式 AI 模型正在催生出涉及文本、圖像和視頻生成的實際應(yīng)用，這將讓生成式 AI 更上一層樓。 參考內(nèi)容：https://www.engadget.com/metas-open-source-speech-ai-recognizes-over-4000-spoken-languages-161508200.htmlhttps://ai.facebook.com/blog/voicebox-generative-ai-model-speech/

      原文標(biāo)題：語音領(lǐng)域的GPT時刻：Meta 發(fā)布「突破性」生成式語音系統(tǒng)，一個通用模型解決多項任務(wù)

      文章出處：【微信公眾號：智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

      聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。 舉報投訴

      原文標(biāo)題：語音領(lǐng)域的GPT時刻：Meta 發(fā)布「突破性」生成式語音系統(tǒng)，一個通用模型解決多項任務(wù)

      文章出處：【微信號：tyutcsplab，微信公眾號：智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

      收藏 人收藏

        評論

        相關(guān)推薦

        【「具身智能機器人系統(tǒng)」閱讀體驗】2.具身智能機器人大模型

        近年來，人工智能領(lǐng)域的大模型技術(shù)在多個方向上取得了突破性的進展，特別是在機器人控制領(lǐng)域展現(xiàn)出了巨大的潛力。在“具身智能機器人大模型”部分，作
        發(fā)表于 12-29 23:04

        Meta重磅發(fā)布Llama 3.3 70B：開源AI模型的新里程碑

        ?在人工智能領(lǐng)域，Meta的最新動作再次引起了全球的關(guān)注。今天，我們見證了Meta發(fā)布的 Llama 3.3 70B 模型，這是
        的頭像 發(fā)表于 12-18 16:46 ?135次閱讀
        <b class='flag-5'>Meta</b>重磅<b class='flag-5'>發(fā)布</b>Llama 3.3 70B：開源AI<b class='flag-5'>模型</b>的新里程碑

        階躍星辰發(fā)布國內(nèi)首個千億參數(shù)端到端語音大模型

        近日，階躍星辰在官方公眾號上宣布了一項重大突破——推出Step-1o千億參數(shù)端到端語音大模型。該模型被譽為“國內(nèi)首個千億參數(shù)端到端
        的頭像 發(fā)表于 12-17 13:43 ?195次閱讀

        Meta發(fā)布新AI模型Meta Motivo，旨在提升元宇宙體驗

        Meta在人工智能領(lǐng)域邁出了重要一步。通過這款模型，Meta希望能夠為用戶提供更加自然、流暢的元宇宙交互體驗。數(shù)字代理在元宇宙中的動作將更加
        的頭像 發(fā)表于 12-16 10:34 ?321次閱讀

        英偉達預(yù)測機器人領(lǐng)域或迎“GPT-3時刻”

        未來2-3年內(nèi)，機器人基礎(chǔ)模型的研究將迎來重大突破，這一時刻被形象地比喻為機器人領(lǐng)域的“GPT-3時刻
        的頭像 發(fā)表于 09-20 17:05 ?802次閱讀

        Jim Fan展望:機器人領(lǐng)域即將迎來GPT-3式突破

        英偉達科學(xué)家9月19日，科技媒體The Decoder發(fā)布了一則引人關(guān)注的報道，英偉達高級科學(xué)家Jim Fan在近期預(yù)測，機器人技術(shù)將在未來兩到三年內(nèi)迎來類似GPT-3在語言處理領(lǐng)域的
        的頭像 發(fā)表于 09-19 15:13 ?586次閱讀

        Meta發(fā)布Imagine Yourself AI模型，重塑個性化圖像生成未來

        Meta公司近日在人工智能領(lǐng)域邁出了重要一步，隆重推出了其創(chuàng)新之作——“Imagine Yourself”AI模型，這一
        的頭像 發(fā)表于 08-26 10:59 ?517次閱讀

        Meta發(fā)布全新開源大模型Llama 3.1

        科技巨頭Meta近期震撼發(fā)布了其最新的開源人工智能（AI）模型——Llama 3.1，這一舉措標(biāo)志著Meta在AI
        的頭像 發(fā)表于 07-24 18:25 ?1445次閱讀

        Transformer模型在語音識別和語音生成中的應(yīng)用優(yōu)勢

        自然語言處理、語音識別、語音生成等多個領(lǐng)域展現(xiàn)出強大的潛力和廣泛的應(yīng)用前景。本文將從Transformer模型的基本原理出發(fā)，深入探討其在
        的頭像 發(fā)表于 07-03 18:24 ?1148次閱讀

        聆思CSK6視覺語音大模型AI開發(fā)板入門資源合集（硬件資料、大模型語音/多模態(tài)交互/英語評測SDK合集）

        大模型語音問答、拍照識圖、大模型繪圖等豐富供能示例，支持語音喚醒、多輪語音交互。 2智能對話除了大模型
        發(fā)表于 06-18 17:33

        中國電信發(fā)布首個支持30種方言混說語音大模型

        中國電信人工智能研究院（TeleAI）近日發(fā)布了一項引領(lǐng)業(yè)界的語音識別技術(shù)——星辰超多方言語音識別大模型。這
        的頭像 發(fā)表于 05-28 09:14 ?576次閱讀

        【大語言模型：原理與工程實踐】揭開大語言模型的面紗

        學(xué)習(xí)能力。這些模型以生成能力強和靈活性強為特點，逐漸演變成一種通用計算平臺。其參數(shù)多樣性、生成能
        發(fā)表于 05-04 23:55

        OpenAI發(fā)布首個視頻生成模型Sora

        OpenAI近日宣布推出其全新的文本到視頻生成模型——Sora。這一突破性的技術(shù)將視頻創(chuàng)作帶入了一個
        的頭像 發(fā)表于 02-18 10:07 ?1071次閱讀

        Meta發(fā)布CodeLlama70B開源大模型

        Meta發(fā)布CodeLlama70B開源大模型 Meta發(fā)布了開源大模型CodeLlama70B
        的頭像 發(fā)表于 01-31 10:30 ?1426次閱讀

        Meta推出最新版AI代碼生成模型Code Llama70B

        Meta近日宣布了其最新版本的AI代碼生成模型Code Llama70B，并稱其為“目前最大、最優(yōu)秀的模型”。這一更新標(biāo)志著
        的頭像 發(fā)表于 01-30 18:21 ?1456次閱讀