Stability AI推出Stable audio的文本到音頻生成人工智能平臺(tái)

Stability AI是一家主要以人工智能生成的視覺(jué)效果而聞名的公司，它推出了一個(gè)名為Stable audio的文本到音頻生成人工智能平臺(tái)。

Stable Audio使用擴(kuò)散模型，與該公司更受歡迎的圖像平臺(tái)Stable diffusion的AI模型相同，但使用音頻而非圖像進(jìn)行訓(xùn)練。用戶(hù)可以使用它為任何項(xiàng)目生成歌曲或背景音頻。

音頻擴(kuò)散模型傾向于生成固定長(zhǎng)度的音頻，這對(duì)音樂(lè)制作來(lái)說(shuō)很糟糕，因?yàn)楦枨拈L(zhǎng)度可能不同。Stability AI的新平臺(tái)允許用戶(hù)發(fā)出不同長(zhǎng)度的聲音，要求公司對(duì)音樂(lè)進(jìn)行訓(xùn)練，并在歌曲的開(kāi)始和結(jié)束時(shí)間周?chē)砑游谋驹獢?shù)據(jù)。

同時(shí)，它可以實(shí)現(xiàn)實(shí)時(shí)的音頻生成，無(wú)需等待長(zhǎng)時(shí)間的渲染過(guò)程。Stability AI 宣稱(chēng)，Stable Audio 模型可以在一秒內(nèi)渲染出 95 秒的立體聲音頻，并且只需要一個(gè) NVIDIA A100 GPU。

并且，Stable Audio是一個(gè)開(kāi)源的項(xiàng)目，任何人都可以免費(fèi)使用和修改。Stability AI 希望通過(guò)開(kāi)源的方式促進(jìn) AI 領(lǐng)域的創(chuàng)新和發(fā)展，并讓更多人享受到 AI 技術(shù)帶來(lái)的便利和樂(lè)趣。

該公司在一份聲明中表示：“Stable Audio代表了Stability AI生成音頻研究實(shí)驗(yàn)室Harmonai的尖端音頻生成研究。我們會(huì)繼續(xù)改進(jìn)我們的模型架構(gòu)、數(shù)據(jù)集和訓(xùn)練程序，以提高輸出質(zhì)量、可控性、推理速度和輸出長(zhǎng)度。”

文本到音頻的生成并不是什么新鮮事，因?yàn)樯扇斯ぶ悄茴I(lǐng)域的其他大牌一直在玩弄這個(gè)概念。Meta于8月發(fā)布了AudioCraft，這是一套生成的人工智能模型，有助于根據(jù)提示創(chuàng)建聽(tīng)起來(lái)自然的ERM、聲音和音樂(lè)。到目前為止，它只提供給研究人員和一些音頻專(zhuān)業(yè)人士。谷歌的MusicLM也可以讓人們產(chǎn)生聲音，但只對(duì)研究人員開(kāi)放。

審核編輯：彭菁