冬日暖心禮 | Toy Jensen AI 演唱送祝福，虛擬人背后技術解讀！

今年 11 月，NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在一次活動后偶遇了兩位正在直播的歌手，黃仁勛加入其中，為她們的音樂喝彩。新的一年將至，以 AI 打造的實時對話 AI 虛擬化身 Toy Jensen 為大家獻曲并送上暖心的節(jié)日祝福！

創(chuàng)建 Toy Jensen：

NVIDIA Omniverse Avatar Cloud Engine

這段 Toy Jensen 的表演視頻展示了 NVIDIA Omniverse Avatar Cloud Engine （ACE） 平臺的部分核心技術。Omniverse ACE 是一個云原生 AI 微服務和工作流的集合。開發(fā)者可以使用它輕松構建、自定義和部署引人入勝的交互式虛擬形象。

目前市場上的虛擬化身開發(fā)工作需要專業(yè)的知識、專業(yè)的設備以及大量人手。而 Omniverse ACE 則不同，它建立在 NVIDIA 的統(tǒng)一計算框架 （UCF） 基礎上，可以使用更少的代碼快速創(chuàng)建和配置AI流程。

NVIDIA 技術項目經(jīng)理 Cyrus Hogg 表示：“這是一項令人驚喜的技術，而我們能夠做到這一點也非常了不起。”

Toy Jensen 演唱背后技術揭秘

為了帶來一場精彩的表演，NVIDIA 的團隊使用最近開發(fā)的語音轉換模型，從他們提供的樣本中提取出專業(yè)歌手的聲音并將其變成 Toy Jensen 的聲音。Toy Jensen 原來的聲音是使用數(shù)小時的真實錄音訓練開發(fā)而成。這次，團隊使用該樣本中的音調并將其應用于 Toy Jensen 的數(shù)字聲音，讓虛擬化身以原歌手相同的音調和節(jié)奏唱歌。

NVIDIA 的創(chuàng)作團隊甚至和曾與 Michael Bublé 和 David Foster 合作過的作曲家兼制作人 Jochem van der Saag 一起為 Toy Jensen 創(chuàng)作了完美的伴奏曲。

NVIDIA 技術項目經(jīng)理 Cyrus Hogg 表示：“我們請 van der Saag 作曲，并為我們編排這首歌。這很好地彌補了我們團隊的不足，我們十分高興他能夠加入?！?/span>

雖然將所創(chuàng)建的音樂曲目轉換成一個精致的視頻只用了幾個小時，但 Omniverse ACE 技術背后的團隊花了數(shù)年時間來開發(fā)和調整這段表演中所展示的技術。

Audio2Face 與 Audio2Gesture

實現(xiàn)真實的面部表情和身體動作

NVIDIA 的創(chuàng)作團隊使用了 Omniverse ACE，Omniverse Audio2Face 和 Audio2Gesture 技術，僅根據(jù) Toy Jensen 的音頻就為這段動畫表演生成了逼真的面部表情和身體動作。

ACE 將徹底改變虛擬體驗

Toy Jensen 的視頻淋漓盡致地展示了 NVIDIA Omniverse ACE 及其如何被應用于各行業(yè)的虛擬活動、在線教育和客戶服務，并且如何被用于為視頻游戲、社交媒體和虛擬現(xiàn)實體驗創(chuàng)造個性化的虛擬化身。

暖心互動贏好禮

您認為視頻背后的哪項技術最令人驚喜？參與下方投票并評論留言，即可參與活動！

活動截止于 12 月 30 日 早 11點，將抽取 1 位獲贊最高的評論，送出 NVIDIA 定制暖冬衛(wèi)衣一件！