NVIDIA Omniverse Audio2Face助力幻影未來打造高品質(zhì)AI數(shù)智人Kiko

元宇宙熱潮迭起，推動了虛擬數(shù)字人產(chǎn)業(yè)發(fā)展。當(dāng)前，隨著虛擬人技術(shù)日益成熟，相關(guān)產(chǎn)業(yè)鏈逐漸成型，以及虛擬人的智能化、多元化應(yīng)用不斷完善，數(shù)智人發(fā)展逐漸成為行業(yè)趨勢。

深圳幻影未來信息科技有限公司（以下簡稱“幻影未來”）專注于虛擬人互動的內(nèi)容研發(fā)，是領(lǐng)先的虛擬人及互動方案、AI 數(shù)智人創(chuàng)新提供商。借助 NVIDIA Omniverse Audio2Face 和 NVIDIA RTX GPU，幻影未來加速虛擬人 Kiko 的語音及表情訓(xùn)練，助力打造高品質(zhì) AI 數(shù)智人。

虛擬人語音互動與表情變化仍需優(yōu)化

虛擬現(xiàn)實(shí)技術(shù)的演進(jìn)和虛擬人行業(yè)的逐步發(fā)展，帶動直播、電商、娛樂行業(yè)等逐漸開展虛擬人產(chǎn)業(yè)布局。幻影未來從虛擬人直播入手，蓄力將虛擬人 Kiko 打造成虛擬人 IP。由于目前虛擬人主播與觀眾之間的溝通場景仍需豐富，幻影未來立足技術(shù)背景，著力開展虛擬人的技術(shù)升級。

利用現(xiàn)有技術(shù)，虛擬人主播可實(shí)現(xiàn)語音輸入輸出及相應(yīng)動畫展示，但仍缺乏相應(yīng)的互動力和表現(xiàn)力，因此，在語音互動和表達(dá)的基礎(chǔ)上，驅(qū)動虛擬人產(chǎn)生豐富而逼真的表情以提升與用戶之間的溝通水平、加強(qiáng)虛擬人與用戶間的情感交流仍是行業(yè)發(fā)展的痛點(diǎn)。

Omniverse Audio2Face + RTX GPU

加速虛擬人訓(xùn)練與升級

幻影未來通過 NVIDIA 初創(chuàng)加速計劃了解到，借助 NVIDIA Omniverse Audio2Face 可以直接將虛擬人語音轉(zhuǎn)換為嘴型和表情動畫，其在使用和測試后，對輸出的表情 BS 進(jìn)行改造并訓(xùn)練自定義模型，同時借助 NVIDIA RTX GPU，加速對虛擬人訓(xùn)練大量數(shù)據(jù)的交換與處理。

Omniverse Audio2Face 是一款由 AI 提供技術(shù)支持的應(yīng)用，僅憑借一個音頻來源便能生成面部表情動畫。Audio2Face 可簡化 3D 角色的動畫制作，與任何配音音軌匹配，在交互式應(yīng)用場景中可以使用該應(yīng)用，也可將其用作傳統(tǒng)的面部動畫創(chuàng)作工具，實(shí)時運(yùn)行結(jié)果或烘焙結(jié)果都可輕松獲得。借助 Omniverse Audio2Face，幻影未來只需錄制語音音軌，輸入到該應(yīng)用中，即可生成生動的虛擬人面部表情。

虛擬人模型訓(xùn)練包括數(shù)據(jù)采集和清洗、數(shù)據(jù)處理和數(shù)據(jù)訓(xùn)練，訓(xùn)練過程中數(shù)據(jù)量龐大，對數(shù)據(jù)處理能力要求較高，幻影未來借助 RTX GPU，相較于常規(guī)硬件訓(xùn)練方法而言，訓(xùn)練時間可縮短至 10 分鐘左右，訓(xùn)練速度提高了 99% 以上。

數(shù)智人服務(wù)場景拓寬

元宇宙基礎(chǔ)服務(wù)潛力無限

NVIDIA Omniverse Audio2Face 與 NVIDIA GPU 加速平臺賦能幻影未來實(shí)現(xiàn)虛擬人語音和表情動畫升級，使傳統(tǒng)虛擬人向數(shù)智人的升級成為了可能?；糜拔磥淼奶摂M人表現(xiàn)力解決方案助力豐富數(shù)智人服務(wù)場景，推動了元宇宙基礎(chǔ)服務(wù)的豐富和發(fā)展。

幻影未來創(chuàng)始人兼 CTO 姜龍表示，“未來元宇宙中的應(yīng)用軟件一定不是以 APP 形式展現(xiàn)，也一定不會是需要通過點(diǎn)擊操控 UI 的形式出現(xiàn)，我相信未來元宇宙中的所有服務(wù)是以數(shù)智虛擬人形式出現(xiàn)，通過自然交互的方式來進(jìn)行，這一天不會太遠(yuǎn)?！?/p>

NVIDIA 初創(chuàng)加速計劃

深圳幻影未來信息科技有限公司是 NVIDIA 初創(chuàng)加速計劃 (NVIDIA Inception) 會員企業(yè)。NVIDIA 初創(chuàng)加速計劃為免費(fèi)會員制、旨在培養(yǎng)顛覆行業(yè)格局的優(yōu)秀創(chuàng)業(yè)公司。該計劃聯(lián)合國內(nèi)外知名的風(fēng)投機(jī)構(gòu)，創(chuàng)業(yè)孵化器，創(chuàng)業(yè)加速器，行業(yè)合作伙伴以及科技創(chuàng)業(yè)媒體等，打造創(chuàng)業(yè)加速生態(tài)系統(tǒng)。能夠提供產(chǎn)品折扣，技術(shù)支持，市場宣傳，融資對接，業(yè)務(wù)推薦等一系列服務(wù)，加速創(chuàng)業(yè)公司的發(fā)展。