NVIDIA助力元形水滴提升3D數(shù)字人技術(shù)性能

案例簡(jiǎn)介

在本案例中，元形水滴通過(guò)與 NVIDIA 合作，利用先進(jìn)的 GPU 加速技術(shù)，顯著提升了 3D 數(shù)字人技術(shù)的性能與體驗(yàn)。

本案例主要應(yīng)用到NVIDIA 的ACE NIMs微服務(wù)。

以前沿技術(shù)賦能文旅文創(chuàng)

杭州元形水滴智能科技有限公司專注于通過(guò) AR（增強(qiáng)現(xiàn)實(shí)）、VR（虛擬現(xiàn)實(shí)）、XR（擴(kuò)展現(xiàn)實(shí)）以及 AIGC（人工智能生成內(nèi)容）等前沿技術(shù)，賦能文旅和文創(chuàng)等商業(yè)場(chǎng)景。公司目標(biāo)客戶涵蓋企業(yè)展廳、智慧文旅、文創(chuàng)及元宇宙互動(dòng)等領(lǐng)域，旨在連接物理與數(shù)字空間，架起現(xiàn)實(shí)世界與虛擬世界之間的橋梁，創(chuàng)造無(wú)縫且豐富的互動(dòng)體驗(yàn)。

元形水滴 3D 數(shù)字人技術(shù)面臨的挑戰(zhàn)

在 3D 數(shù)字人技術(shù)的開(kāi)發(fā)與應(yīng)用過(guò)程中，元形水滴面臨諸多挑戰(zhàn)。首先，數(shù)字人需具備高效的語(yǔ)音識(shí)別與合成能力，以實(shí)現(xiàn)自然流暢的交互體驗(yàn)。然而，傳統(tǒng)語(yǔ)音識(shí)別與合成技術(shù)在處理復(fù)雜語(yǔ)境及多樣化語(yǔ)音時(shí)，常出現(xiàn)準(zhǔn)確率低、響應(yīng)速度慢的問(wèn)題。其次，數(shù)字人的唇形生成技術(shù)需與語(yǔ)音精準(zhǔn)同步，確保視覺(jué)與聽(tīng)覺(jué)的高度協(xié)調(diào)，這對(duì)技術(shù)的精確度和實(shí)時(shí)性提出了極高要求。此外，數(shù)字人技術(shù)的開(kāi)發(fā)對(duì)計(jì)算資源的需求巨大，而傳統(tǒng) CPU 的計(jì)算能力難以滿足實(shí)時(shí)處理的需求。因此，如何在保障技術(shù)質(zhì)量的同時(shí)提升計(jì)算效率，成為元形水滴仍待攻克的難題。

NVIDIA 助力元形水滴突破數(shù)字人技術(shù)瓶頸

為了解決上述挑戰(zhàn)，杭州元形水滴智能科技有限公司選擇了 NVIDIA 的 ACE NIMs 微服務(wù)。通過(guò) Riva 框架，元形水滴實(shí)現(xiàn)了高效的 ASR 和 TTS 功能，語(yǔ)音識(shí)別的準(zhǔn)確率提升了 80%，語(yǔ)音合成的自然度也得到了顯著改善。Riva 的 GPU 加速能力使得語(yǔ)音處理的速度提高了 10 倍，能夠?qū)崟r(shí)響應(yīng)用戶的語(yǔ)音指令。

在唇形生成方面，元形水滴利用 Audio2Face-3D 技術(shù)，成功實(shí)現(xiàn)了數(shù)字人唇形與語(yǔ)音的精準(zhǔn)同步。該技術(shù)能夠根據(jù)語(yǔ)音內(nèi)容實(shí)時(shí)生成相應(yīng)的唇形動(dòng)畫(huà)，提升了數(shù)字人交互的真實(shí)感和沉浸感。

通過(guò)這些技術(shù)的應(yīng)用，元形水滴不僅提升了數(shù)字人技術(shù)的整體性能，還大幅縮短了開(kāi)發(fā)周期，使得數(shù)字人解決方案能夠更快地投入市場(chǎng)。

NVIDIA 技術(shù)賦能元形水滴智能業(yè)務(wù)發(fā)展

NVIDIA 的產(chǎn)品和技術(shù)對(duì)杭州元形水滴的業(yè)務(wù)發(fā)展產(chǎn)生了深遠(yuǎn)的影響。通過(guò)使用 ACE NIMs 服務(wù)，元形水滴的數(shù)字人技術(shù)在語(yǔ)音識(shí)別、合成和唇形生成等方面取得了顯著進(jìn)展，極大地提升了用戶體驗(yàn)和市場(chǎng)競(jìng)爭(zhēng)力。

在 NVIDIA 初創(chuàng)加速計(jì)劃的支持下，元形水滴智能還獲得了深度學(xué)習(xí)學(xué)院的免費(fèi)課程，提升了團(tuán)隊(duì)的技術(shù)水平。此外，初創(chuàng)加速計(jì)劃提供的云服務(wù)資源也為元形水滴的技術(shù)研發(fā)提供了強(qiáng)有力的支持，使其能夠在競(jìng)爭(zhēng)激烈的市場(chǎng)中脫穎而出，最終獲得天使投資人的信賴。

“3D 數(shù)字人技術(shù)是元宇宙等場(chǎng)景未來(lái)人機(jī)交互的重要趨勢(shì)，NVIDIA 的技術(shù)為我們提供了強(qiáng)大的支持，使我們能夠在這一領(lǐng)域不斷創(chuàng)新?！痹嗡沃悄艿穆?lián)合創(chuàng)始人 & CEO 沈傳立表示。

NVIDIA 初創(chuàng)加速計(jì)劃

NVIDIA 初創(chuàng)加速計(jì)劃 (NVIDIA Inception)為免費(fèi)會(huì)員制，旨在培養(yǎng)顛覆行業(yè)格局的優(yōu)秀創(chuàng)業(yè)公司。該計(jì)劃聯(lián)合國(guó)內(nèi)外知名的風(fēng)投機(jī)構(gòu)、創(chuàng)業(yè)孵化器、創(chuàng)業(yè)加速器、行業(yè)合作伙伴以及科技創(chuàng)業(yè)媒體等，打造創(chuàng)業(yè)加速生態(tài)系統(tǒng)。能夠提供產(chǎn)品折扣、技術(shù)支持、市場(chǎng)宣傳、融資對(duì)接、業(yè)務(wù)推薦等一系列服務(wù)，加速創(chuàng)業(yè)公司的發(fā)展。