COMPUTEX2023 | NVIDIA ACE 游戲開發(fā)版利用生成式 AI 使虛擬角色栩栩如生

全新代工服務(wù)為云端及 PC 的游戲角色產(chǎn)生出定制化生成式AI模型

COMPUTEX—2023 年 5 月 29 日—NVIDIA 宣布推出全新定制 AI 模型代工服務(wù) NVIDIA ACE 游戲開發(fā)版 (NVIDIA Avatar Cloud Engine (ACE) for Games)，利用 AI 驅(qū)動(dòng)的自然語(yǔ)言交互技術(shù)，為游戲中的非玩家角色（NPC）帶來智能，從而改變游戲體驗(yàn)。

中間件、工具及游戲開發(fā)者可以使用 “ACE 游戲開發(fā)版 (ACE for Games)” 在他們的游戲和應(yīng)用中建立和部署定制的語(yǔ)音、對(duì)話及動(dòng)畫 AI 模型。

NVIDIA 開發(fā)者與性能技術(shù)部門副總裁 John Spitzer 表示：“生成式 AI 將徹底改變玩家與游戲人物之間的互動(dòng)方式，并極大地提高游戲沉浸感。基于我們?cè)?AI 領(lǐng)域的專業(yè)知識(shí)，加上幾十年來與游戲開發(fā)者合作的經(jīng)驗(yàn)，NVIDIA 正率先在游戲中使用生成式 AI。”

率先在游戲中使用生成式 AI

在 NVIDIA Omniverse 的基礎(chǔ)上，“ACE 游戲開發(fā)版 (ACE for Games)”為語(yǔ)音、對(duì)話和角色動(dòng)畫提供優(yōu)化的AI基礎(chǔ)模型，包括：

• NVIDIA NeMo 大型語(yǔ)言模型（LLM）：使用專有數(shù)據(jù)構(gòu)建、自定義和部署語(yǔ)言模型。根據(jù)游戲故事的世界觀及人物背景來定制調(diào)整 LLM，并且通過NeMo Guardrails 來保護(hù)對(duì)話不會(huì)出現(xiàn)產(chǎn)生相反效果或不安全的內(nèi)容。

• NVIDIA Riva：用于自動(dòng)語(yǔ)音識(shí)別（ASR）及文本轉(zhuǎn)語(yǔ)音，以啟用實(shí)時(shí)語(yǔ)音對(duì)話。

• NVIDIA Omniverse Audio2Face：用于配合語(yǔ)音音軌，實(shí)時(shí)為游戲角色創(chuàng)建臉部表情動(dòng)畫。Audio2Face 搭配用于虛幻引擎 5 的 Omniverse Connector，開發(fā)者可以直接將臉部動(dòng)畫添加到 MetaHuman 的角色上。

開發(fā)者可以整合整套 “NVIDIA ACE 游戲開發(fā)版 (NVIDIA ACE for Games)” 解決方案，或是單獨(dú)使用自己需要的組件。

“Kairos” 讓人一窺未來游戲發(fā)展的樣貌

NVIDIA 和參與 NVIDIA Inception 計(jì)劃的初創(chuàng)公司 Convai 合作，展示游戲開發(fā)者如何在不久之后使用 “NVIDIA ACE 游戲開發(fā)版 (NVIDIA ACE for Games)” 來構(gòu)建 NPC。Convai 將 ACE 模塊與他們的端到端實(shí)時(shí)虛擬人平臺(tái)相集成，旨在為虛擬游戲開發(fā)尖端的對(duì)話式 AI。

在名為 Kairos 的演示中，玩家與拉面店老板 Jin 進(jìn)行互動(dòng)。Jin 雖然只是一個(gè) NPC，卻能在生成式 AI 的幫助下配合敘事背景，逼真回答自然語(yǔ)言的問題。歡迎觀看這個(gè)由 Unreal Engine 5 使用最新光線追蹤功能和 NVIDIA DLSS 渲染出的演示內(nèi)容。

Convai 創(chuàng)始人兼首席執(zhí)行官 Purnendu Mukherjee 表示：“Convai 通過使用 ‘NVIDIA ACE 游戲開發(fā)版 (NVIDIA ACE for Games)’，讓我們的工具可以達(dá)到所需的延遲和絕佳要求，這樣每個(gè)開發(fā)者便能以低成本的方式使用 AI 打造 NPC。

在本地或云部署 NVIDIA ACE 游戲模型

支持 “NVIDIA ACE 游戲開發(fā)版 (NVIDIA ACE for Games)” 的神經(jīng)網(wǎng)絡(luò)針對(duì)多項(xiàng)功能進(jìn)行優(yōu)化，在規(guī)模、性能和質(zhì)量方面進(jìn)行各種取舍?！癆CE 游戲開發(fā)版 (ACE for Games)” 代工服務(wù)將協(xié)助開發(fā)者微調(diào)游戲模型，然后通過 NVIDIA DGX Cloud，GeForce RTX PC 或現(xiàn)場(chǎng)加以部署，以實(shí)時(shí)進(jìn)行推理。

游戲中沉浸式互動(dòng)性的交互對(duì)延遲有著極為嚴(yán)苛的要求，因此這些模型的延遲性能均調(diào)整到最佳狀態(tài)。

生成式 AI 將改變游戲體驗(yàn)

游戲開發(fā)者與初創(chuàng)公司已在其工作流上使用 NVIDIA 生成式 AI 技術(shù)。

1. 歐洲知名游戲開發(fā)者之一的 GSC Game World，將在即將推出的《潛行者 2：切爾諾貝利之心》（S.T.A.L.K.E.R. 2：Heart of Chornobyl）中采用 Audio2Face。

2. 獨(dú)立游戲開發(fā)者 Fallen Leaf 用 Audio2Face 來制作《索利斯堡》（FORT SOLIS）中角色的臉部動(dòng)畫，《索利斯堡》（FORT SOLIS）是一款以火星為背景的第三人稱科幻驚悚動(dòng)作游戲。

3. 使用 AI 來制作虛擬角色的 Charisma.ai，通過 Audio2Face 來制作對(duì)話引擎中的動(dòng)畫。

歡迎了解更多使用 NVIDIA ACE 在 NVIDIA Omniverse 上構(gòu)建的內(nèi)容，以及 COMPUTEX 其他最新技術(shù)發(fā)展。