星瀾再進化：NVIDIA AI 助力江南游戲工作室實現(xiàn)數(shù)字人實時交互

案例介紹

• 通過全面的 GPU 優(yōu)化，星瀾的端到端響應時間少于 2 秒，實現(xiàn)了近實時交互。

• 在角色的口型表情上，結合 NVIDIA Audio2Face 能力與 TensorRT 框架的性能優(yōu)化，實現(xiàn)了毫秒級逼真地基于音頻的面部 Rig 參數(shù)合成

• 訓練提速比一般狀況下提升了 2-3 倍

客戶簡介

朝夕光年是一家面向全球用戶與開發(fā)者的游戲研發(fā)與發(fā)行公司。通過提供頂級游戲和打造玩家社群，朝夕光年致力于服務全球玩家，為每位玩家?guī)碛腥ず图钊诵牡捏w驗。

朝夕光年江南游戲工作室，成立于 2019 年 2 月。工作室主要聚焦中重度游戲和虛擬偶像研發(fā)，面向全球市場。

使用 GPU 實現(xiàn)數(shù)字人實時交互

在《星球：重啟》游戲中，李星瀾是游戲中每位幸存者最好的伙伴。她將是新手玩家的“引導員”，亦是玩家在歷險中的“好助手”，更是跌宕劇情中的“女主角”。她也將為了拯救世界，犧牲自己回到 21 世紀。這科幻色彩十足的游戲設定，賦予了李星瀾鮮活的人設，讓她的“靈魂”得以誕生。

李星瀾不僅僅只是簡單的游戲 NPC，她更是首位由江南游戲工作室所打造的真·元宇宙虛擬人，不僅在游戲中引導玩家，平時在游戲外，也會不定時在抖音上發(fā)布抖音直播、擔任代言人、主持人等角色，人氣爆棚的她也曾受邀領獎。

李星瀾也不是傳統(tǒng)意義上的“數(shù)字人”（Digital Human)，不僅外形更加仿真，更重要的是，驅動她的內核并非大家所認知的中之人（操縱虛擬主播進行直播的人），而是最新的 NVIDIA AI 技術。

朝夕光年江南游戲工作室提出建構了一個由 NVIDIA GPU 驅動的 AI 系統(tǒng)，包括文本到語音、音頻到全身動畫、視頻分析、渲染和聊天機器人，基于這些不同的應用模塊，團隊成功構建出一個逼真的實時交互數(shù)字人。2023 年 7 月，李星瀾甚至與玩家們在抖音平臺上成功連線，完成了一場直播，其直播總曝光量共高達 1.5 千萬，互動彈幕數(shù)量峰值 171 條/分鐘，為朝夕光年首次 AI 數(shù)字人實時互動直播創(chuàng)造了亮眼佳績。

從模型搭建、訓練、推理到部署，

解密數(shù)字人背后 AI 推手

江南游戲工作室與 NVIDIA 團隊為數(shù)字虛擬人的互動共同設計未來“AI 大腦”——一個可擴展性的 AI 系統(tǒng)。這個系統(tǒng)能通過 NVIDIA Omniverse 平臺連接李星瀾和后端負責生成聊天文本內容，以及通過聊天文本內容生成動畫的深度定制神經網絡。換言之，無論是她說話的內容、傳遞的表情、肢體的動作，都是通過定制開發(fā)的神經網絡來完成的。

為了加快在創(chuàng)造李星瀾中使用的深度學習模型的訓練周期，江南游戲工作室使用了 NVIDIA Ampere 架構 GPU 執(zhí)行部署，并通過由 FasterTransformer 優(yōu)化的自動語音識別（ASR）模塊，可以實時地將語音轉錄成文本。同時通過部署在 NVIDIA A30 Tensor Core GPU 上的動畫生成模塊，其使用一系列深度學習模型，可根據(jù)語音及文本響應生成逼真的面部表情和身體姿勢。除了通過 NVIDIA 硬件的支持，李星瀾團隊還利用了 FP16 混合精度訓練和 Megatron-LM 風格的模型并行方案，在不犧牲收斂質量的情況下，進一步提升訓練吞吐量。目前該系統(tǒng)能夠在兩天內完全訓練 Audio2Motion 和 Text2Speech 模型，并在五天內完全訓練基于 Transformer 的 Chatbot 模型，超過 10TB 的訓練數(shù)據(jù)。為了快速提升李星瀾的能力，所有模型均在 NVIDIA A100 Tensor Core 80GB GPU 上使用 DeepSpeed 訓練，實現(xiàn)了高吞吐量的持續(xù)學習，助力模型的快速演進。NVIDIA AI 解決方案使李星瀾具備了參與自然的實時會話的能力并能夠進行逼真的情緒表達。

在推理方面，團隊利用了另一部署在 NVIDIA A100 GPU 上的回復生成模塊，使用類似 GPT 的自回歸結構的大型語言模型（LLM）快速生成自然回復，并通過 FasterTransformer 加速，從而將推理延遲減半，使李星瀾能夠以高度響應的方式與觀眾互動。

部署在 NVIDIA A30 GPU 上的文本到語音（TTS）模塊，通過 cuBLAS 和 CUTLASS 編寫的高性能自定義 kernels 來進行加算，高效的將文本轉換成逼真的語音。

通過 NVIDIA GPU 的算力支持，并結合 NVIDIA 團隊量身定制的 AI 系統(tǒng)進行優(yōu)化，江南游戲工作室在幾個月時間內就完成了打造高質量虛擬人的端到端迭代。

讓 AI 走進生活，

為各行業(yè)打造多元的應用場景

憑借其逼真的外觀和出色的會話能力，像李星瀾這樣的數(shù)字人為許多行業(yè)開辟了新的可能：

• 虛擬助手和聊天機器人：數(shù)字人可以在客戶服務等場景中作為互動的 AI 助手提供幫助和服務。

• 數(shù)字內容創(chuàng)作：逼真的視頻動畫為電影、電視、AR/VR 內容創(chuàng)作開辟了新的道路，可定制數(shù)字角色。

• 醫(yī)療保?。?/strong>數(shù)字人可以模擬患者和醫(yī)生的互動來訓練醫(yī)療專業(yè)人員。

• 教育：數(shù)字人可以扮演虛擬導師或老師的角色，提供互動課程。

• 社交聯(lián)系：對于護理院等隔離群體，數(shù)字人可以通過自然對話提供陪伴。