可以用什么標(biāo)準(zhǔn)來(lái)描述不同類(lèi)型的數(shù)字人類(lèi)

數(shù)字人的核心是我們?cè)谔摂M世界中的數(shù)字形式。從 3D 游戲的早期開(kāi)始，VR 戰(zhàn)士是最早展示 3D 角色如何一起戰(zhàn)斗的人之一。如今，玩家可以體驗(yàn)流行游戲中令人難忘的角色的旅程，如戰(zhàn)爭(zhēng)之神，我們的最后一位。 或者你可能在流行電影中認(rèn)出了數(shù)字人 ，就像那個(gè)臭名昭著的惡棍塔諾斯復(fù)仇者：終局或是布拉德·皮特在電影中扮演自己的老版本本杰明·巴頓。

通過(guò)數(shù)字化身講故事，娛樂(lè)領(lǐng)域也出現(xiàn)了新的案例。 Fable AI 和 Baobab 等公司正在創(chuàng)建涉及數(shù)字角色的互動(dòng)和虛擬故事。但我們?nèi)绾味x數(shù)字人呢？我們可以用什么標(biāo)準(zhǔn)來(lái)描述不同類(lèi)型的數(shù)字人類(lèi)？

我們測(cè)量數(shù)字人類(lèi)的尺度或范圍通常有三種：

現(xiàn)實(shí)主義與風(fēng)格主義

與離線相比，實(shí)時(shí)

人工智能與人類(lèi)驅(qū)動(dòng)的比較

圖 1 。數(shù)字人 SDK

將數(shù)字人類(lèi)帶入生活

如前所述，創(chuàng)建數(shù)字人的過(guò)程可能具有挑戰(zhàn)性。打造數(shù)字人類(lèi)有三個(gè)主要組成部分，每一個(gè)組成部分都需要不同的藝術(shù)和技術(shù)組合：生成 動(dòng)畫(huà) 和智能。

要生成數(shù)字人類(lèi)，團(tuán)隊(duì)必須首先制作 3D 模型、紋理、著色器、骨骼裝備和皮膚變形，使其跟隨骨骼。

對(duì)于動(dòng)畫(huà)和運(yùn)動(dòng)，藝術(shù)家必須關(guān)注數(shù)字人的物理元素，從身體和面部到頭發(fā)和衣服。通常，它是變形和模擬的組合，以實(shí)現(xiàn)這些零件的正確運(yùn)動(dòng)。就現(xiàn)實(shí)表現(xiàn)而言，到目前為止，實(shí)現(xiàn)這一目標(biāo)主要有兩種方式；手動(dòng)設(shè)置動(dòng)畫(huà)或使用各種性能捕捉技術(shù)獲取運(yùn)動(dòng)數(shù)據(jù)。通常，這是兩者的結(jié)合。

在過(guò)去幾年中，使用 人工智能 （AI） 生成或合成動(dòng)畫(huà)的現(xiàn)象開(kāi)始增多。他們的角色現(xiàn)在變小了，通常處理特定類(lèi)型的性能，但這種情況正在迅速變化。

任何這些方法的底線都是創(chuàng)建基于上下文的行為，以便數(shù)字人類(lèi)能夠以可信的方式行動(dòng)。要像真人一樣表現(xiàn)情感和行為仍然很困難。人工智能和模擬領(lǐng)域的新技術(shù)正在幫助簡(jiǎn)化這一過(guò)程。

最后，藝術(shù)家必須為數(shù)字人類(lèi)帶來(lái)智慧，他們可以通過(guò)雙向互動(dòng)實(shí)現(xiàn)這一點(diǎn)。通過(guò)人類(lèi)語(yǔ)言處理和自然語(yǔ)音技術(shù)，如 NVIDIA Riva 、 Ensemble Health AI 和 Replica ，數(shù)字人類(lèi)可以與真實(shí)人類(lèi)進(jìn)行對(duì)話。他們也可以在虛擬世界和現(xiàn)實(shí)世界中擁有視野。它們可以識(shí)別物體并在環(huán)境中導(dǎo)航。他們可以看到與他們交談的用戶(hù)，并相應(yīng)地進(jìn)行查看和響應(yīng)。

數(shù)字人類(lèi)的重要性

數(shù)字人類(lèi)可能已經(jīng)出現(xiàn)在媒體和娛樂(lè)領(lǐng)域，但對(duì)數(shù)字人類(lèi)的需求正在增長(zhǎng)，并且正在跨越各個(gè)行業(yè)。今天，我們已經(jīng)看到了數(shù)字人類(lèi)的所有好處和潛在用例。

首先，人工智能數(shù)字助理在醫(yī)療保健和零售等行業(yè)具有巨大潛力。對(duì)于醫(yī)療專(zhuān)業(yè)人員來(lái)說(shuō)，數(shù)字助理可以幫助改進(jìn)培訓(xùn)和程序。醫(yī)生可以在真實(shí)的模擬中進(jìn)行手術(shù)，他們可以進(jìn)行數(shù)百次模擬，以確保在現(xiàn)實(shí)生活中進(jìn)行手術(shù)之前獲得最佳效果。在零售業(yè)， AI 數(shù)字協(xié)助可以通過(guò)提供更個(gè)性化的體驗(yàn)來(lái)增強(qiáng)客戶(hù)服務(wù)。

為了讓這項(xiàng)工作發(fā)揮作用，人工智能數(shù)字助理需要對(duì)語(yǔ)言交流有深刻的理解。這是幫助人們更好地與數(shù)字助理互動(dòng)和交談的關(guān)鍵，這樣他們就可以完成他們需要的任務(wù)。

對(duì)于建筑和 制造 等行業(yè)的其他公司來(lái)說(shuō)，數(shù)字孿生兄弟正在幫助團(tuán)隊(duì)模擬大型環(huán)境中的工人和人，從工廠、城市到建筑物。在數(shù)字人的幫助下，公司可以通過(guò)精確的模擬來(lái)評(píng)估風(fēng)險(xiǎn)和預(yù)測(cè)環(huán)境，幫助他們確保物理建筑得到最佳設(shè)計(jì)。

數(shù)字人類(lèi)的智能需求不同于人工智能數(shù)字助理。當(dāng)你把一個(gè)數(shù)字人放在一個(gè)虛擬環(huán)境中，他們必須知道如何像人一樣導(dǎo)航和行為，無(wú)論是工廠工人還是在摩天大樓中行走的游客。

Figure 5. Factory AI agent

最后，數(shù)字人類(lèi)將有助于改進(jìn) creation of synthetic data generation 。對(duì)于人工智能來(lái)說(shuō)，數(shù)據(jù)和訓(xùn)練神經(jīng)網(wǎng)絡(luò)是其本質(zhì)。像 Synthesis AI 、 Microsoft 、 DataGen 、 Epic Games 和 Reallusion 這樣的公司已經(jīng)開(kāi)始著手捕捉和合成 3D 數(shù)字人體數(shù)據(jù)，以訓(xùn)練 AI 模型。但我們需要更多的數(shù)據(jù)，特別是未來(lái)的數(shù)據(jù)。合成數(shù)據(jù)生成是人工智能發(fā)展的關(guān)鍵，而數(shù)字人類(lèi)的合成數(shù)據(jù)生成對(duì)于擴(kuò)展人工智能至關(guān)重要。

每個(gè)聲音都有一張臉

數(shù)字人類(lèi)的前景如何？人們將創(chuàng)造性地利用一個(gè)被采用的數(shù)字人類(lèi)世界。隨著我們走向虛擬世界的體驗(yàn)，這一點(diǎn)將變得更加突出。

數(shù)字人對(duì)于虛擬世界體驗(yàn)至關(guān)重要。事實(shí)上，每個(gè)人總有一天都會(huì)有自己的數(shù)字版本，無(wú)論是準(zhǔn)確的還是風(fēng)格化的化身。

通過(guò) NVIDIA Omniverse ，我們希望創(chuàng)建一個(gè)框架，使多種類(lèi)型的數(shù)字人類(lèi)能夠共存。使用 Pixar’s Universal Scene Description （USD） 是所有 3D 行業(yè)的標(biāo)準(zhǔn)格式，因此每個(gè)人都可以交換數(shù)據(jù)并一起交談。 Omniverse 有助于推動(dòng)這些努力朝 USD 發(fā)展，這是使不同的應(yīng)用程序和技術(shù)能夠溝通和協(xié)作以創(chuàng)建數(shù)字人的關(guān)鍵。

對(duì)于擁有大量數(shù)字用戶(hù)的大世界，我們必須能夠擴(kuò)大規(guī)模。這是一個(gè)具有挑戰(zhàn)性的計(jì)算問(wèn)題，要模擬能夠相互連接的大世界，并且有大量能夠?qū)崟r(shí)交互的數(shù)字人類(lèi)。但 Omniverse 正在應(yīng)對(duì)這一挑戰(zhàn)，該平臺(tái)可以為大型世界和模擬提供動(dòng)力。這對(duì)未來(lái)的物理和虛擬世界至關(guān)重要，在那里你可以擁有大量不同種類(lèi)的數(shù)字人類(lèi)，他們可以一起參與和互動(dòng)。

隨著時(shí)間的推移，真實(shí)人類(lèi)和數(shù)字人類(lèi)之間的聯(lián)系將不斷增長(zhǎng)。這將不僅僅是在電腦上觀看木偶。最終，計(jì)算機(jī)將閱讀并與我們互動(dòng)，就像我們?cè)诂F(xiàn)實(shí)生活中所做的那樣。

我們將能夠與數(shù)字人交談，甚至可以通過(guò)數(shù)字人訂購(gòu)商品、食品、處方和其他物品，然后數(shù)字人將向您交付有形的真實(shí)世界對(duì)象。交流和互動(dòng)將成為一條雙向的街道，這為自由和創(chuàng)新提供了新的元素。

關(guān)于作者

Simon Yuen 是 NVIDIA 的圖形和人工智能總監(jiān)，他領(lǐng)導(dǎo)數(shù)字人類(lèi)的工作，目標(biāo)是開(kāi)發(fā)新的字符技術(shù)和基于深度學(xué)習(xí)的解決方案，允許以新的更高效的方式創(chuàng)建高質(zhì)量的數(shù)字字符。在 NVIDIA 之前， Simon 在視覺(jué)效果行業(yè)工作了超過(guò) 21 年，在許多工作室，包括 Method Studio 、 Digital Domain 、 Sony Pictures Imageworks 、 DreamWorks 、暴雪娛樂(lè)等，跨越了問(wèn)題的藝術(shù)和技術(shù)方面，建立團(tuán)隊(duì)和技術(shù)，推動(dòng)照片級(jí)真實(shí)感數(shù)字角色創(chuàng)作。

審核編輯：郭婷