NVIDIA 賦能 Cyanpuppets 打造實(shí)時(shí) 2D 視頻生成 3D 骨骼 AI 轉(zhuǎn)換模型

青色木偶科技 Cyanpuppets致力于 AI 圖像算法技術(shù)和實(shí)時(shí)渲染平臺(tái)工具，是一家以卷積神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)算法為核心，打造自研 AI 模型架構(gòu)、實(shí)現(xiàn)虛擬與現(xiàn)實(shí)世界驅(qū)動(dòng)協(xié)作的 AIGC 技術(shù)公司。其自研 CYAN.AI 平臺(tái)結(jié)合 NVIDIA GPU?算力，實(shí)現(xiàn)了 2D 視頻生成 3D 動(dòng)作數(shù)據(jù)，具備三維空間自由人體運(yùn)動(dòng)，能夠?yàn)槿蛴脩籼峁?AI 無穿戴動(dòng)作捕捉技術(shù)、虛擬社交全身互動(dòng)技術(shù)、3D 動(dòng)畫制作工具與三維空間預(yù)演技術(shù)。

數(shù)字化身的低成本實(shí)時(shí)驅(qū)動(dòng)

成為一大挑戰(zhàn)

游戲開發(fā)商 Epic Games 的首席執(zhí)行官 Tim Sweeney曾提到，“元宇宙將是一種前所未有的大規(guī)模參與式媒介，所有用戶都可以參與、創(chuàng)造、分享并從中獲利，而用戶的虛擬數(shù)字化身（Avatar）可以自由地在不同平臺(tái)之間穿梭”。隨著 AI 算力和計(jì)算機(jī)圖形渲染技術(shù)的蓬勃發(fā)展，人類對(duì)于自由地在不同數(shù)字平臺(tái)中穿梭，并隨時(shí)進(jìn)入虛擬世界的數(shù)字化身 Avatar 提出了更高的要求：如何輕便快捷地讓數(shù)字化身真實(shí)地表達(dá)人類的動(dòng)作意愿與情感，并將人類的動(dòng)作實(shí)時(shí)遷移至虛擬化身上，成為關(guān)鍵性挑戰(zhàn)之一，細(xì)分為以下幾個(gè)具體的問題：

• 復(fù)雜的技術(shù)流程

  從面部表情、手指動(dòng)作到肢體動(dòng)作，每個(gè)模塊往往由不同的技術(shù)方案構(gòu)成，數(shù)據(jù)的同步性與流程的一體化構(gòu)建面臨巨大的技術(shù)投入和人力成本挑戰(zhàn)。

• 高昂的捕捉成本

  體驗(yàn)與成本不可兼得，市面上效果較為一般的半身視覺動(dòng)捕無法滿足 Avatar 的技術(shù)要求，而較為精準(zhǔn)的光學(xué)捕捉與慣性捕捉，動(dòng)輒數(shù)十萬的投入又使得 Avatar 成本居高不下。較高的成本讓普通民眾無法參與數(shù)字內(nèi)容體系的建設(shè)，也無法享受技術(shù)時(shí)代帶來的新體驗(yàn)。

• 割裂的數(shù)字孤島

  虛擬化身的骨骼標(biāo)準(zhǔn)難以統(tǒng)一，不同的制作軟件、綁定系統(tǒng)和圖形渲染引擎會(huì)形成割裂的多個(gè)數(shù)字孤島，因此不僅每次虛擬化身穿梭到不同平臺(tái)帶來的資產(chǎn)遷移成本很高，而且難以形成一個(gè)整體性的虛擬化身世界。

• 糟糕的捕捉體驗(yàn)

  身上穿戴著復(fù)雜且繁重的動(dòng)作捕捉傳感器，使得數(shù)字化身的使用體檢較為糟糕，長時(shí)間穿戴帶來的不適感與疲憊感也讓元宇宙成為了難以進(jìn)入的宇宙。

NVIDIA GPU 助力 Cyanpuppets

打造 AI 驅(qū)動(dòng)模型賦能Avatar發(fā)展

基于以上問題，Cyanpuppets 選擇了 NVIDIA 平臺(tái)多個(gè)產(chǎn)品提供支持，在多張NVIDIA GeForce RTX3080Ti的算力支持下，參考主流 AI 框架 TensorFlow、PyTorch、Caffe 等，對(duì) COCO、ORGBD 等數(shù)據(jù)集進(jìn)行長期訓(xùn)練。硬件終端上采用 ?GeForce RTX 3060?/3070/3080等系列硬件給軟件系統(tǒng)帶來了穩(wěn)定性保障和流暢體驗(yàn)感。同時(shí)，使用Deep Learning Super Sampling（DLSS）這項(xiàng) AI 深度學(xué)習(xí)技術(shù)，為用戶提供極致的畫面渲染效果。

在NVIDIA GPU賦能下，CYAN.AI 以 CNN 和 DNN 為底層核心訓(xùn)練了近萬小時(shí)的數(shù)據(jù)集，在同步的 2D 視頻流中提取人體動(dòng)作的關(guān)鍵特征做人體姿態(tài)識(shí)別，追蹤人體超過 208 個(gè)關(guān)鍵點(diǎn)，結(jié)合動(dòng)力學(xué)、生物力學(xué)生成人體運(yùn)動(dòng)的建模算法，一體化完成面部、表情與肢體共 208 點(diǎn)無穿戴、無標(biāo)記的高精度捕捉。

CYAN.AI 構(gòu)建了一個(gè)全新的骨骼系統(tǒng)，通過合成數(shù)據(jù)算法對(duì)主流的 Unreal Skeleton Asset、Daz、CC、Unity avatar 和 metahuman 的模型骨骼系統(tǒng)進(jìn)行匹配映射，讓虛擬化身的全身驅(qū)動(dòng)不再是一個(gè)個(gè)割裂的數(shù)字孤島。

在硬件優(yōu)化環(huán)節(jié)，通過對(duì) NVIDIA GPU 算力進(jìn)行分布式的算力調(diào)配，僅需成本數(shù)百元的 RGB 攝像頭就能獲取視頻流，進(jìn)行插值異構(gòu)即可實(shí)現(xiàn)更低延遲的數(shù)據(jù)信息吞吐與數(shù)據(jù)畫面合成。

結(jié)合 NVIDIA GPU 算力支持，算法模型以低至 0.1s 的延遲實(shí)現(xiàn)了超低延時(shí)的視覺動(dòng)作捕捉，同時(shí)輔助動(dòng)捕特征平滑算法、圖像識(shí)別多目協(xié)同算法、空間檢測、定位算法和重定向算法等多種算法，即使在復(fù)雜、狹小且充滿干擾物的使用環(huán)境中，CYAN.AI 依然可以穩(wěn)定、高效、高精度地動(dòng)作捕捉遷移。

“AIGC 行業(yè)是當(dāng)前最受關(guān)注的人工智能領(lǐng)域之一，算力與算法帶來的生產(chǎn)力提升，讓每個(gè)個(gè)體都切實(shí)感受到新時(shí)代的來臨。傳統(tǒng)的行業(yè)紛紛擁抱 AI 生成科技進(jìn)行產(chǎn)業(yè)升級(jí)，從文字生成圖片，圖片生成視頻再到視頻生成 3D，這是一個(gè)長久進(jìn)化的趨勢，Cyanpuppets 正處于 2D 生成 3D 的關(guān)鍵環(huán)節(jié)。NVIDIA 提供的 GPU 解決方案，解決了深度學(xué)習(xí)和機(jī)器學(xué)習(xí)的技術(shù)難題，使得我們可以持續(xù)不斷地創(chuàng)新算法模型，拓寬應(yīng)用場景，并通過 CYAN.AI 平臺(tái)為全球不同行業(yè)、不同場景的用戶搭建虛擬現(xiàn)實(shí)協(xié)作的橋梁、虛擬化身的實(shí)時(shí)驅(qū)動(dòng)方案。” 青色木偶科技 Cyanpuppets CEO 李宗興表示。

NVIDIA 初創(chuàng)加速計(jì)劃

青色木偶科技 Cyanpuppets是 NVIDIA 初創(chuàng)加速計(jì)劃 (NVIDIA Inception) 會(huì)員企業(yè)。NVIDIA 初創(chuàng)加速計(jì)劃為免費(fèi)會(huì)員制，旨在培養(yǎng)顛覆行業(yè)格局的優(yōu)秀創(chuàng)業(yè)公司。該計(jì)劃聯(lián)合國內(nèi)外知名的風(fēng)投機(jī)構(gòu)，創(chuàng)業(yè)孵化器，創(chuàng)業(yè)加速器，行業(yè)合作伙伴以及科技創(chuàng)業(yè)媒體等，打造創(chuàng)業(yè)加速生態(tài)系統(tǒng)。能夠提供產(chǎn)品折扣，技術(shù)支持，市場宣傳，融資對(duì)接，業(yè)務(wù)推薦等一系列服務(wù)，加速創(chuàng)業(yè)公司的發(fā)展。

想獲得 NVIDIA 初創(chuàng)加速生態(tài)助力？掃描下方二維碼，僅需一分鐘填寫意向申請(qǐng)表單，獲得快速聯(lián)系。