SHERF：可泛化可驅(qū)動(dòng)人體神經(jīng)輻射場(chǎng)的新方法

人體神經(jīng)輻射場(chǎng)的目標(biāo)是從 2D 人體圖片中恢復(fù)高質(zhì)量的 3D 數(shù)字人并加以驅(qū)動(dòng)，從而避免耗費(fèi)大量人力物力去直接獲取 3D 人體幾何信息。這個(gè)方向的探索對(duì)于一系列應(yīng)用場(chǎng)景，比如虛擬現(xiàn)實(shí)和輔助現(xiàn)實(shí)場(chǎng)景，有著非常大潛在性的影響。

現(xiàn)有人體神經(jīng)輻射場(chǎng)生成和驅(qū)動(dòng)技術(shù)主要可以分為兩類。

第一類技術(shù)利用單目或者多目人體視頻去重建和驅(qū)動(dòng) 3D 數(shù)字人。這類技術(shù)主要是針對(duì)特定數(shù)字人的建模和驅(qū)動(dòng)，優(yōu)化耗時(shí)大，缺乏泛化到大規(guī)模數(shù)字人重建上的能力。

第二類技術(shù)為了提升 3D 數(shù)字人重建的效率。提出利用多視角人體圖片作為輸入去重建人體神經(jīng)輻射場(chǎng)。

盡管這第二類方法在 3D 人體重建上取得了一定的效果，這類方法往往需要特定相機(jī)角度下的多目人體圖片作為輸入。在現(xiàn)實(shí)生活中，我們往往只能獲取到任意相機(jī)角度下人體的一張圖片，給這類技術(shù)的應(yīng)用提出了挑戰(zhàn)。

在 ICCV2023 上，南洋理工大學(xué) - 商湯科技聯(lián)合研究中心 S-Lab 團(tuán)隊(duì)提出了基于單張圖片的可泛化可驅(qū)動(dòng)人體神經(jīng)輻射場(chǎng)方法 SHERF。

SHERF 可以基于用戶輸入的一張任意相機(jī)角度 3D 人體圖片，該角度下相機(jī)和人體動(dòng)作體型（SMPL）參數(shù)，以及給定目標(biāo)輸出空間下任意相機(jī)參數(shù)和人體動(dòng)作體型（SMPL）參數(shù)，重建并驅(qū)動(dòng)該 3D 數(shù)字人。本方法旨在利用任意相機(jī)角度下人體的一張圖片去重建和驅(qū)動(dòng) 3D 人體神經(jīng)輻射場(chǎng)。

圖 1

基本原理

人體神經(jīng)輻射場(chǎng)重建和驅(qū)動(dòng)主要分為五個(gè)步驟（如圖 2 所示）。

圖 2

第一步為目標(biāo)空間（target space）到標(biāo)準(zhǔn)空間（canonical space）的坐標(biāo)轉(zhuǎn)換，基于用戶輸入目標(biāo)輸出空間下任意人體動(dòng)作體型參數(shù)和相機(jī)外參參數(shù)，在目標(biāo)空間內(nèi)射出光線，并在光線上采樣一系列空間點(diǎn)，利用 SMPL 算法的逆線性蒙皮轉(zhuǎn)換（Inverse Linear Blend Skinning）將目標(biāo)空間里的空間點(diǎn)轉(zhuǎn)換到標(biāo)準(zhǔn)空間中。

第二步為提取標(biāo)準(zhǔn)空間中 3D 點(diǎn)對(duì)應(yīng)的層級(jí)特征（hierarchical feature）。

全局特征（global feature）提取：利用二維編碼網(wǎng)絡(luò)（2D Encoder）從輸入圖片提取一維特征，并利用映射網(wǎng)絡(luò)（Mapping Network）和風(fēng)格編碼網(wǎng)絡(luò)（Style-Based Encoder）進(jìn)一步將 1D 特征轉(zhuǎn)換為標(biāo)準(zhǔn)空間下的三平面特征（Tri-plane），接下來(lái)將標(biāo)準(zhǔn)空間中 3D 點(diǎn)投影到三平面提取相應(yīng)的全局特征；

點(diǎn)級(jí)別特征（Point-Level Feature）提?。?/strong>首先利用二維編碼網(wǎng)絡(luò)（2D Encoder）從輸入圖片提取二維特征，并將觀測(cè)空間（observation space）下 SMPL 的頂點(diǎn)投影到輸入圖片成像平面上去提取相應(yīng)特征，緊接著利用 SMPL 算法的逆線性蒙皮轉(zhuǎn)換（Inverse Linear Blend Skinning）將觀測(cè)空間下 SMPL 的頂點(diǎn)轉(zhuǎn)到標(biāo)準(zhǔn)空間下構(gòu)建稀疏三維張量，然后利用稀疏卷積得到標(biāo)準(zhǔn)空間中 3D 點(diǎn)的點(diǎn)級(jí)別特征；