ICCV 2023 | 重塑人體動(dòng)作生成，融合擴(kuò)散模型與檢索策略的新范式ReMoDiffuse來了

人體動(dòng)作生成任務(wù)旨在生成逼真的人體動(dòng)作序列，以滿足娛樂、虛擬現(xiàn)實(shí)、機(jī)器人技術(shù)等領(lǐng)域的需求。傳統(tǒng)的生成方法包括 3D 角色創(chuàng)建、關(guān)鍵幀動(dòng)畫和動(dòng)作捕捉等步驟，其存在諸多限制，如耗時(shí)較長(zhǎng)，需要專業(yè)技術(shù)知識(shí)，涉及昂貴的系統(tǒng)和軟件，不同軟硬件系統(tǒng)之間可能存在兼容性問題等。隨著深度學(xué)習(xí)的發(fā)展，人們開始嘗試使用生成模型來實(shí)現(xiàn)人體動(dòng)作序列的自動(dòng)生成，例如通過輸入文本描述，要求模型生成與文本要求相匹配的動(dòng)作序列。隨著擴(kuò)散模型被引入這個(gè)領(lǐng)域，生成動(dòng)作與給定文本的一致性不斷提高。

然而，生成動(dòng)作的自然程度離使用需求仍有很大差距。為了進(jìn)一步提升人體動(dòng)作生成算法的能力，本文在 MotionDiffuse [1] 的基礎(chǔ)上提出了 ReMoDiffuse 算法（圖 1），通過利用檢索策略，找到高相關(guān)性的參考樣本，提供細(xì)粒度的參考特征，從而生成更高質(zhì)量的動(dòng)作序列。

• 論文鏈接：https://arxiv.org/pdf/2304.01116.pdf

• GitHub：https://github.com/mingyuan-zhang/ReMoDiffuse

• 項(xiàng)目主頁：https://mingyuan-zhang.github.io/projects/ReMoDiffuse.html

通過巧妙地將擴(kuò)散模型和創(chuàng)新的檢索策略融合，ReMoDiffuse 為文本指導(dǎo)的人體動(dòng)作生成注入了新的生命力。經(jīng)過精心構(gòu)思的模型結(jié)構(gòu)，ReMoDiffuse 不僅能夠創(chuàng)造出豐富多樣、真實(shí)度高的動(dòng)作序列，還能有效地滿足各種長(zhǎng)度和多粒度的動(dòng)作需求。實(shí)驗(yàn)證明，ReMoDiffuse 在動(dòng)作生成領(lǐng)域的多個(gè)關(guān)鍵指標(biāo)上表現(xiàn)出色，顯著地超越了現(xiàn)有算法。

圖 1. ReMoDiffuse 概覽

方法介紹

ReMoDiffuse 主要由兩個(gè)階段組成：檢索和擴(kuò)散。在檢索階段，ReMoDiffuse 使用混合檢索技術(shù)，基于用戶輸入文本以及預(yù)期動(dòng)作序列長(zhǎng)度，從外部的多模態(tài)數(shù)據(jù)庫中檢索出信息豐富的樣本，為動(dòng)作生成提供強(qiáng)有力的指導(dǎo)。在擴(kuò)散階段，ReMoDiffuse 利用檢索階段檢索到的信息，通過高效的模型結(jié)構(gòu)，生成與用戶輸入語義一致的運(yùn)動(dòng)序列。

為了確保高效的檢索，ReMoDiffuse 為檢索階段精心設(shè)計(jì)了以下數(shù)據(jù)流（圖 2）：

共有三種數(shù)據(jù)參與檢索過程，分別是用戶輸入文本、預(yù)期動(dòng)作序列長(zhǎng)度，以及一個(gè)外部的、包含多個(gè) < 文本，動(dòng)作 > 對(duì)的多模態(tài)數(shù)據(jù)庫。在檢索最相關(guān)的樣本時(shí)，ReMoDiffuse 利用公式計(jì)算出每個(gè)數(shù)據(jù)庫中的樣本與用戶輸入的相似度。這里的第一項(xiàng)是利用預(yù)訓(xùn)練的 CLIP [2] 模型的文本編碼器對(duì)用戶輸入文本和數(shù)據(jù)庫實(shí)體的文本計(jì)算余弦相似度，第二項(xiàng)計(jì)算預(yù)期動(dòng)作序列長(zhǎng)度和數(shù)據(jù)庫實(shí)體的動(dòng)作序列長(zhǎng)度之間的相對(duì)差異作為運(yùn)動(dòng)學(xué)相似度。計(jì)算相似度分?jǐn)?shù)后，ReMoDiffuse 選擇相似度排名前 k 的樣本作為檢索到的樣本，并提取出文本特征，和動(dòng)作特征。這兩者和從用戶輸入的文本中提取的特征一同作為輸入給擴(kuò)散階段的信號(hào)，指導(dǎo)動(dòng)作生成。

圖 2：ReMoDiffuse 的檢索階段

擴(kuò)散過程（圖3.c）由正向過程和逆向過程兩個(gè)部分組成。在正向過程中，ReMoDiffuse 逐步將高斯噪聲添加到原始動(dòng)作數(shù)據(jù)中，并最終將其轉(zhuǎn)化為隨機(jī)噪聲。逆向過程專注于除去噪聲并生成逼真的動(dòng)作樣本。從一個(gè)隨機(jī)高斯噪聲開始，ReMoDiffuse 在逆向過程中的每一步都使用語義調(diào)制模塊（SMT）（圖3.a）來估測(cè)真實(shí)分布，并根據(jù)條件信號(hào)來逐步去除噪聲。這里 SMT 中的 SMA 模塊將會(huì)將所有的條件信息融入到生成的序列特征中，是本文提出的核心模塊。

圖 3：ReMoDiffuse 的擴(kuò)散階段

對(duì)于 SMA 層（圖 3.b），我們使用了高效的注意力機(jī)制（Efficient Attention）[3] 來加速注意力模塊的計(jì)算，并創(chuàng)造了一個(gè)更強(qiáng)調(diào)全局信息的全局特征圖。該特征圖為動(dòng)作序列提供了更綜合的語義線索，從而提升了模型的性能。SMA 層的核心目標(biāo)是通過聚合條件信息來優(yōu)化動(dòng)作序列的生成。在這個(gè)框架下：

1.Q 向量具體地代表了我們期望基于條件信息生成的預(yù)期動(dòng)作序列。

2.K 向量作為一種索引機(jī)制綜合考慮了多個(gè)要素，包括當(dāng)前動(dòng)作序列特征、用戶輸入的語義特征，以及從檢索樣本中獲取的特征和。其中，表示從檢索樣本中獲取的動(dòng)作序列特征，表示從檢索樣本中獲取的文本描述特征。這種綜合性的構(gòu)建方式保證了 K 向量在索引過程中的有效性。

3.V 向量提供了動(dòng)作生成所需的實(shí)際特征。類似 K 向量，這里 V 向量也綜合考慮了檢索樣本、用戶輸入以及當(dāng)前動(dòng)作序列?？紤]到檢索樣本的文本描述特征與生成的動(dòng)作之間沒有直接關(guān)聯(lián)，因此在計(jì)算 V 向量時(shí)我們選擇不使用這一特征，以避免不必要的信息干擾。

結(jié)合 Efficient Attention 的全局注意力模板機(jī)制，SMA 層利用來自檢索樣本的輔助信息、用戶文本的語義信息以及待去噪序列的特征信息，建立起一系列綜合性的全局模板，使得所有條件信息能夠被待生成序列充分吸收。

實(shí)驗(yàn)及結(jié)果

我們?cè)趦蓚€(gè)數(shù)據(jù)集 HumanML3D [4] 和 KIT-ML [5] 上評(píng)估了 ReMoDiffuse。在與文本的一致性與動(dòng)作質(zhì)量?jī)蓚€(gè)角度上，實(shí)驗(yàn)結(jié)果（表 1、2）展示了我們提出的 ReMoDiffuse 框架的強(qiáng)大性能和優(yōu)勢(shì)。

表 1. 不同方法在 HumanML3D 測(cè)試集上的表現(xiàn)

表 2. 不同方法在 KIT-ML 測(cè)試集上的表現(xiàn)

以下是一些能定性展示 ReMoDiffuse 的強(qiáng)大性能的示例（圖 4）。與之前的方法相比，例如，在給定文本 “一個(gè)人在圓圈里跳躍” 時(shí)，只有 ReMoDiffuse 能夠準(zhǔn)確捕捉到 “跳躍” 動(dòng)作和 “圓圈” 路徑。這表明 ReMoDiffuse 能夠有效地捕捉文本細(xì)節(jié)，并將內(nèi)容與給定的運(yùn)動(dòng)持續(xù)時(shí)間對(duì)齊。

圖 4. ReMoDiffuse 生成的動(dòng)作序列與其他方法生成的動(dòng)作序列的比較

我們對(duì) Guo 等人的方法 [4]、MotionDiffuse [1]、MDM [6] 以及 ReMoDiffuse 所生成的相應(yīng)動(dòng)作序列進(jìn)行了可視化展示，并以問卷形式收集測(cè)試參與者的意見。結(jié)果的分布情況如圖 5 所示。從結(jié)果中可以清晰地看出，在大多數(shù)情況下，參與測(cè)試者認(rèn)為我們的方法 —— 即 ReMoDiffuse 所生成的動(dòng)作序列在四個(gè)算法中最貼合所給的文本描述，也最自然流暢。

圖 5：用戶調(diào)研的結(jié)果分布

引用

[1] Mingyuan Zhang, Zhongang Cai, Liang Pan, Fangzhou Hong, Xinying Guo, Lei Yang, and Ziwei Liu. Motiondiffuse: Text-driven human motion generation with diffusion model. arXiv preprint arXiv:2208.15001, 2022.

[2] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. arXiv preprint arXiv:2103.00020, 2021.

[3] Zhuoran Shen, Mingyuan Zhang, Haiyu Zhao, Shuai Yi, and Hongsheng Li. Efficient attention: Attention with linear complexities. In Proceedings of the IEEE/CVF winter conference on applications of computer vision, pages 3531–3539, 2021.

[4] Chuan Guo, Shihao Zou, Xinxin Zuo, Sen Wang, Wei Ji, Xingyu Li, and Li Cheng. Generating diverse and natural 3d human motions from text. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5152–5161, 2022.

[5] Matthias Plappert, Christian Mandery, and Tamim Asfour. The kit motion-language dataset. Big data, 4 (4):236–252, 2016.

[6] Guy Tevet, Sigal Raab, Brian Gordon, Yonatan Shafir, Daniel Cohen-Or, and Amit H Bermano. Human motion diffusion model. In The Eleventh International Conference on Learning Representations, 2022.