CVPR 2023：把人放在他們的位置，把人自然地插到圖像里

CVPR 2023：把人放在他們的位置，把人自然地插到圖像里

1. 論文信息

題目：Putting People in Their Place: Affordance-Aware Human Insertion into Scenes

作者：Sumith Kulal, Tim Brooks, Alex Aiken, Jiajun Wu, Jimei Yang, Jingwan Lu, Alexei A. Efros, Krishna Kumar Singh

鏈接：https://arxiv.org/abs/2304.14406

代碼：https://sumith1896.github.io/affordance-insertion/

2. 引言

一百年前，雅各布·馮·厄克爾指出了感知環(huán)境（umwelt）在生物生活中的關(guān)鍵、甚至決定性作用。他認(rèn)為，生物只能感知到它可以影響或被影響的環(huán)境部分。從某種意義上說，我們對世界的感知取決于我們能夠執(zhí)行的相互作用類型。相關(guān)的功能性視覺理解思想（給定場景對代理人提供了哪些動作？）在1930年代由格式塔心理學(xué)家討論過，后來由J.J.吉布森描述為“可供性”。雖然這個方向激發(fā)了視覺和心理學(xué)研究的許多努力，但是對可供性感知的全面計算模型仍然難以捉摸。這樣的計算模型的價值對未來的視覺和機器人研究是不可否認(rèn)的。

可供性：Affordance，指一個物理對象與人之間的關(guān)系。無論是動物還是人類，甚至是機器和機器人，他們之間發(fā)生的任何交互作用。可供性的體現(xiàn)，由物品的品質(zhì)，和與之交互的主體的能力共同決定。

過去十年，對基于數(shù)據(jù)驅(qū)動的可供性感知的計算模型重新產(chǎn)生了興趣。早期的研究采用了中介方法，通過推斷或使用中間語義或3D信息來輔助可供性感知。一些難以預(yù)測的可供性例子包括涉及物體之間復(fù)雜交互或需要更高層次推理和對場景上下文的理解。例如，預(yù)測一把椅子是否可以用來站立可能相對簡單，但是預(yù)測一把椅子是否可以用來到達高架子、避開障礙物或單腿平衡可能更加困難。同樣地，預(yù)測一扇門是否可以被打開可能相對容易，但是預(yù)測一扇門是否可以在特定情境下用作盾牌或路障可能更加具有挑戰(zhàn)性。通常，預(yù)測涉及物體的新穎或創(chuàng)造性使用或需要深入理解場景上下文的可供性可能特別具有挑戰(zhàn)性。而近期的方法則更加關(guān)注直接感知可供性，更符合吉布森的框架。然而，這些方法受到數(shù)據(jù)集特定要求的嚴(yán)格限制，降低了它們的普適性。

為了促進更普遍的設(shè)置，我們從最近大規(guī)模生成模型的進展中汲取靈感，例如文本到圖像系統(tǒng)。這些模型的樣本展示了令人印象深刻的物體-場景組合性。然而，這些組合是隱式的，可供性僅限于通常在靜態(tài)圖像中捕捉并由說明文字描述的內(nèi)容。我們通過將人“放入畫面”并在人類活動的視頻上進行訓(xùn)練，將可供性預(yù)測任務(wù)明確化。

我們將問題表述為條件修補任務(wù)。給定一個遮罩的場景圖像和一個參考人物，我們學(xué)習(xí)在遮罩區(qū)域內(nèi)正確地填充人物和可供性。在訓(xùn)練時，我們從視頻剪輯中借用兩個隨機幀，遮罩一個幀，并嘗試使用第二幀中的人作為條件進行修補。這迫使模型學(xué)習(xí)給定上下文下可能的場景可供性以及實現(xiàn)連貫圖像所需的重新姿態(tài)和協(xié)調(diào)。在推理時，可以使用不同的場景和人物圖像組合提示模型。我們在一個包含240萬個人類在各種場景中移動的視頻剪輯數(shù)據(jù)集上訓(xùn)練了一個大規(guī)模模型。

除了條件任務(wù)外，我們的模型可以在推理時以不同的方式進行提示。如圖中的最后一行所示，當(dāng)沒有人物時，我們的模型可以產(chǎn)生逼真的虛構(gòu)人物。同樣地，當(dāng)沒有場景時，它也可以產(chǎn)生逼真的虛構(gòu)場景。還可以執(zhí)行部分人物完成任務(wù)，如更改姿勢或交換衣服。我們展示了訓(xùn)練視頻對于預(yù)測可供性的重要性。

3. 方法

3.1. Diffusion Models介紹

Diffusion Models是一種生成模型，使用擴散過程來建模數(shù)據(jù)的概率分布，從而可以生成逼真的圖像樣本。Diffusion Models使用反向Diffusion Process來建模數(shù)據(jù)的概率分布，其中反向Diffusion Process是一個從數(shù)據(jù)點的隨機狀態(tài)開始，向初始狀態(tài)擴散的過程。在訓(xùn)練過程中，Diffusion Models使用Score Matching方法來估計反向Diffusion Process的條件概率密度函數(shù)。在生成過程中，Diffusion Models通過隨機初始化一個數(shù)據(jù)點的狀態(tài)，然后使用反向Diffusion Process逆推回初始狀態(tài)，從而生成一張新的圖像樣本。Diffusion Models可以通過調(diào)整Diffusion Process中的擴散系數(shù)來控制生成圖像的多樣性和清晰度。其中，Diffusion Process的隨機微分方程和反向Diffusion Process的隨機微分方程如下：

3.2. 任務(wù)設(shè)定

我們模型的輸入包含一個遮罩的場景圖像和一個參考人物，輸出圖像包含在場景上重新調(diào)整姿勢的參考人物。

受到Humans in Context (HiC)的啟發(fā)，我們生成了一個大規(guī)模的人在場景中移動的視頻數(shù)據(jù)集，并使用視頻幀作為完全自監(jiān)督的訓(xùn)練數(shù)據(jù)。我們將問題表述為條件生成問題。在訓(xùn)練時，我們從視頻中提取兩個包含同一人的隨機幀。我們將第一個幀中的人物遮罩并用作輸入場景，然后從第二個幀中裁剪并居中人物作為參考人物條件。我們訓(xùn)練一個條件潛在擴散模型，同時以遮罩的場景圖像和參考人物圖像為條件。這鼓勵模型在自監(jiān)督的方式下推斷正確的姿勢，hallucinate的人物-場景交互，并將重新姿勢的人物無縫地融入場景中。在測試時，模型可以支持多個應(yīng)用程序，插入不同的參考人物、無參考hallucinate的人物和hallucinate的場景。我們通過在訓(xùn)練過程中隨機刪除條件信號來實現(xiàn)這一點。我們在實驗部分評估了人物條件生成、人物hallucinate和場景hallucinate的質(zhì)量。

hallucinate：幻覺是指人們的感官（視覺、聽覺、嗅覺、觸覺和味覺）出現(xiàn)虛假的感知，看起來是真實的，但實際上并不存在。

3.3. 模型訓(xùn)練

本文介紹了一個基于自監(jiān)督訓(xùn)練的人物-場景交互生成模型。為了訓(xùn)練模型，作者生成了一個包含240萬個人在場景中移動的視頻剪輯的數(shù)據(jù)集，使用了HiC的預(yù)處理流程，并使用Keypoint R-CNN和OpenPose進行人物檢測和關(guān)鍵點檢測。作者使用Mask R-CNN檢測人物掩碼，以在輸入場景圖像中遮蔽人物并裁剪出參考人物。作者還設(shè)計了一種遮蔽和數(shù)據(jù)增強策略，以支持不同粒度級別的人物插入，并通過Dropout和DDIM樣本來提高生成質(zhì)量。作者的實驗結(jié)果表明，所提出的方法可以成功地生成高質(zhì)量的人物-場景交互圖像。

4. 實驗

本表格展示了進行了幾項消融實驗，以分析不同因素對所提出方法性能的影響。

第一組實驗比較了使用不同類型的輸入數(shù)據(jù)和數(shù)據(jù)增強策略的方法性能。結(jié)果顯示，使用視頻作為輸入數(shù)據(jù)且不進行數(shù)據(jù)增強會在FID（越小越好）和PCKh（越大越好）指標(biāo)方面獲得最佳性能。這表明使用視頻作為輸入數(shù)據(jù)可以提供更多的時間信息和上下文，使模型可以從中學(xué)習(xí)，而數(shù)據(jù)增強可以進一步提高性能。第二組實驗研究了不同圖像編碼器對所提出方法性能的影響。結(jié)果顯示，使用帶有8倍KL散度損失的VAE的性能不如使用不帶KL散度損失的圖像編碼器。這表明對于所提出的方法，使用更簡單的圖像編碼器更為有效。最后一組實驗分析了模型規(guī)模和預(yù)訓(xùn)練對所提出方法性能的影響。結(jié)果顯示，增加模型規(guī)模并從預(yù)訓(xùn)練的檢查點進行微調(diào)會在FID和PCKh指標(biāo)方面獲得更好的性能。這表明增加模型容量并使用預(yù)訓(xùn)練可以幫助提高所提出方法的性能。

本節(jié)主要介紹了針對人物幻覺和場景幻覺任務(wù)的實驗評估。在人物幻覺任務(wù)中，作者將條件人物去除后進行評估，并與Stable Diffusion和DALL-E 2進行比較。作者通過傳遞空條件人物對其模型進行評估，并使用Stable Diffusion進行定量評估。在定性評估中，作者生成了具有相同提示的Stable Diffusion和DALL-E 2結(jié)果。實驗結(jié)果表明，作者的方法可以成功地幻覺出與輸入場景相一致的多樣化人物，并且其性能優(yōu)于基線方法。在場景幻覺任務(wù)中，作者評估了受限和非受限兩種場景幻覺情況，并與Stable Diffusion和DALL-E 2進行比較。實驗結(jié)果表明，作者的方法比基線方法更能夠維持輸入?yún)⒖既宋锏奈恢煤妥藨B(tài)，并且在綜合大量圖像的場景幻覺任務(wù)中表現(xiàn)更好。作者還分析了條件因素對模型性能的影響，并對其進行了消融實驗?？偟膩碚f，實驗結(jié)果表明，作者的方法在人物幻覺和場景幻覺任務(wù)中表現(xiàn)出色，并且相比基線方法具有更好的性能和生成效果。同時，作者還分析了模型性能的不同影響因素，并提出了可用于改進性能的策略。

5. 討論

本文提出的方法具有以下優(yōu)點和廣闊的應(yīng)用前景：

數(shù)據(jù)集限制：為了訓(xùn)練模型，作者使用了一個包含240萬個人在場景中移動的視頻剪輯的數(shù)據(jù)集，這些視頻剪輯來自于互聯(lián)網(wǎng)，可能存在版權(quán)和隱私問題。此外，數(shù)據(jù)集中的場景和人物的多樣性也有限，這可能影響了模型在生成真實世界的多樣化人物和場景時的表現(xiàn)。

參考人物的選擇：為了生成人物-場景交互圖像，模型需要一個參考人物來指導(dǎo)生成。在本文中，作者使用了一些啟發(fā)式規(guī)則來選擇參考人物，如選擇中央人物或群體中的人物。但這種啟發(fā)式規(guī)則可能不能很好地適應(yīng)不同的場景和應(yīng)用場景，可能需要更精細的選擇方法來提高模型的生成效果。

訓(xùn)練和推理時間：由于所提出的方法使用了大規(guī)模的神經(jīng)網(wǎng)絡(luò)模型，并需要在大量的數(shù)據(jù)上進行訓(xùn)練，因此訓(xùn)練時間和計算資源需求較高。在推理時，生成一張高質(zhì)量的圖像也需要一定的時間和計算資源。這可能限制了該方法在實際應(yīng)用中的可擴展性和實用性。

生成結(jié)果的控制性較差：本文中所提出的方法是無條件生成人物-場景交互圖像，即無法直接控制生成圖像中的人物和場景屬性。盡管在一定程度上可以通過選擇參考人物來指導(dǎo)生成，但仍然存在控制性較差的問題。在某些應(yīng)用場景，需要更精細的生成控制來滿足特定的需求，這可能需要其他方法的支持。

但是本文提出的方法在人物-場景交互圖像生成任務(wù)中表現(xiàn)出了良好的性能和效果，但也存在一些缺點：

數(shù)據(jù)集：為了訓(xùn)練模型，作者使用了一個包含240萬個人在場景中移動的視頻剪輯的數(shù)據(jù)集，這些視頻剪輯來自于互聯(lián)網(wǎng)，可能存在版權(quán)和隱私問題。此外，數(shù)據(jù)集中的場景和人物的多樣性也有限，這可能影響了模型在生成真實世界的多樣化人物和場景時的表現(xiàn)。

參考人物的選擇：為了生成人物-場景交互圖像，模型需要一個參考人物來指導(dǎo)生成。在本文中，作者使用了一些啟發(fā)式規(guī)則來選擇參考人物，如選擇中央人物或群體中的人物。但這種啟發(fā)式規(guī)則可能不能很好地適應(yīng)不同的場景和應(yīng)用場景，可能需要更精細的選擇方法來提高模型的生成效果。

訓(xùn)練和推理時間：由于所提出的方法使用了大規(guī)模的神經(jīng)網(wǎng)絡(luò)模型，并需要在大量的數(shù)據(jù)上進行訓(xùn)練，因此訓(xùn)練時間和計算資源需求較高。在推理時，生成一張高質(zhì)量的圖像也需要一定的時間和計算資源。這可能限制了該方法在實際應(yīng)用中的可擴展性和實用性。

生成結(jié)果的控制性較差：本文中所提出的方法是無條件生成人物-場景交互圖像，即無法直接控制生成圖像中的人物和場景屬性。盡管在一定程度上可以通過選擇參考人物來指導(dǎo)生成，但仍然存在控制性較差的問題。在某些應(yīng)用場景，需要更精細的生成控制來滿足特定的需求，這可能需要其他方法的支持。

同時作者指出 EfficientViT 的一個局限性是，盡管它具有很高的推理速度，但由于引入了額外的 FFN，在模型大小方面與最先進的高效 CNN相比略微更大。此外，模型是基于構(gòu)建高效視覺 Transformer 的指導(dǎo)方針手動設(shè)計的。在未來的工作中，可以有興趣減小模型大小，并結(jié)合自動搜索技術(shù)進一步提高模型的容量和效率。

6. 結(jié)論

在這項工作中，我們提出了一項新的任務(wù)，即感知可供性的人類插入場景，我們通過使用視頻數(shù)據(jù)以自我監(jiān)督的方式學(xué)習(xí)條件擴散模型來解決它。我們展示了各種定性結(jié)果來證明我們方法的有效性。我們還進行了詳細的消融研究，以分析各種設(shè)計選擇的影響。我們希望這項工作能激勵其他研究人員追求這個新的研究方向