基于深度的關(guān)鍵點(diǎn)匹配算法實(shí)現(xiàn)單步多人絕對三維姿態(tài)

由單幀彩色圖像恢復(fù)多人的三維姿態(tài)和人與相機(jī)的絕對位置關(guān)系是一個(gè)具有挑戰(zhàn)性的任務(wù)，因?yàn)閳D像在拍攝過程中損失了深度和尺度信息。在 ECCV2020 上，商湯與浙大聯(lián)合實(shí)驗(yàn)室提出了單步多人絕對三維姿態(tài)估計(jì)網(wǎng)絡(luò)和 2.5D 人體姿態(tài)表示方法，并且基于所提出的深度已知的關(guān)鍵點(diǎn)匹配算法，得到絕對三維人體姿態(tài)。該方法結(jié)合圖像的全局特征和局部特征，能獲得準(zhǔn)確的人體前后關(guān)系和人與相機(jī)的距離，在 CMU Panoptic 和 MuPoTS-3D 多人三維人體姿態(tài)估計(jì)數(shù)據(jù)集上均達(dá)到 SOTA（state-of-the-art），并且在未見過的場景中具有很好的泛化能力。

論文名稱：SMAP: Single-Shot Multi-PersonAbsolute 3D Pose Estimation

動(dòng)機(jī)

基于單幀圖像的人體絕對三維姿態(tài)估計(jì)在混合現(xiàn)實(shí)、視頻分析、人機(jī)交互等領(lǐng)域有很廣泛的應(yīng)用。近幾年研究人員多將注意力集中于人體相對三維姿態(tài)估計(jì)任務(wù)上，并且取得了不錯(cuò)的成果。但是對于多人場景下人體絕對三維姿態(tài)估計(jì)任務(wù)，除了要估計(jì)相對人體三維姿態(tài)，更重要的是估計(jì)人與相機(jī)的絕對位置關(guān)系。

當(dāng)前大多數(shù)方法對檢測到的人體區(qū)域進(jìn)行裁剪后，分別估計(jì)絕對位置。有的方法利用檢測框的大小作為人體尺寸的先驗(yàn)，通過網(wǎng)絡(luò)回歸深度信息，但是這樣的方法忽略了圖像的全局信息；另外一些方法基于一些假設(shè)，通過后處理的手段估計(jì)人體深度，如地面約束，但是這樣的方法依賴于姿態(tài)估計(jì)的準(zhǔn)確度，而且很多假設(shè)在實(shí)際場景中無法滿足（比如人腳不可見）。

我們認(rèn)為要準(zhǔn)確地估計(jì)人的絕對三維位置需要利用圖像中所有與深度相關(guān)的信息，比如人體尺寸、前后遮擋關(guān)系、人在場景中的位置等。近年來有很多工作利用卷積神經(jīng)網(wǎng)絡(luò)回歸場景的深度信息，這啟發(fā)我們使用網(wǎng)絡(luò)直接估計(jì)場景中所有人的深度信息，而不是在后處理過程中恢復(fù)深度。

綜上，我們提出了新的單步自底向上的方法估計(jì)多人場景的人體絕對三維姿態(tài)，它可以在一次網(wǎng)絡(luò)推理后得到所有人的絕對位置信息和三維姿態(tài)信息。另外，我們還提出了基于深度信息的人體關(guān)鍵點(diǎn)匹配算法，包括深度優(yōu)先匹配和自適應(yīng)骨長約束，進(jìn)一步優(yōu)化關(guān)鍵點(diǎn)的匹配結(jié)果。

方法介紹

上圖展示了所提出方法的流程，包括 SMAP 網(wǎng)絡(luò)，基于深度的關(guān)鍵點(diǎn)匹配(Depth-Aware Part Association), 和可選的微型優(yōu)化網(wǎng)絡(luò)（RefineNet）。輸入一張彩色圖像，SMAP 網(wǎng)絡(luò)同時(shí)輸出人體根節(jié)點(diǎn)深度圖（Root Depth Map）、二維關(guān)鍵點(diǎn)熱度圖（Heatmaps）、關(guān)鍵點(diǎn)連接向量場（PAFs）和骨骼相對深度圖（Part Relative-Depth Maps）?；谝陨系?2.5D 特征表示方法，進(jìn)行關(guān)鍵點(diǎn)匹配，然后利用相機(jī)模型得到人體絕對三維關(guān)鍵點(diǎn)坐標(biāo)。最后，可以使用微型優(yōu)化網(wǎng)絡(luò)對結(jié)果進(jìn)行補(bǔ)全和優(yōu)化。

2.12.5D特征表示方式

2.1.1人體根節(jié)點(diǎn)深度圖（RootDepthMap）
由于圖像中人體數(shù)目是未知的，我們提出了人體根節(jié)點(diǎn)深度圖來表示場景中人的絕對深度，根節(jié)點(diǎn)深度圖中，每個(gè)人根節(jié)點(diǎn)（如脖子或腰部）位置的值表示其根節(jié)點(diǎn)的絕對深度，在訓(xùn)練時(shí)，只對根節(jié)點(diǎn)位置進(jìn)行監(jiān)督。其優(yōu)勢在于，不受圖中人數(shù)限制，并且只需要三維人體姿態(tài)數(shù)據(jù)便可以訓(xùn)練，而不需要整張圖的深度信息。
對于同一個(gè)深度下的同一個(gè)人，具有不同內(nèi)參（FoV, field of view）的相機(jī)會(huì)得到不同的二維圖像，這對建立二維信息（如人體尺寸）和絕對深度之間的映射關(guān)系是不利的，所以需要對輸入網(wǎng)絡(luò)的深度利用 FoV 進(jìn)行歸一化：

2.1.2Heatmaps和 PAFs

對于二維信息，我們采用與 OpenPose 相同的表示方式。關(guān)鍵點(diǎn)熱度圖（Heatmaps）表示關(guān)鍵點(diǎn)位于某個(gè)像素的概率，關(guān)鍵點(diǎn)連接向量場（PAFs）表示關(guān)鍵點(diǎn)之間相連的方向和概率。

2.1.3骨骼相對深度圖（PartRelative-DepthMaps）
骨骼相對深度圖生成方式與 PAFs 相同，區(qū)別在于它的值表示的是關(guān)鍵點(diǎn)之間的深度差。

2.2基于深度的關(guān)鍵點(diǎn)匹配算法

由關(guān)鍵點(diǎn)熱度圖（Heatmap）得到人體根節(jié)點(diǎn)位置后，便可以從根節(jié)點(diǎn)深度圖（Root DepthMap）中讀取每個(gè)人的深度信息，我們利用深度信息進(jìn)一步優(yōu)化人體關(guān)鍵點(diǎn)匹配算法，以解決二維關(guān)鍵點(diǎn)匹配算法中存在的歧義性問題。

如圖第一行所示，我們提出深度優(yōu)先匹配，當(dāng)兩個(gè)人存在遮擋時(shí)，如果同一個(gè)關(guān)鍵點(diǎn)有所重疊，單純基于二維信息的匹配方式無法確定該關(guān)鍵點(diǎn)的所屬關(guān)系，有可能導(dǎo)致大部分關(guān)鍵點(diǎn)的錯(cuò)連，如第三列所示。而重疊的關(guān)鍵點(diǎn)在絕大多數(shù)場景中應(yīng)該屬于前一個(gè)人，所以基于網(wǎng)絡(luò)推斷的深度信息，我們給予靠近相機(jī)的人更大的連接優(yōu)先級，如第四列所示。 另外，我們還提出了自適應(yīng)骨長距離約束。在二維匹配算法中，一般設(shè)置圖像寬度的一半為關(guān)鍵點(diǎn)匹配的距離約束，但是由于人與相機(jī)距離不同，在二維圖像中呈現(xiàn)的尺寸不同，固定的約束無法起到很好的效果，如圖中第二行第三列所示。對于每個(gè)骨骼，我們使用訓(xùn)練集中該骨骼的平均長度作為其實(shí)際長度，然后利用網(wǎng)絡(luò)輸出的深度計(jì)算其在二維圖像中的最大長度如下：

2.3絕對三維姿態(tài)恢復(fù)
由基于深度的匹配算法獲得人體關(guān)鍵點(diǎn)匹配結(jié)果后，可以由根節(jié)點(diǎn)絕對深度和骨骼相對深度得到每一個(gè)關(guān)鍵點(diǎn)的絕對深度，然后利用如下公式

反投影得到人體關(guān)鍵點(diǎn)絕對三維坐標(biāo)。其中 K 是相機(jī)內(nèi)參矩陣，在絕大部分應(yīng)用中都是已知的，如果未知，可以使用估計(jì)值。

由上述步驟恢復(fù)的結(jié)果可能會(huì)引入兩種誤差：由于骨架是以級聯(lián)的方式表示的，在恢復(fù)末端關(guān)節(jié)點(diǎn)深度時(shí)，會(huì)有累計(jì)誤差；另外，嚴(yán)重的遮擋和圖像截?cái)鄷?huì)導(dǎo)致人體某些關(guān)鍵點(diǎn)的缺失。對此，我們提出了微型補(bǔ)全網(wǎng)絡(luò) RefineNet，輸入估計(jì)的相對二維和三維關(guān)鍵點(diǎn)坐標(biāo)，輸出優(yōu)化和補(bǔ)全后的相對三維關(guān)鍵點(diǎn)坐標(biāo)。RefinNet 并不會(huì)對人體根節(jié)點(diǎn)絕對深度進(jìn)行優(yōu)化。

實(shí)驗(yàn)結(jié)果 我們提出的方法在 CMU Panoptic 和 MuPoTS-3D 多人三維人體姿態(tài)估計(jì)數(shù)據(jù)集上均達(dá)到 SOTA。

另外，我們對不同可選的深度估計(jì)方法進(jìn)行了對比。第一種，回歸全圖的深度[1]，如圖第一列；第二種，根據(jù)檢測框的尺寸回歸人體深度[2]，如圖第二列。散點(diǎn)圖的橫坐標(biāo)為人體深度估計(jì)值，縱坐標(biāo)為實(shí)際值，散點(diǎn)越靠近 x=y 直線說明回歸的深度越準(zhǔn)確?？梢钥闯?，我們提出的方法（Root Depth Map）具有更好的深度一致性和泛化能力。

為了體現(xiàn)單步自底向上網(wǎng)絡(luò)相對于自頂向下網(wǎng)絡(luò)[2]的優(yōu)勢，我們進(jìn)行了定性分析。圖中左邊為自頂向下網(wǎng)絡(luò)的結(jié)果，可見自頂向下的方法會(huì)受到姿態(tài)變化、人體遮擋、人體截?cái)嗟挠绊?，而我們提出的自底向上的方法可以利用全局信息緩解這個(gè)問題。