基于深度圖像的人體關(guān)節(jié)定位算法

人體姿態(tài)估計(jì)是當(dāng)前計(jì)算機(jī)視覺(jué)領(lǐng)域的熱點(diǎn)研究問(wèn)題。對(duì)人體骨架關(guān)節(jié)點(diǎn)進(jìn)行準(zhǔn)確提取并構(gòu)建人體骨架模型，為進(jìn)一步的人體姿態(tài)識(shí)別、實(shí)時(shí)交互游戲等應(yīng)用提供了基礎(chǔ)。但是傳統(tǒng)的基于RGB圖像的方法容易受到光照、陰影、復(fù)雜背景的影響，準(zhǔn)確度不高并且算法復(fù)雜。利用深度圖像技術(shù)可以有效地解決上述問(wèn)題，利用深度信息可以快速地進(jìn)行背景分割，抗干擾性能好，算法效率高。

本文主要研究基于深度圖像的人體關(guān)節(jié)定位算法。算法對(duì)深度圖像素點(diǎn)周?chē)鷧^(qū)域的深度進(jìn)行格點(diǎn)化采樣以提取其深度特征，再使用隨機(jī)森林分類(lèi)器進(jìn)行像素點(diǎn)分類(lèi)，對(duì)同一類(lèi)別的點(diǎn)使用Mean Shift算法聚類(lèi)出中心點(diǎn)，以該中心點(diǎn)作為關(guān)節(jié)點(diǎn)位置。該算法可對(duì)人體全身關(guān)節(jié)點(diǎn)進(jìn)行定位。

局域深度特征提取

本文中采用如圖1所示的局域深度采樣特征。其中藍(lán)色點(diǎn)表示圖像I中給定的像素x，以該像素為中心生成一個(gè)5*5的格點(diǎn)矩陣，紅色的格點(diǎn)表示要進(jìn)行深度采樣的點(diǎn)。

圖1 局域深度采樣示意圖

隨機(jī)森林分類(lèi)器

分類(lèi)器是對(duì)樣本進(jìn)行分類(lèi)的算法的統(tǒng)稱(chēng)，在機(jī)器學(xué)習(xí)中有許多種分類(lèi)器可供我們選擇使用，包括邏輯回歸、樸素貝葉斯、支持向量機(jī)（SVM）、決策樹(shù)、隨機(jī)森林、神經(jīng)網(wǎng)絡(luò)等算法。綜合考慮分類(lèi)的精度與效率，本課題中采用的是隨機(jī)森林分類(lèi)器。

隨機(jī)森林分類(lèi)器是由多棵決策樹(shù)組合而成的分類(lèi)器，如圖2所示。決策樹(shù)的結(jié)構(gòu)類(lèi)似二叉樹(shù)，由分裂結(jié)點(diǎn)和葉結(jié)點(diǎn)構(gòu)成。每一個(gè)分裂結(jié)點(diǎn)包含一個(gè)特征與閾值，像素x從根部開(kāi)始，根據(jù)特征與閾值劃分進(jìn)入左子樹(shù)還是右子樹(shù)，這樣不斷地分裂直到葉結(jié)點(diǎn)。在每棵樹(shù)的葉結(jié)點(diǎn)能夠得到該像素對(duì)于各個(gè)身體部件的概率分布，將各棵樹(shù)得到的結(jié)果相加，得到最終的概率分布，擁有最高概率的一類(lèi)作為最終的分類(lèi)結(jié)果。

隨機(jī)森林將多棵決策樹(shù)合并在一起，準(zhǔn)確度相較于單棵決策樹(shù)有較大提升，并且多棵決策樹(shù)可以并行訓(xùn)練，提高了訓(xùn)練效率。

圖2隨機(jī)森林分類(lèi)器

訓(xùn)練完隨機(jī)森林分類(lèi)器后，我們利用其對(duì)像素點(diǎn)進(jìn)行分類(lèi)，判斷其屬于身體的哪個(gè)部位。對(duì)于圖像中的每個(gè)像素，使用分類(lèi)器對(duì)其分類(lèi)后得到分類(lèi)的結(jié)果，以及預(yù)測(cè)結(jié)果的概率。我們只選取圖像中預(yù)測(cè)概率高于80%的點(diǎn)，這樣就能得到密度不同的分類(lèi)點(diǎn)。越靠近關(guān)節(jié)點(diǎn)位置，預(yù)測(cè)概率越高，點(diǎn)的密度越大，遠(yuǎn)離關(guān)節(jié)點(diǎn)位置的密度則小。

關(guān)節(jié)點(diǎn)位置估計(jì)

在得到像素點(diǎn)分類(lèi)后，我們使用Mean Shift聚類(lèi)算法得到屬于同一部位像素點(diǎn)的中心，作為關(guān)節(jié)位置。

Mean Shift算法一般為一個(gè)迭代過(guò)程，先計(jì)算感興趣區(qū)域內(nèi)的偏移均值，移動(dòng)區(qū)域中心到計(jì)算出的質(zhì)心處，然后以此處作為新的起點(diǎn)，繼續(xù)移動(dòng)。在迭代過(guò)程中，不斷向密度更大的地方偏移，直到移動(dòng)到這類(lèi)像素點(diǎn)密度最高的中心位置而停止。此時(shí)這個(gè)位置最能代表這一類(lèi)點(diǎn)，我們將其作為該部位的關(guān)節(jié)點(diǎn)位置。分別對(duì)所有類(lèi)別的點(diǎn)都運(yùn)行一遍此算法后，我們就能得到全身關(guān)節(jié)點(diǎn)的位置。

但是由于分類(lèi)結(jié)果并不一定準(zhǔn)確，聚類(lèi)出的結(jié)果可能與真實(shí)關(guān)節(jié)點(diǎn)的位置有所偏移，這時(shí)我們可以采用人體骨架長(zhǎng)度比例約束條件，來(lái)矯正一部分偏移較大的關(guān)節(jié)點(diǎn)，對(duì)預(yù)測(cè)結(jié)果進(jìn)行優(yōu)化。

流程介紹

訓(xùn)練流程：對(duì)一幅深度圖，取關(guān)節(jié)附近的點(diǎn)作為訓(xùn)練集，對(duì)這些點(diǎn)提取深度特征，再訓(xùn)練隨機(jī)森林分類(lèi)器

圖3訓(xùn)練流程示意圖

測(cè)試流程：深度圖背景分割得到人體區(qū)域圖像，使用隨機(jī)森林分類(lèi)器對(duì)人體的像素點(diǎn)進(jìn)行分類(lèi)，選取預(yù)測(cè)概率大于設(shè)定閾值的點(diǎn)，則得到疏密不同的各關(guān)節(jié)部位像素點(diǎn)，越接近關(guān)節(jié)點(diǎn)位置，像素點(diǎn)越密，再使用Mean shift算法進(jìn)行聚類(lèi)，得到關(guān)節(jié)點(diǎn)位置

測(cè)試流程示意圖

運(yùn)行效果

圖4為關(guān)節(jié)定位算法的運(yùn)行效果，(a)為NTU數(shù)據(jù)集中關(guān)節(jié)點(diǎn)的標(biāo)準(zhǔn)位置；(b)是算法對(duì)同一張深度圖中關(guān)節(jié)點(diǎn)的定位結(jié)果；(c)為自制的Kinect測(cè)試集上的運(yùn)行效果；(d)為采用公司研制的TOF相機(jī)模塊拍攝的深度圖的運(yùn)行效果?？梢灾庇^地看出定位效果較為良好。TOF相機(jī)的分辨率為320*240，因此相同距離下人體在畫(huà)面中所占比例更大。

(a) (b)

(c) (d)

圖4 算法運(yùn)行效果示例

注：

(a)NTU測(cè)試集真值，25關(guān)節(jié)

(b)NTU測(cè)試集

(c)自制測(cè)試集

(d)TOF相機(jī)拍攝圖像

審核編輯 ：李倩