計(jì)算機(jī)視覺(jué)中手語(yǔ)識(shí)別研究

計(jì)算機(jī)視覺(jué)中手語(yǔ)識(shí)別研究

手語(yǔ)識(shí)別的目的就是通過(guò)計(jì)算機(jī)提供一種有效的、準(zhǔn)確的機(jī)制將聾啞人常用的手語(yǔ)手勢(shì)識(shí)別出來(lái)，使得他們與健全人之間的交互變得更方便、快捷。同時(shí)，手語(yǔ)識(shí)別的應(yīng)用還可以提供更自然的人機(jī)交互方式，方便聾啞人對(duì)計(jì)算機(jī)等常用信息設(shè)備的使用。目前手語(yǔ)識(shí)別可以分為基于視覺(jué)（圖像）的識(shí)別系統(tǒng)和基于數(shù)據(jù)手套（佩戴式設(shè)備）的識(shí)別系統(tǒng)?；谝曈X(jué)的手勢(shì)識(shí)別系統(tǒng)采用常見(jiàn)的視頻采集設(shè)備作為手勢(shì)感知輸入設(shè)備，價(jià)格便宜、便于安裝。鑒于基于視覺(jué)的手勢(shì)識(shí)別方法交互自然便利，適于普及應(yīng)用，且更能反映機(jī)器模擬人類(lèi)視覺(jué)的功能，所以目前是手勢(shì)識(shí)別的研究重點(diǎn)。

手語(yǔ)識(shí)別的研究開(kāi)始于1982年，Shantz和Poizner實(shí)現(xiàn)了一個(gè)合成美國(guó)手語(yǔ)的計(jì)算機(jī)程序。之后，中國(guó)、美國(guó)、日本、德國(guó)等許多國(guó)家都進(jìn)行了自己國(guó)家的手語(yǔ)識(shí)別與合成研究，并取得了許多重要的研究成果。Triesch和Malsburg開(kāi)發(fā)了一種彈性圖模板匹配技術(shù)對(duì)復(fù)雜背景下的手形進(jìn)行分類(lèi)，在相對(duì)復(fù)雜的背景下的識(shí)別率達(dá)到86.2%。Davis和Shah將戴上指間具有高亮標(biāo)記的視覺(jué)手套的手勢(shì)作為系統(tǒng)的輸入，可識(shí)別7種手勢(shì)。Starner等在對(duì)美國(guó)手語(yǔ)中帶有詞性的40個(gè)詞匯隨機(jī)組成的短句子識(shí)別率達(dá)到99.2%。Yang等人采用7Hu不變矩特征量進(jìn)行手語(yǔ)字母識(shí)別，最好識(shí)別率為90%。

在圖像特征提取方面，為了能夠同時(shí)表征圖像的全局特性和局部特性，需要同時(shí)提取圖像的全局特征和局部特征，并且這些特征中用以描述圖像整體形狀的特征應(yīng)當(dāng)具備平移、旋轉(zhuǎn)和尺度不變性。SIFT（Scale Invariant Feature Transform）是一種對(duì)尺度空間、圖像縮放、旋轉(zhuǎn)甚至仿射不變的圖像局部特征描述算子;而7Hu不變矩特征量具有平移、旋轉(zhuǎn)和尺度不變性的特點(diǎn)，具有很好的穩(wěn)定性，適合描述目標(biāo)整體形狀。

數(shù)據(jù)堂自制版權(quán)的系列數(shù)據(jù)集產(chǎn)品為“手勢(shì)識(shí)別”這一技術(shù)路徑的實(shí)現(xiàn)提供了強(qiáng)有力的支持。

1314,178張18種手勢(shì)識(shí)別數(shù)據(jù)

314,178張18種手勢(shì)識(shí)別數(shù)據(jù)涵蓋多種場(chǎng)景、18種手勢(shì)、5種拍攝角度、多年齡段、多種光照條件。在標(biāo)注方面，標(biāo)注21關(guān)鍵點(diǎn)（每個(gè)關(guān)鍵點(diǎn)有可見(jiàn)不可見(jiàn)屬性）、手勢(shì)類(lèi)別和手勢(shì)屬性。314,178張18種手勢(shì)識(shí)別數(shù)據(jù)可用于手勢(shì)識(shí)別、人機(jī)交互等任務(wù)。

基于線性核函數(shù)的SVM平均識(shí)別率為95.556%，基于徑向基核函數(shù)的SVM平均識(shí)別率為83.1282%。實(shí)驗(yàn)表明，采用徑向基核函數(shù)的SVM識(shí)別率普遍低于采用線性核函數(shù)的SVM。

本文提出了一種采用7Hu不變矩特征量等多種圖像特征相融合的SVMs手語(yǔ)識(shí)別方法。實(shí)驗(yàn)表明，在手語(yǔ)識(shí)別中，采用圖像全局和局部特征相結(jié)合的方法，可獲得較高的識(shí)別率，為手語(yǔ)識(shí)別方法的早日推廣應(yīng)用提供了理論依據(jù)。

審核編輯黃宇