通過將類似皮膚的電子設(shè)備與計(jì)算機(jī)視覺結(jié)合起來來識別手勢

新加坡南洋理工大學(xué)（NTU新加坡）的科學(xué)家開發(fā)了一種人工智能（AI）系統(tǒng)，該系統(tǒng)通過將類似皮膚的電子設(shè)備與計(jì)算機(jī)視覺結(jié)合起來來識別手勢。

在過去的十年中，人工智能系統(tǒng)對人的手勢的識別已成為一項(xiàng)有價(jià)值的發(fā)展，并且已被高精度的外科手術(shù)機(jī)器人，健康監(jiān)測設(shè)備和游戲系統(tǒng)采用。

通過整合可穿戴式傳感器的輸入，改進(jìn)了最初僅用于視覺的AI手勢識別系統(tǒng)，這種方法稱為“數(shù)據(jù)融合”?？纱┐魇絺鞲衅骺芍亟ㄆつw的感知能力，其中之一被稱為“體感”。

但是，手勢識別精度仍然受到可穿戴式傳感器提供的數(shù)據(jù)質(zhì)量低的困擾，這通常是由于它們的體積大，與用戶的接觸不良以及視覺上受阻的物體和光線不足的影響。視覺和感官數(shù)據(jù)的集成帶來了進(jìn)一步的挑戰(zhàn)，因?yàn)樗鼈兇砹瞬黄ヅ涞臄?shù)據(jù)集，必須分別處理然后在最后合并，這效率低下，導(dǎo)致響應(yīng)時(shí)間變慢。

為了應(yīng)對這些挑戰(zhàn)，NTU團(tuán)隊(duì)創(chuàng)建了一個(gè)“生物啟發(fā)”的數(shù)據(jù)融合系統(tǒng)，該系統(tǒng)使用由單壁碳納米管制成的類似于皮膚的可拉伸應(yīng)變傳感器，以及一種類似于皮膚的感知和視覺處理方式的AI方法。大腦。

NTU科學(xué)家通過在一個(gè)系統(tǒng)中結(jié)合三種神經(jīng)網(wǎng)絡(luò)方法來開發(fā)他們的生物啟發(fā)式AI系統(tǒng)：他們使用了“卷積神經(jīng)網(wǎng)絡(luò)”，這是一種用于早期視覺處理的機(jī)器學(xué)習(xí)方法，是一種多層神經(jīng)網(wǎng)絡(luò)，用于早期的體感信息處理，和“稀疏神經(jīng)網(wǎng)絡(luò)”將視覺和體感信息融合在一起。

結(jié)果是該系統(tǒng)可以比現(xiàn)有方法更準(zhǔn)確，更有效地識別人的手勢。

該研究的主要作者，南大材料科學(xué)與工程學(xué)院的陳曉東教授說：“我們的數(shù)據(jù)融合架構(gòu)具有其自身獨(dú)特的生物啟發(fā)特征，其中包括類似于人體感覺-視覺融合層次的人工系統(tǒng)。大腦。我們相信這些功能使我們的架構(gòu)對于現(xiàn)有方法而言是獨(dú)一無二的?！?/p>

“與剛性穿戴式傳感器相比，剛性穿戴式傳感器與用戶之間無法形成足夠緊密的接觸以準(zhǔn)確收集數(shù)據(jù)，我們的創(chuàng)新技術(shù)使用可拉伸的應(yīng)變傳感器，可舒適地貼附??在人體皮膚上。這可實(shí)現(xiàn)高質(zhì)量的信號采集，這對于高強(qiáng)度采集至關(guān)重要精確識別任務(wù)”，同時(shí)也是南大柔性設(shè)備創(chuàng)新中心（iFLEX）主任的陳教授說。

由NTU新加坡和悉尼科技大學(xué)（UTS）的科學(xué)家組成的團(tuán)隊(duì)于6月在科學(xué)期刊《自然電子》上發(fā)表了他們的發(fā)現(xiàn)。

為了從手勢捕獲可靠的感官數(shù)據(jù)，研究團(tuán)隊(duì)制造了一種透明的，可拉伸的應(yīng)變傳感器，該傳感器附著在皮膚上，但在相機(jī)圖像中看不到。

作為概念證明，該團(tuán)隊(duì)使用通過手勢控制的機(jī)器人測試了他們的生物啟發(fā)式AI系統(tǒng)，并引導(dǎo)其通過了迷宮。

結(jié)果表明，與基于視覺的識別系統(tǒng)產(chǎn)生的六個(gè)識別錯(cuò)誤相比，由生物啟發(fā)的AI系統(tǒng)提供動(dòng)力的手勢識別能夠以零錯(cuò)誤引導(dǎo)機(jī)器人穿越迷宮。

當(dāng)新的AI系統(tǒng)在惡劣條件下（包括噪音和不利的照明條件）進(jìn)行測試時(shí)，也保持了較高的準(zhǔn)確性。人工智能系統(tǒng)在黑暗中有效工作，識別準(zhǔn)確率高達(dá)96.7%。

該研究的第一作者，新加坡南大材料科學(xué)與工程學(xué)院的王明博士說：“我們的體系結(jié)構(gòu)的高精度背后的秘密在于，視覺和體感信息可以相互作用并相互補(bǔ)充。因此，該系統(tǒng)可以合理地收集具有較少冗余數(shù)據(jù)和較少感知模糊性的連貫信息，從而提高準(zhǔn)確性。”

德國馬克斯·普朗克膠體與界面研究所所長Markus Antonietti教授發(fā)表了獨(dú)立的見解，他說：“本文的發(fā)現(xiàn)使我們向更智能，更受機(jī)器支持的世界邁出了一步。就像智能手機(jī)的發(fā)明一樣這場革命給社會(huì)帶來了革命，這項(xiàng)工作使我們寄希望于我們有一天能夠通過手勢以極大的可靠性和精確性來物理控制我們周圍的整個(gè)世界?！?/p>

“在市場上，支持這種未來的技術(shù)只是無窮無盡的應(yīng)用。例如，從對智能工作場所的遠(yuǎn)程機(jī)器人控制到老年人的外骨骼?！?/p>

NTU研究團(tuán)隊(duì)正在尋求基于開發(fā)的AI系統(tǒng)構(gòu)建VR和AR系統(tǒng)，用于需要高精度識別和控制的領(lǐng)域，例如娛樂技術(shù)和家庭康復(fù)。