智能“手環(huán)”助力聾人手語發(fā)聲

一枚小巧的“手環(huán)”，通過連接服務器就可以讓聾人的手語發(fā)聲，并且還能把外界語音轉化為文字，實現(xiàn)聾啞人和外界的無障礙溝通。

5月17日至18日，2018“未來力大會”大學生社會創(chuàng)新大賽全國賽在上海舉行，東北大學的“妙手回聲”項目榮獲創(chuàng)行中國科創(chuàng)冠軍賽全國總冠軍。“我們研發(fā)的手語雙向交互系統(tǒng)為聾人架起一座與世界溝通的橋梁，用一雙妙手化無聲為有聲?！表椖恐笇Ы處煛|北大學機器人科學與工程學院王斐副教授表示。

針對聾人在日常生活中與健全人交流困難問題，東北大學曾振、賀瀟、李榮頡等同學在王斐老師的指導下研發(fā)出了一套基于多源信息融合的手語雙向交互系統(tǒng)。該系統(tǒng)由可同步采集上肢肌電與慣性信息的佩戴式手環(huán)、安裝有手語雙向交流APP的平板電腦和手語識別云服務器構成。當聾啞人與健全人進行交流時，系統(tǒng)對手環(huán)采集得到的聾人上肢多源信息進行實時處理，并基于深度學習完成手語關鍵詞在線識別，然后使用語法模型獲得手語詞句，并通過語音芯片合成，實現(xiàn)手語到語音的轉換。同時，健全人的語音可以通過APP轉化為文字和手語動圖反饋給聾人，從而實現(xiàn)了二者的自然無障礙雙向交流。

王斐老師告訴記者，在研發(fā)過程中，團隊曾遇到了智能硬件核心技術的瓶頸問題，開發(fā)到一定程度就受制于國外的技術封鎖，無法再進行深層次開發(fā)?！懊@人手語發(fā)聲裝置最核心的硬件就是肌電手環(huán)。實驗室進行了技術攻克，現(xiàn)在能夠做到從軟件到硬件都是我們的自有技術。”他說，這背后是上千遍枯燥重復的實驗嘗試和難熬的夜晚，團隊經歷了數(shù)不清的“推倒重來”。

與傳統(tǒng)基于機器視覺的手勢識別方法相比，使用肌電手環(huán)可避免光照、遮擋、干擾和手指細微動作無法捕捉等嚴重缺陷，在便攜實用的同時，更增加了手語識別的實時性和準確性。為聾人在日常生活中與健全人進行無障礙交流提供了極大的便捷，也為他們從身心兩方面重返社會創(chuàng)造了有利的條件。

據(jù)團隊成員介紹，在比賽現(xiàn)場進行成果展示之后，評委給出了這樣的評價：“我沒有想到作為大學生，你們會注意到聾啞人這個群體，而且還為了改善他們的生活做了這么多事情。”

王斐老師表示，殘疾人是弱勢群體，團隊從來沒想過產品研發(fā)成功之后可以賺錢，所以在技術上他們盡力做到完全的自主化，從而降低成本，這樣一來殘疾人可以很容易地得到并能使用它。

團隊成員曾振說：“有些高水平的東西，在商業(yè)角度上看價值不大，但這也是學生團隊和實驗室的價值所在，企業(yè)做1到1萬的商業(yè)轉化，而學生實驗室可以不計回報地做從0到1的技術研發(fā)。”

該團隊將代表中國前往美國硅谷參加2018創(chuàng)行世界杯總決賽。