騰訊、百度、軟銀都在研究，利用AI技術(shù)將手語轉(zhuǎn)文字有多重要？

電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）據(jù)外媒報(bào)道，日本電氣大學(xué)與軟銀公司聯(lián)合，通過人工智能AI技術(shù)，能將手語直接翻譯成日語，這將使聾啞人士的溝通更順暢。

目前該系統(tǒng)只能用于柜臺(tái)設(shè)備上，聾啞人士能在攝像頭前通過手語溝通，然后系統(tǒng)用圖像識(shí)別技術(shù)，分析手指和手臂等身體幾個(gè)部位的骨骼運(yùn)動(dòng)，將手勢(shì)翻譯成日文，顯示在工作人員的電腦屏幕上，隨后口頭回復(fù)以文本的形式出現(xiàn)在聽障人士面前的屏幕上，使交流更加順暢。

該系統(tǒng)的核心技術(shù)由ABEJA提供，谷歌2018年投資了它，ABEJA的核心產(chǎn)品是使用機(jī)器學(xué)習(xí)幫助公司從他們的數(shù)據(jù)堆中開展商業(yè)分析。在這個(gè)項(xiàng)目中，ABEJA通過讓AI學(xué)習(xí)了5萬個(gè)手語視頻，使其捕捉到手語特征和變化，目前該系統(tǒng)能準(zhǔn)確將手勢(shì)翻譯成大約1500個(gè)日語單詞。

早在2015年就有手語識(shí)別研究

人工智能技術(shù)的出現(xiàn)和逐漸成熟，不僅有利于產(chǎn)業(yè)升級(jí)，事實(shí)上很早開始，就有研究人員嘗試?yán)肁I技術(shù)幫助聾啞人士更加順暢的交流。

2015年9月沙特設(shè)計(jì)師就專門研發(fā)了一款無線智能手套，內(nèi)置傳感器，聾啞人戴上交流的時(shí)候，傳感器可以根據(jù)手指的運(yùn)動(dòng)追蹤手勢(shì)，再通過語言軟件轉(zhuǎn)換成聲音和文字，在初期，這款無線智能手套只會(huì)講法語、英語和阿拉伯語，該研究團(tuán)隊(duì)表示，后續(xù)會(huì)支持更多種語言。

在中國也很早就有相關(guān)的研究，2016年有媒體報(bào)道，東大自動(dòng)化專業(yè)李師寧等同學(xué)研發(fā)出了一種最新型的手語識(shí)別發(fā)聲系統(tǒng)，這是一種結(jié)合人體生物及姿態(tài)信息的便攜手語發(fā)聲器，聾啞人可以通過手語使該機(jī)器發(fā)聲翻譯。

2018年東北大學(xué)也研制出一款幫助聽障人士溝通交流的智能系統(tǒng)，由智能傳感手環(huán)、前端APP及云端服務(wù)組成，智能傳感手環(huán)可以將聽障人士的手語動(dòng)作捕捉識(shí)別，并在云端轉(zhuǎn)換為文字及語音呈現(xiàn)在APP端，傳遞給非手語使用者，同時(shí)又可以將非手語使用者的語音在APP端轉(zhuǎn)換為文字加手語動(dòng)圖的“雙語形式”。

百度、騰訊等互聯(lián)網(wǎng)巨頭企業(yè)也進(jìn)行了相關(guān)研究，2019年百度在AI開發(fā)者大會(huì)上提出“Everyone can AI”的理想，意思是讓每個(gè)人都能有平等接收AI的能力，百度以百度飛槳開源內(nèi)容為基礎(chǔ)建立訓(xùn)練模型，通過采集手勢(shì)得到數(shù)據(jù)，借助手機(jī)轉(zhuǎn)化成文字信息，聽障人士可以使用翻譯器，在咖啡館、餐廳如同正常人一樣點(diǎn)餐、交流。

優(yōu)圖AI手語翻譯機(jī)界面

同是在2019年，騰訊優(yōu)圖實(shí)驗(yàn)室也推出了一款基于自研算法的優(yōu)圖AI手語翻譯機(jī)，以普通攝像頭作為手語采集裝置，用戶正對(duì)攝像頭完成手語表達(dá)，翻譯機(jī)就能通過后臺(tái)運(yùn)算將手語快速翻譯成文字。據(jù)介紹，優(yōu)圖AI手語翻譯機(jī)數(shù)據(jù)集覆蓋近千句日常表達(dá)，包括900個(gè)常用詞匯，同時(shí)還對(duì)數(shù)據(jù)進(jìn)行了分析和歸納，是當(dāng)前最大的中文手語識(shí)別數(shù)據(jù)集。

手語識(shí)別技術(shù)存在很大挑戰(zhàn)

相比于其他AI視覺識(shí)別技術(shù)，手語識(shí)別研發(fā)存在更大困難。在2018年東北大學(xué)的研究中，就透露出手語識(shí)別研究存在的現(xiàn)實(shí)問題，即每位聽障人士的手語規(guī)劃不同，同一個(gè)詞打出的手勢(shì)有差異，因此智能識(shí)別可能就沒那么準(zhǔn)確。

不過好在2018年中央頒發(fā)了國家通用手語標(biāo)準(zhǔn)方案，這很大程度有利于后續(xù)手語轉(zhuǎn)文字或語音方面的研究。即使如此可能還是會(huì)存在細(xì)微差異，百度此前就表示，手語復(fù)雜、多樣、以及地域性差異給研究帶來不少困難。

百度還談到另外一大困難，即可用于訓(xùn)練模型的數(shù)據(jù)量小，在上述日本的項(xiàng)目中，一位參與開發(fā)的軟銀工程師也表示，要建立一個(gè)將符號(hào)準(zhǔn)確翻譯成日文的模型，需要大量的手語數(shù)據(jù)。因此他們通過網(wǎng)站等方式，呼吁更多人發(fā)送手語圖像數(shù)據(jù)。

小結(jié)

AI技術(shù)在服務(wù)產(chǎn)業(yè)升級(jí)的同時(shí)，也可以極大的幫助聾啞人群更好的實(shí)現(xiàn)溝通，這是這個(gè)時(shí)代的福音。據(jù)第二次全國殘疾人抽樣調(diào)查結(jié)果顯示，我國有2780萬聽障人士，如果能夠利用AI技術(shù)實(shí)現(xiàn)將手語實(shí)時(shí)翻譯成文字和語音，這將是一項(xiàng)極其有意義的事。

日本聾人聯(lián)合會(huì)認(rèn)為，要使人工智能成為聾啞人群的有效工具，還需要很長的時(shí)間來實(shí)現(xiàn)。不過很明顯從2015年到現(xiàn)在，手語識(shí)別在逐漸取得進(jìn)步，也有相當(dāng)多的研究人員和企業(yè)投入其中，對(duì)于未來逐步突破困難取得更大進(jìn)步還是值得期待。