怎樣用AI賦能信息無(wú)障礙

姚登峰是一位聽(tīng)障人士，但他在逆境中不斷地創(chuàng)造傳奇，獲得了北京大學(xué)（分?jǐn)?shù)線，專(zhuān)業(yè)設(shè)置）碩士、清華大學(xué)（分?jǐn)?shù)線，專(zhuān)業(yè)設(shè)置）博士學(xué)位，現(xiàn)在是北京聯(lián)合大學(xué)的副教授、碩士生導(dǎo)師。去年12月，他和另外兩位清華博士一起創(chuàng)業(yè)。

他來(lái)自湖北天門(mén)，1歲時(shí)雙耳失聰，卻以優(yōu)異成績(jī)完成各階段學(xué)業(yè)。作為全球首位人工智能聾人博士，姚登峰的博士課題是手語(yǔ)認(rèn)知與計(jì)算，致力解決聾人與健全人的信息溝通問(wèn)題。在李德毅院士的點(diǎn)撥下，姚登峰團(tuán)隊(duì)將手語(yǔ)計(jì)算研究擴(kuò)展到行為語(yǔ)言計(jì)算研究，即理解全人類(lèi)的行為語(yǔ)言。為了將最新科技成果轉(zhuǎn)化為科技產(chǎn)品，他創(chuàng)業(yè)成立行語(yǔ)科技，成為一家行為語(yǔ)言整體解決方案的提供商，公司自主研發(fā)的行為語(yǔ)言計(jì)算技術(shù)，在理解除了語(yǔ)音語(yǔ)言之外的整個(gè)人類(lèi)多樣化行為方面，居于世界領(lǐng)先水平。

5月25日，在清華大學(xué)校長(zhǎng)杯創(chuàng)新挑戰(zhàn)賽中，行語(yǔ)科技脫穎而出，獲得由眾多頂級(jí)投資人和專(zhuān)家評(píng)出的企業(yè)創(chuàng)新獎(jiǎng)。

面對(duì)坎坷“生氣不如爭(zhēng)氣”

姚登峰從小就以殘疾身體奔跑在人生馬拉松賽場(chǎng)。他1歲時(shí)因?yàn)楦忻鞍l(fā)燒導(dǎo)致聽(tīng)力極重度損失，從此墜入了一片靜寂的無(wú)聲世界。

當(dāng)時(shí)醫(yī)生的判斷是訓(xùn)練沒(méi)有效果，但他的母親沒(méi)有放棄，日復(fù)一日對(duì)他進(jìn)行聽(tīng)語(yǔ)康復(fù)訓(xùn)練。沒(méi)有助聽(tīng)器，母親就在他耳邊大聲“喊話”，彼此摸著對(duì)方的喉嚨感覺(jué)聲音的震動(dòng)來(lái)發(fā)音，漸漸登峰學(xué)會(huì)說(shuō)話和交流。上學(xué)后，他無(wú)法聽(tīng)到老師講課的完整信息，自己就通過(guò)大量的閱讀和自學(xué)來(lái)彌補(bǔ)，以頑強(qiáng)的毅力克服了求學(xué)中的種種困難和阻礙，他的成績(jī)可以考入重點(diǎn)大學(xué)，卻因耳聾被拒錄，幾經(jīng)周折被錄取到一所二本大學(xué)。

“生氣不如爭(zhēng)氣！”姚登峰面對(duì)挫折激發(fā)斗志，更加努力證明自己不比健全人差。2003年他通過(guò)全國(guó)統(tǒng)考，以專(zhuān)業(yè)第一名的成績(jī)考上了北大研究生，并以全優(yōu)的成績(jī)畢業(yè)。也正是在北大讀研期間，他第一次接觸到信息無(wú)障礙。“大部分人認(rèn)為信息障礙只存在于殘障人士之間，其實(shí)健全人也會(huì)有老的時(shí)候，也會(huì)有聽(tīng)不到聲音、看不到東西的時(shí)候，也會(huì)有特殊場(chǎng)景下遇到信息障礙的時(shí)候。信息無(wú)障礙是全人類(lèi)的事情”。

他在信息無(wú)障礙領(lǐng)域做了大量開(kāi)創(chuàng)性的工作，也發(fā)現(xiàn)了手語(yǔ)背后計(jì)算領(lǐng)域的一片空白地帶，為此他2012年考入清華大學(xué)在職攻讀博士學(xué)位，希望用手語(yǔ)認(rèn)知和計(jì)算技術(shù)，讓有聲世界的口語(yǔ)族與無(wú)聲世界的手語(yǔ)族能夠自由溝通。

在清華讀博期間，在數(shù)以萬(wàn)計(jì)的代碼編寫(xiě)和實(shí)驗(yàn)論證之后，2016年姚登峰團(tuán)隊(duì)在國(guó)際上首次提出手語(yǔ)計(jì)算的認(rèn)知架構(gòu)，一舉解決了手語(yǔ)計(jì)算困擾多年的底層像素特征與邏輯語(yǔ)義輸出的斷層，匯合手勢(shì)分詞實(shí)驗(yàn)的數(shù)據(jù)寶庫(kù)，手語(yǔ)計(jì)算的理論、技術(shù)與認(rèn)知支撐首次形成了完整閉環(huán)。

擔(dān)任中國(guó)人工智能學(xué)會(huì)理事長(zhǎng)、北京聯(lián)合大學(xué)機(jī)器人學(xué)院院長(zhǎng)的李德毅院士，有一次點(diǎn)撥姚登峰：在自然語(yǔ)言交流效果中，有聲語(yǔ)言占7%，語(yǔ)音音調(diào)占38%，面部表情、肢體語(yǔ)言及手勢(shì)等行為語(yǔ)言占55%。過(guò)去幾十年來(lái)AI只關(guān)注占比45%的講話內(nèi)容的理解，但對(duì)于占比55%的表情、手勢(shì)、肢體等行為語(yǔ)言并未關(guān)注。

姚登峰博士畢業(yè)后在手語(yǔ)計(jì)算的基礎(chǔ)上，開(kāi)始嘗試破解行為語(yǔ)言的深層奧秘，由于兩者本身在面部、手勢(shì)、肢體的聚合感知上架構(gòu)相通，再加上團(tuán)隊(duì)伙伴不懈地探索和研究，僅僅兩年便在這一領(lǐng)域取得了突破性進(jìn)展，2017年姚登峰被推薦為北京市卓越青年科學(xué)家。

調(diào)研發(fā)現(xiàn)各行各業(yè)都有行為語(yǔ)言計(jì)算需求

行為語(yǔ)言是從運(yùn)算智能到達(dá)感知智能、認(rèn)知智能重要的途徑，基于動(dòng)態(tài)影像的行為識(shí)別是AI的最前沿領(lǐng)域，全球科技巨頭都在積極尋找剛需解決方案。

阿布都克力木、哈里旦木兩位博士和姚登峰是從事小語(yǔ)種計(jì)算研究的清華同學(xué)，他們常常在一起討論前沿科技，在一次次探討中敏銳地認(rèn)識(shí)到，如果對(duì)人類(lèi)行為語(yǔ)言進(jìn)行全方位無(wú)感識(shí)別與計(jì)算輸出，機(jī)器智能便能理解各種行為語(yǔ)義并做出善解人意的反饋。這將是由傳統(tǒng)運(yùn)算智能上升至感知智能和認(rèn)知智能的重要核心，并可以延伸出更多跨行業(yè)有價(jià)值的產(chǎn)品和服務(wù)。

2018年，姚登峰團(tuán)隊(duì)在湖北進(jìn)行了智能領(lǐng)域的無(wú)人駕駛無(wú)感識(shí)別的實(shí)驗(yàn)，通過(guò)一周的數(shù)據(jù)采集，該技術(shù)在0~100米范圍內(nèi)可以準(zhǔn)確在人群中識(shí)別出交警，識(shí)別率達(dá)到95%；在識(shí)別交警準(zhǔn)確的8套手勢(shì)時(shí)，識(shí)別率達(dá)到90%。這證明該技術(shù)已達(dá)商用標(biāo)準(zhǔn)，他們順利拿到了國(guó)家知識(shí)產(chǎn)權(quán)證書(shū)。

一次，姚登峰與創(chuàng)業(yè)伙伴做市場(chǎng)調(diào)研，在一所監(jiān)獄考察時(shí)發(fā)現(xiàn)其引入了最先進(jìn)的監(jiān)控系統(tǒng)，僅一個(gè)監(jiān)控室安裝了幾十個(gè)顯示器，對(duì)應(yīng)500個(gè)房間外加各類(lèi)場(chǎng)所通道。但負(fù)責(zé)這500個(gè)房間的狀況監(jiān)控的干警，每天輪班連續(xù)看顯示器，人極度疲勞，監(jiān)控效果也很難面面俱到。

如果有了行為語(yǔ)言智慧監(jiān)控系統(tǒng)，就可以通過(guò)人工智能自動(dòng)發(fā)現(xiàn)是否有違規(guī)行為，能夠及時(shí)把違規(guī)動(dòng)作等截圖上傳到監(jiān)控室，讓就近獄警及時(shí)干預(yù)，提高管理運(yùn)行效率和安全防范水平。

團(tuán)隊(duì)在市場(chǎng)調(diào)查中得知很多場(chǎng)景、場(chǎng)合都需要應(yīng)用行為語(yǔ)言計(jì)算，比如在照顧老人時(shí)，識(shí)別出老人是否摔倒；在跑步、游泳等體育運(yùn)動(dòng)時(shí)，識(shí)別動(dòng)作是否標(biāo)準(zhǔn)；在煉油廠等敏感區(qū)域，識(shí)別出抽煙、沒(méi)有戴安全帽等不安全行為……各行業(yè)的需求對(duì)接讓團(tuán)隊(duì)意識(shí)到行為語(yǔ)言計(jì)算技術(shù)確實(shí)可以幫助很多人，使大家增添了開(kāi)發(fā)貼近市場(chǎng)需求產(chǎn)品的緊迫感。

國(guó)內(nèi)團(tuán)隊(duì)多在語(yǔ)音識(shí)別、圖像識(shí)別、可穿戴設(shè)備識(shí)別方面下功夫，但是在行為語(yǔ)言計(jì)算方向上，姚登峰認(rèn)為，未來(lái)世界行為語(yǔ)言計(jì)算是不需要任何設(shè)備的，識(shí)別是無(wú)感的，希望用超前的無(wú)感識(shí)別技術(shù)改變?nèi)祟?lèi)的生活，讓技術(shù)盡快轉(zhuǎn)化為應(yīng)用產(chǎn)品。

在接受中國(guó)青年報(bào)·中青在線專(zhuān)訪時(shí)，盡管姚登峰能聽(tīng)懂提問(wèn)，但他還是打開(kāi)手機(jī)語(yǔ)音識(shí)別軟件，用標(biāo)準(zhǔn)普通話流暢地回答每一個(gè)問(wèn)題。

姚登峰明白，創(chuàng)業(yè)是對(duì)一個(gè)人綜合實(shí)力的考驗(yàn)，生活節(jié)奏“不斷在加快加快再加快”，也不斷地解決一個(gè)又一個(gè)難題。

行語(yǔ)科技在創(chuàng)辦3個(gè)月后，國(guó)際某工業(yè)巨頭主動(dòng)尋求行語(yǔ)科技投資控股且計(jì)劃在后續(xù)B、C輪融資時(shí)引入頂級(jí)平臺(tái)資源。但因隨后而來(lái)的經(jīng)濟(jì)危機(jī)擱淺了該計(jì)劃。

緊接著，行語(yǔ)科技在部署煉油廠監(jiān)控系統(tǒng)時(shí)，發(fā)現(xiàn)單體技術(shù)跟理想應(yīng)用還存在著不少距離，很多場(chǎng)景應(yīng)用不光是行為識(shí)別的問(wèn)題，還需要結(jié)合圖像識(shí)別的技術(shù)，比如抽煙動(dòng)作最好結(jié)合識(shí)別香煙形狀。這涉及底層技術(shù)架構(gòu)的調(diào)整，否則就很難通過(guò)客戶嚴(yán)苛的測(cè)試，此時(shí)研發(fā)主力程序員又因出國(guó)被迫退出。困難一個(gè)接一個(gè)，只能靠創(chuàng)始成員自己頂上，加班加點(diǎn)完成任務(wù)。

據(jù)了解，目前行語(yǔ)科技的團(tuán)隊(duì)有10多人，已與國(guó)內(nèi)一線科創(chuàng)平臺(tái)簽署戰(zhàn)略合作，落地智慧監(jiān)獄和工業(yè)場(chǎng)景，同時(shí)在南京、杭州等地都有項(xiàng)目落地。