手勢識別在車內(nèi)交互領(lǐng)域能否煥發(fā)新生？

2017年9月7日，中德合璧的拜騰汽車橫空出世，致力于做國內(nèi)版“特斯拉”的這家公司，除了在南京設(shè)有生產(chǎn)基地外，整個(gè)產(chǎn)品平臺(tái)、產(chǎn)品設(shè)計(jì)、產(chǎn)品技術(shù)和配件等都在慕尼黑。

發(fā)布會(huì)上，拜騰推出了將于2019年面世的首款產(chǎn)品-純電動(dòng)中型SUV車型，這輛車最大的亮點(diǎn)是——配有一款尺寸驚人的液晶屏，具體尺寸是長125厘米、高25厘米。

這塊屏幕在2018CES上大出風(fēng)頭，但隱藏在其背后的，還有另外一項(xiàng)功能：動(dòng)態(tài)手勢操控。

什么是動(dòng)態(tài)手勢操控？這還得從手勢本身說起。

手勢是人手或者手和手臂結(jié)合產(chǎn)生的多種動(dòng)作，通常分為靜態(tài)手勢和動(dòng)態(tài)手勢。簡單來說，靜態(tài)手勢只需要判斷某個(gè)時(shí)間點(diǎn)上手勢的外形特征即可，而動(dòng)態(tài)手勢則需采集一段時(shí)間內(nèi)持續(xù)的動(dòng)作，進(jìn)行分析，增加了時(shí)間信息和動(dòng)作特征。因此動(dòng)態(tài)手勢識別的難度要大于靜態(tài)手勢。

手勢識別通常是出現(xiàn)在VR/AR領(lǐng)域，原本多用于家庭娛樂、智能穿戴領(lǐng)域，但由于價(jià)格高昂,此項(xiàng)技術(shù)一直沒有大規(guī)模應(yīng)用。而原本在此領(lǐng)域扮演重要角色的手勢識別，也沒能大展身手。那么作為一個(gè)新的應(yīng)用場景，手勢識別在車內(nèi)交互領(lǐng)域能否煥發(fā)新生？

《高工智能汽車》采訪了凌感科技（Usens）美國產(chǎn)品和運(yùn)營副總裁王亞明，來聽聽他怎么說。

王亞明畢業(yè)于麻省理工學(xué)院，有20年的軟件和嵌入式系統(tǒng)經(jīng)驗(yàn)。此前曾擔(dān)任美國微軟、Intel風(fēng)河公司、聯(lián)發(fā)科的高層，擔(dān)任產(chǎn)品總監(jiān)和企業(yè)高級管理，現(xiàn)任凌感科技美國公司總經(jīng)理。

手勢識別的二三事兒

手勢識別的實(shí)現(xiàn)方式，經(jīng)歷了二維到三維的轉(zhuǎn)變。二維手型識別，也稱靜態(tài)二維手勢識別，識別的是手勢中最簡單的一類。只能識別出幾個(gè)靜態(tài)的手勢動(dòng)作，比如握拳或者五指張開。這種手勢識別本身是通過視覺分析算法，得到預(yù)設(shè)圖像和拍攝圖像的差異，然后理解手勢的含義。

更確切的來講，是一種手形識別，而非手勢，因?yàn)槭謩菔侨S動(dòng)態(tài)的。二維手勢識別拓展性差、控制感弱，因此通常只用來實(shí)現(xiàn)一些簡單的功能。

另外一種二維手勢識別，通過更先進(jìn)的計(jì)算機(jī)視覺算法，具有了追蹤手勢運(yùn)動(dòng)的能力，體驗(yàn)上從純粹的狀態(tài)控制，變成了比較豐富的平面控制。

為了實(shí)現(xiàn)更豐富場景的應(yīng)用，手勢識別引入了三維的方式。三維的手勢識別主要是增加了Z軸的信息，即目標(biāo)的距離。二維的圖像在得到距離值后，便可以構(gòu)建出立體的模型，通過追蹤不同時(shí)刻目標(biāo)物體的三維立體形態(tài)變化，識別、認(rèn)識不同的形態(tài)，也就可以到更多與之相匹配的的標(biāo)準(zhǔn)含義。這就直接豐富了手勢識別的數(shù)量、類型。

三維手勢識別的實(shí)現(xiàn)方式，通常有三種，結(jié)構(gòu)光(Structure Light)、光飛時(shí)間(Time of Flight)、多角成像(Multi-camera)。結(jié)構(gòu)光是通過激光投射器投射激光束，經(jīng)過光柵打到物體上產(chǎn)生折射的位移，然后用攝像頭來采集圖樣，通過圖樣的位移變化，算出物體的位置、深度信息。這種方式使用的最佳范圍是1米到4米。

光飛時(shí)間的方式是用CMOS傳感器接收發(fā)光原件發(fā)射到物體上的反射光，然后通過光子的飛行時(shí)間計(jì)算距離，這種方式簡單，不需要計(jì)算機(jī)視覺方面的能力。

還有一種就是多角成像的原理，使用兩個(gè)或者兩個(gè)以上的攝像頭同時(shí)攝取圖像，模擬人類視覺，得到目標(biāo)物體的距離信息，類似于雙目測距。這種技術(shù)依賴于計(jì)算機(jī)視覺算法來匹配兩張圖片里的相同目標(biāo)，相對前兩種技術(shù)而言，性價(jià)比較高。

結(jié)緣拜騰

凌感科技成立于2013年，是一家為AR/VR提供三維人機(jī)交互解決方案的高科技公司，目前已經(jīng)在硅谷、北京、杭州、深圳等地設(shè)立研發(fā)及運(yùn)營中心。其核心技術(shù)通過識別手部22個(gè)關(guān)鍵點(diǎn)，26個(gè)自由度，辨別手部姿態(tài)，實(shí)現(xiàn)全手勢識別。

引以為傲的Inside-out追蹤技術(shù)，檢測人頭部的旋轉(zhuǎn)及運(yùn)動(dòng)位移，實(shí)現(xiàn)6自由度位置跟蹤，真實(shí)還原人在現(xiàn)實(shí)世界中的體驗(yàn)效果，是VR沉浸感不可或缺的重要指標(biāo)之一。

凌感科技在傳統(tǒng)的消費(fèi)者領(lǐng)域，手勢識別的能力較強(qiáng)，但由于諸多原因，VR/AR并沒有如人們想象的一樣快速的成長起來，行業(yè)進(jìn)入了較長的蟄伏期。

汽車的車內(nèi)交互方式，通常有語音、手勢、觸控、物理摁鍵等方式，隨著汽車的智能化來臨，前兩種方式逐漸有取代傳統(tǒng)交互方式的趨勢。

其中，車內(nèi)手勢交互屬于新事物，在存量車中較為少見，大多出現(xiàn)在一些新的概念車中。相比于傳統(tǒng)的AR/VR領(lǐng)域，車內(nèi)手勢識別目前主要停留在簡單動(dòng)作識別層面，要求可靠穩(wěn)定、快速響應(yīng)。

凌感科技的車內(nèi)交互之路，源于一次偶然。拜騰汽車在推出新款車型時(shí)，準(zhǔn)備在車上加入手勢識別的功能。

拜騰汽車采用了50英寸共享全面屏，對這款屏幕的操作方式，公司希望可以實(shí)現(xiàn)手勢動(dòng)態(tài)操控。即駕駛員可通過手勢，完成原有觸控、摁鍵要完成的功能。

對于原來做車內(nèi)手勢識別的企業(yè)而言，這種需求完成難度大，對手勢識別的精準(zhǔn)度、穩(wěn)定性以及響應(yīng)速度都提出了更高的要求，同時(shí)在功能的豐富性方面也不可同日而語。

但對于做AR/VR手勢識別出身的凌感科技而言，車載手勢識別從功能豐富性上是做了減法，需要適應(yīng)的是車載要求的一些規(guī)范。

由于凌感科技主要做的是軟件算法層面的工作，且手勢識別的方式有TOF、多角成像等方式，硬件層面只需要找相應(yīng)符合要求的攝像頭生產(chǎn)商即可。因此，滿足汽車要求的產(chǎn)品方案，并不難產(chǎn)。

彼時(shí)業(yè)內(nèi)符合其要求的，并沒有幾家，凌感科技接受了工作邀請，并且完成了其車載手勢識別的第一次嘗試。應(yīng)用在拜騰汽車上的手勢識別，有“開始”、“拖曳”、“指向”、“菜單”、“OK”五個(gè)手勢，駕駛員只需要伸出右手，完成相應(yīng)動(dòng)作即可進(jìn)行操控。

跟拜騰的合作比較順利，也讓公司意識到，除了傳統(tǒng)領(lǐng)域，正在興起的智能汽車交互，也將會(huì)是另外一個(gè)市場。

TOF景深、單目IR

凌感科技目前提供的針對車載手勢交互的產(chǎn)品中，支持2種模組。其手勢識別可支持的使用范圍包括，主副駕駛、后排乘客交互的多種場景。

其中在主駕駛位上的交互，包含中控屏、HUD的交互，副駕駛位和中控屏的交互，以及后排乘客和乘客屏的交互。

交互的方式主要有：

? 命令式手勢(Gesture)：接聽電話， 調(diào)節(jié)音量， 選取歌曲等

? 2D動(dòng)態(tài)交互：操作2D圖形界面， 娛樂， 社交， 工作

? 3D動(dòng)態(tài)交互：操作圖形界面， 娛樂， 社交

凌感科技美國產(chǎn)品和運(yùn)營副總裁王亞明表示，就目前而言，車內(nèi)手勢交互限于硬件條件（液晶大屏尚未普及），只完成少數(shù)簡單幾項(xiàng)的功能，并不豐富。

但手勢識別本質(zhì)上可以大大提升車內(nèi)操控的體驗(yàn)，并不需要駕駛員分心，去觀察傳統(tǒng)觸控、摁鍵完成操控的位置以及功能，操作人員僅僅需要記住相應(yīng)功能的手勢，即可完成操控。

而隨著車內(nèi)大屏的更新?lián)Q代，越來越多的功能需要觸控去完成，對于駕駛的安全有一定的影響，如果能用手勢代替原有的操控，將會(huì)大大提升駕乘體驗(yàn)，

同時(shí)，相比于車內(nèi)的另外一種交互方式——語音交互，手勢識別也有其它的一些優(yōu)勢。語音交互是通過機(jī)器識別人類語言，完成功能響應(yīng)。

一方面，語音識別由于人類語言的多樣性，識別算法的有效性，準(zhǔn)確性，很難達(dá)到通識天下語言，無往而不利。

另外一方面，人類的一些操控行為，并不一定能全部用語言描述。比如對持續(xù)性命令的執(zhí)行（調(diào)節(jié)音量，調(diào)節(jié)音視頻播放速度、進(jìn)度等），較難量化的命令，語音識別就存在一定的局限性。

這類似于鼠標(biāo)之于PC，其重要性很難被取代。

因此，手勢識別在未來的車內(nèi)交互領(lǐng)域，重要性一定會(huì)逐步體現(xiàn)。國際上一些傳統(tǒng)的汽車OEM廠商，已經(jīng)在其高端車上搭載了一些簡單的手勢識別功能，其它車企也在觀望、試探階段。

王亞明相信，隨著汽車智能化的發(fā)展，手勢識別一定會(huì)廣泛進(jìn)入汽車市場。

車內(nèi)手勢識別的萌芽期

當(dāng)然，手勢識別的上車之路，還需要一定的過程。比如，最常見的就是手勢識別方案的成本、可靠性，準(zhǔn)確性，體驗(yàn)是否能達(dá)到廠商的要求。

公司目前針對汽車手勢識別，有兩種方案，一種是攝像頭放置在中控位，一種是在車頂位。

中控位的方式ToF景深模組和單目IR模組都適合。優(yōu)勢是能獲得比較清晰的手區(qū)域圖像， 遮擋小， 適合提取全手骨骼。不同車型的設(shè)置不一樣， 安裝的位置和角度需要根據(jù)實(shí)際車型調(diào)整， 算法也需要相應(yīng)進(jìn)行一定定制。

車頂位的方式適用深度攝像頭（比如BMW采用了這種方式） ， 優(yōu)勢是能夠很好的控制水平方向距離， 適合手指類的動(dòng)態(tài)操作、 點(diǎn)擊等。 劣勢是需要?jiǎng)幼鳂?biāo)準(zhǔn)，否則隨意地動(dòng)作遮擋會(huì)多。

王亞明表示，無論哪種方式，都需要同車企深度合作，在汽車設(shè)計(jì)早期就進(jìn)入共同的研發(fā)階段。而這，不僅需要公司的實(shí)力過硬，同時(shí)產(chǎn)品的功能也能夠豐富，多樣。

由于手勢識別需要深度學(xué)習(xí)以及視覺的實(shí)時(shí)處理，對于硬件的算力也有一定的要求。通常的做法是分享汽車ECU算力或者配置單獨(dú)處理器。前者容易適配，改裝容易、價(jià)格便宜，主機(jī)廠商也樂意，但需要手勢識別部分的算力不占用太多資源。后者成本高昂，主機(jī)廠商接受度較低。

手勢識別初期在少量歐美高端車上的應(yīng)用，給全球其它車企起到了一定的示范作用。目前國內(nèi)的一些車企也在籌劃手勢識別進(jìn)車的事宜，手勢識別進(jìn)入汽車的速度可能會(huì)超出外界想象。

因此公司未來也會(huì)將更多的注意力以及重心放在汽車手勢識別領(lǐng)域。同時(shí)，由于國內(nèi)是全球最大的汽車消費(fèi)、生產(chǎn)市場，公司的重心也轉(zhuǎn)移到了國內(nèi)。目前凌感科技全球共有60余人的團(tuán)隊(duì)，其中2/3在中國，王亞明表示，其非?？春梦磥硎謩葑R別在車內(nèi)的應(yīng)用。