在ARKit 2.0發(fā)布之后不久,不少開(kāi)發(fā)者發(fā)現(xiàn)了新版本ARKit對(duì)利用iPhone X前置結(jié)構(gòu)光攝像頭進(jìn)行眼動(dòng)追蹤的支持。
類(lèi)似的功能我們?cè)谶^(guò)去也見(jiàn)識(shí)過(guò)(不會(huì)寫(xiě)程序怎么當(dāng)好藝術(shù)家?跳出iPhone X屏幕的3D立體視覺(jué)效果)
該藝術(shù)效果的開(kāi)發(fā)者就是利用了前置景深攝像頭獲取眼球位置,根據(jù)位置實(shí)時(shí)改變動(dòng)畫(huà)呈現(xiàn)角度。
但嚴(yán)格意義來(lái)說(shuō),這并不算是眼動(dòng)追蹤,只是對(duì)眼球位置的識(shí)別,換言之如果頭部和手機(jī)的相對(duì)位置不改變,眼球轉(zhuǎn)動(dòng)時(shí)畫(huà)面不發(fā)生變化。
而ARKit 2下眼動(dòng)追蹤的效果效果就非常驚艷了
轉(zhuǎn)動(dòng)眼睛,屏幕中的十字光標(biāo)便會(huì)隨著注視點(diǎn)的移動(dòng)而移動(dòng),響應(yīng)速度和精確度都很不錯(cuò)
通過(guò)眨眼睛(忍不住想眨眼了怎么辦,會(huì)不會(huì)誤觸)完成點(diǎn)擊選擇,操縱手機(jī)全程不需要?jiǎng)邮?,在很多?chǎng)景中可以說(shuō)是非常方便了。得益于紅外方案,即便是在黑暗中也能實(shí)現(xiàn)眼動(dòng)追蹤。
手機(jī)眼球追蹤
用眼動(dòng)追蹤來(lái)控制手機(jī),是不少開(kāi)發(fā)者一直以來(lái)都在設(shè)想的。
去年年初發(fā)布的ZTE Hawkeye加入的眼球追蹤利用前置攝像機(jī)檢測(cè)用戶的虹膜運(yùn)動(dòng),上下或左右滑動(dòng)控制屏幕。
滑動(dòng)的功能能方便人們?cè)谑稚蠜](méi)空的情況下簡(jiǎn)單的操作手機(jī),但是對(duì)于一些使用群體(肢體殘障)來(lái)說(shuō),他們渴望功能更加強(qiáng)大的眼動(dòng)追蹤方案。
一般而言,有兩種跟蹤眼球的方案,即普通攝像頭和紅外攝像頭。
普通攝像頭方便小型化,低成本但是精度低,紅外方案體積大,造價(jià)高,同時(shí)精度高。
但隨著技術(shù)的發(fā)展,優(yōu)缺點(diǎn)不能一刀切,針對(duì)普通攝像頭方案,2016年麻省理工開(kāi)設(shè)的“Eye tracking for everyone”就利用了卷積神經(jīng)網(wǎng)絡(luò)(CNN)預(yù)測(cè)用戶對(duì)手機(jī)或者平板的注視位置,只使用普通攝像機(jī)的情況下讓精度變?yōu)?.34cm到2.12cm。
盡管精度上有所提高,但從目前的市場(chǎng)情況可見(jiàn)雖然該技術(shù)還并沒(méi)有成熟。
紅外攝像頭則一直都是主流的眼動(dòng)追蹤識(shí)別方案
例如Tobii眼動(dòng)儀采用的技術(shù)就是通過(guò)識(shí)別用戶眼球上角膜、瞳孔產(chǎn)生的反射圖像,使用兩個(gè)圖像傳感器分別采集眼睛與反射圖像,通過(guò)圖像處理算法和一個(gè)三維眼球模型精確地計(jì)算出眼球、注視點(diǎn)在空間中的具體位置。
解決了小型化問(wèn)題的True-Depth相機(jī)模組是否也采用了相似地技術(shù)原理呢?
6月20日,開(kāi)發(fā)者Andrew Zimmer在Twitter發(fā)布了一個(gè)demo,展示ARKit 2對(duì)眼睛注視點(diǎn)位置的實(shí)時(shí)追蹤效果,隨著Andrew眼球的轉(zhuǎn)動(dòng),注視點(diǎn)點(diǎn)的移動(dòng)在屏幕上畫(huà)出一條連貫的曲線。在圖中,顏色越暖(橘色、紅色),代表注視時(shí)間越長(zhǎng)。注視點(diǎn)位置的檢測(cè)精確,識(shí)別軌跡流暢連貫,在未來(lái)的人機(jī)交互中潛力巨大。
有相當(dāng)數(shù)量的患者由于操作不便,與信息時(shí)代脫節(jié)。其中有不少唯一與設(shè)備相互動(dòng)的渠道就是眼睛,眼球追蹤加入智能手機(jī)的交互模式同樣也能造福健全人,讓我們?cè)谑稚蠜](méi)空的情況下操作手機(jī)比如做飯看菜譜、開(kāi)車(chē)看導(dǎo)航。
不過(guò)同時(shí),技術(shù)也帶來(lái)了很大的隱私問(wèn)題。相信大家都有同感,在網(wǎng)上瀏覽過(guò)某一類(lèi)商品之后,pc和手機(jī)app的各種廣告和彈窗中會(huì)根據(jù)你的瀏覽內(nèi)容推薦一堆類(lèi)似商品。當(dāng)未來(lái)的APP知道了你因?yàn)楦信d趣而長(zhǎng)時(shí)間注視的內(nèi)容,內(nèi)容推送會(huì)更加精確,人們的注視內(nèi)容信息會(huì)被拿去販賣(mài),更無(wú)隱私可言了。
-
iPhone
+關(guān)注
關(guān)注
28文章
13474瀏覽量
202122 -
攝像頭
+關(guān)注
關(guān)注
60文章
4857瀏覽量
96039 -
結(jié)構(gòu)光
+關(guān)注
關(guān)注
0文章
74瀏覽量
13257
原文標(biāo)題:ARKit 2眼動(dòng)追蹤,人機(jī)交互新模式
文章出處:【微信號(hào):ARchan_TT,微信公眾號(hào):AR醬】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論