淺談VR中輸入和輸出技術(shù)

近年來計算機的發(fā)展趨勢之一是形態(tài)的多樣化與應(yīng)用情境的復(fù)雜化，自然交互（natural interaction）日益成為人機交互的重要發(fā)展方向之一。虛擬現(xiàn)實（Virtual Reality，VR）是新興計算機形態(tài)之一，是自然交互的重要組成部分。2010年以來，隨著Oculus、HTC Vive、Google Glass、PsvR、Micro soft hololens等商用頭戴式顯示設(shè)備（Head- Mounted Display，HMD）的發(fā)行，虛擬現(xiàn)實、增強現(xiàn)實（Augmented Reality，AR）技術(shù)逐漸進入人們的日常生活。

在應(yīng)用方面，除了常見的VR游戲、VR視頻以外，VR和AR技術(shù)在教育、軍事、醫(yī)療、商業(yè)等領(lǐng)域也有著廣泛應(yīng)用。由此，人們對VR技術(shù)產(chǎn)生了不同于以往桌面顯示設(shè)備的需求，比如，高性能的VR系統(tǒng)應(yīng)具有沉浸感、想象性和交互性特點（Immersion， Imagination， Interaction，3I）。這些需求促進了VR技術(shù)的發(fā)展。當然，作為一種新的人機交互形式，VR交互中還存在一些問題，需要我們注意并加以預(yù)防。下面就讓大家和小編一起看看VR技術(shù)的新發(fā)展吧。

1. VR中輸出技術(shù)的發(fā)展

與傳統(tǒng)的桌面顯示設(shè)備類似，視覺仍然是VR中輸出信息的主要模態(tài)，但也有不同于桌面顯示設(shè)備的需求，如分辨率及像素密度、近眼顯示、視場角（Field of view，F(xiàn)OV）等。另外，為了增強沉浸感、提高VR交互的自然性，對于VR環(huán)境中其他模態(tài)（聽覺、觸覺）的信息呈現(xiàn)也有區(qū)別于傳統(tǒng)桌面顯示設(shè)備的需求。

（1）視覺

VR中的視覺顯示至少在兩方面與傳統(tǒng)的桌面顯示不同：第一，顯示屏（鏡片）與人眼的距離更近；第二，兩塊鏡片呈現(xiàn)的內(nèi)容不同，通過雙眼視差給人提供立體感。因為顯示屏與眼睛距離更近，對于同等質(zhì)量的顯示屏，在VR中更容易觀察到像素點，畫質(zhì)感相對粗糙、不真實，進而影響呈現(xiàn)效果。

我們研究發(fā)現(xiàn)，在普通分辨率的液晶顯示器、VR、AR上完成相同的閱讀任務(wù)，在VR上準確接收到的信息量大約是液晶顯示器的79%，在AR上準確接收的信息量大約是液晶顯示器的85%。

如果在液晶顯示器、VR、AR上完成相同的快速閱讀任務(wù)，被試者在選擇選項時，在VR和AR上需要多花費約10%的時間，即反應(yīng)更慢；如果想要在VR設(shè)備上得到相同的閱讀績效，VR設(shè)備需要配備不低于3K分辨率的顯示屏。除了分辨率以外，3D文字、AR環(huán)境中的文字疊加背景也會影響VR和AR設(shè)備的閱讀績效。

在VR、AR環(huán)境中，用戶不再受物理顯示設(shè)備的范圍限制，可以在虛擬環(huán)境中同時放置多個窗口，如何設(shè)計多窗口布局將會影響交互的效率。我們研究發(fā)現(xiàn)，設(shè)計多窗口布局時需要關(guān)注切換距離與路徑，有中心布局（C-type）適用于低頻切換任務(wù)，無中心布局（NC-type）適用于高頻切換任務(wù)。

我們優(yōu)先推薦橫向布局，重視滿意度時推薦縱向布局，重視績效時推薦斜向布局。新的VR設(shè)備已經(jīng)在提高分辨率上取得了一些進展。HTC最新推出的Vive pro，組合分辨率達到了2880×1600，已經(jīng)接近3K分辨率。實驗室的原型機最高分辨率已經(jīng)達到8K。

（2）聽覺

在以桌面顯示器為主流顯示設(shè)備的時代，聽覺可以通過耳機呈現(xiàn)立體聲音效，來模擬環(huán)境中不同位置的聲音。在VR中，因為視覺信息可以以立體、360度環(huán)繞的形式呈現(xiàn)，所以視聽整合（audio visual Integration）變得更加重要。視聽整合對呈現(xiàn)虛擬環(huán)境中物體的深度信息具有重要作用。

研究者將3D聲音信息作為主要線索來幫助使用者判斷物體的距離遠近，發(fā)現(xiàn)隨距離變化而調(diào)節(jié)聲音大小的3D信息能有效幫助使用者判斷物體距離，這種線索也能有效幫助使用者完成目標搜索任務(wù)。我們的研究發(fā)現(xiàn)，VR環(huán)境中的視聽整合對于深度線索的影響也體現(xiàn)在視聽不一致時，人們對視覺刺激的距離會偏向于聽覺刺激。我們的另一項研究發(fā)現(xiàn)VR動態(tài)背景下聽覺信息影響視覺搜索：當不同方位的聽覺信息影響覺察任務(wù)的反應(yīng)時，如果聽覺信息與視覺目標的空間位置一致，則反應(yīng)更快。

（3）觸覺

傳統(tǒng)的桌面顯示設(shè)備一般沒有觸覺顯示，人們在日常人機交互中接觸的觸覺信息主要是手機的震動。觸覺信息對于視覺有障礙人群具有特殊意義。有一系列為特殊用戶群體設(shè)計的觸覺顯示設(shè)備，如Braille Display。觸力覺人機交互對于保證VR系統(tǒng)的3I特性至關(guān)重要，但是現(xiàn)階段的主流VR系統(tǒng)中觸力覺反饋仍然非常有限，成為制約VR交互發(fā)展的瓶頸。

手和皮膚是人們的主要觸覺感覺器官，相應(yīng)地，VR配套的觸力覺設(shè)備主要有手套和全身穿戴設(shè)備兩大類。其中手套設(shè)備更重視真實感的重現(xiàn)以及雙向信息流動，而全身穿戴設(shè)備專注于提供更好的沉浸感。例如電影《頭號玩家》中的男主角穿戴的就是一套覆蓋全身的觸力覺系統(tǒng)。由開源VR平臺High Fidelity與觸覺設(shè)備公司NeoSensory合作開發(fā)的觸覺夾克exoskin，其beta版設(shè)備帶有32個感覺馬達，覆蓋上肢和主要軀干部位。Tesla Suit的全身穿戴設(shè)備融全身觸力覺反饋、溫度變化反饋、動作捕捉系統(tǒng)于一體，力圖為用戶提供VR環(huán)境中的真實感與沉浸感。

（4）多模態(tài)融合

為了實現(xiàn)真正的自然交互，VR系統(tǒng)不僅要提供高質(zhì)量的視、聽、觸覺信息，還需要不同模態(tài)信息之間有效協(xié)同，避免互相干擾，力求達到融合、互補。我們研究發(fā)現(xiàn)，（1）在每次呈現(xiàn)1bit信息的情況下，視、聽、觸模態(tài)呈現(xiàn)信息的效果沒有顯著差異；在每次呈現(xiàn)2-4bit信息的情況下，視覺呈現(xiàn)信息的效果明顯優(yōu)于聽覺和觸覺。（2）聽覺最適合呈現(xiàn)的信息形式是時間的長短，觸覺最適合呈現(xiàn)的信息形式是方位信息。（3）在快速連續(xù)呈現(xiàn)信息的條件下，多模態(tài)冗余信息沒有表現(xiàn)出相對于單模態(tài)的增益效果（multi-sensory enhancement）。在VR環(huán)境中，除了視聽整合，還要求實現(xiàn)視聽觸整合：同一物體的視、聽、觸的信息要在空間和時間維度上都保持一致，才能實現(xiàn)讓人滿意的整合效果。

2. VR中輸入技術(shù)的發(fā)展：

設(shè)計師和工程師自計算機誕生以來，從未停止對更加自然的交互形式的探索。從最早的穿孔卡開始，經(jīng)過鍵盤鼠標，再到觸摸板和觸摸屏，交互方式在不斷進化。VR、AR的出現(xiàn)讓計算機顯示從有限尺寸的屏幕發(fā)展到?jīng)]有實體屏幕，這也要求我們進一步去發(fā)現(xiàn)新的交互方式。

（1）動作捕捉

動作捕捉技術(shù)，即以某種分辨率捕捉對象的大規(guī)模運動，在VR交互中也扮演著重要角色。動作捕捉主要有電磁、機械、聲學、光學和慣性式運動捕捉。其中，光學運動捕捉系統(tǒng)會監(jiān)視、跟蹤捕捉對象上的特定光點。

慣性式動作捕捉系統(tǒng)，如Xsens MVN和3DSuit，主要通過把慣性傳感器設(shè)備（如加速度計、磁感應(yīng)計和陀螺儀等）固定在重要節(jié)點上來實現(xiàn)。算法上的新進展，如機會計算模型（opportunistic computing model）、類增量隨森林、深度學習等方法可以有效提高動作識別精度，對于大規(guī)模數(shù)據(jù)的泛化能力也得到了提高。

（2）移動

移動是非常重要的交互，但是現(xiàn)實世界的空間往往是有限的，為了實現(xiàn)在虛擬空間中的無限移動，讓用戶在虛擬環(huán)境中可以不受限制地行走，還需要外接設(shè)備—例如萬向跑步機。

萬向跑步機利用動作捕捉技術(shù)，將用戶的行走、轉(zhuǎn)向等產(chǎn)生的動作轉(zhuǎn)化成用戶在虛擬環(huán)境中的化身的相應(yīng)運動，讓用戶感覺自己在走動，但實際上是原地踏步。其他類似的外接設(shè)備使得VR效果更逼真，比如商場中常見的蛋椅9DVR、VR多人聯(lián)機產(chǎn)品、迷你VR綜合樂園、移動VR體驗館等。

（3）手勢、眼動、腦電

VR/AR交互的主要輸入方式包括語音、手勢、控制器（手柄）以及傳統(tǒng)的鍵盤鼠標等，另外還有正在發(fā)展中的眼動、腦電等輸入形式。AR眼鏡，如HoloLens，支持簡單的手勢交互。更專業(yè)主流的手勢識別設(shè)備主要有Leap Motion。另外，在VR、AR中輸入文本是一個難題，設(shè)備自帶的輸入方式效率非常低。一些新的輸入技術(shù)可以提高VR、AR中的文本輸入效率，如頭動輸入、空中打字、單維手勢輸入等。

用眼動來實現(xiàn)交互，通過捕捉眼球的運動，計算出注視點，并配合眨眼等動作實現(xiàn)對設(shè)備的操控。Google Glass就可以靠眼動來操控，而在HoloLens和配合手機使用的VR設(shè)備（如Google Cardboard）中，眼動技術(shù)仍然是一個難點，目前只能通過頭動來操控。將腦電技術(shù)應(yīng)用于VR，通過便攜式腦電設(shè)備收集腦電信號，并由特定算法將生理信號識別為意圖（如情緒識別）并實現(xiàn)對其他設(shè)備的控制最終以腦機接口的形式進行意圖的輸入，也是發(fā)展方向之一。

3. VR在社交領(lǐng)域的發(fā)展

演化中的合作關(guān)系奠定了人類的社會屬性。VR技術(shù)的發(fā)展，必定會影響人們的社交形態(tài)。作為一種新興的媒體，VR環(huán)境既更新了媒體傳播的形式又豐富了媒體展示的內(nèi)容。兩方面的發(fā)展讓虛擬環(huán)境下的社交形態(tài)更加多樣化，但可能引發(fā)一些新的問題。社會交往中，個人的身份構(gòu)建（identity construction）是一個核心問題。在虛擬社交環(huán)境中，一個人可以體驗不同的身份，這種身份可能是跨職業(yè)跨年齡、跨性別甚至是跨物種的。不受限制的身份跨越，會引發(fā)大量的倫理問題。

除此之外，多樣的身份體驗也會直接對個人的自我認知造成影響，反向作用于真實世界的社交行為，并有可能刺激多重人格的差異化發(fā)展。在虛擬世界中，社交環(huán)境是虛構(gòu)的，但用戶是真實的，虛擬社交會直接影響現(xiàn)實社會。因此，虛擬社交中的成人因素和暴力因素需要被妥善監(jiān)管?，F(xiàn)有的媒體研究表明，影視作品中的成人因素和暴力因素會對觀影者造成較大的影響，而VR環(huán)境中沉浸感更強，這類影響將進一步擴大。不受規(guī)范的虛擬社交很大可能導(dǎo)致現(xiàn)實世界中的反社會行為，這對于青少年可能更為嚴重。

虛擬世界的社交是會促進人們的社會交往還是會導(dǎo)致更嚴重的社會孤立呢？從好的方面講，對于不能進行面對面交流的情況，相比于傳統(tǒng)媒體，VR可以提供的信息更加豐富。除了圖像、語音之外，交流中重要的肢體接觸、環(huán)境烘托都成為了可能。虛擬社交能很好地作為真實社交的補充。但是，過分沉迷于虛擬社交，可能會導(dǎo)致對真實社交的忽略，造成社會孤立。

這一現(xiàn)象在社交媒體出現(xiàn)后已有體現(xiàn)，而沉浸感更強的VR社交有可能將這個問題放大。虛擬世界也可以發(fā)展親社會的社交：通過虛擬社交的方式增強使用者的同理心、同情心以及合作精神，改善他們在真實社交場景中的表現(xiàn)?？偟膩碚f，VR技術(shù)會帶來社交方式的變革。這種變革是一把雙刃劍，它具體會產(chǎn)生怎樣的影響還要取決于人們的使用方式，規(guī)則的健全程度等因素。