如何實(shí)現(xiàn)真正的沉浸式VR和AR？

來(lái)源：電子工程專輯

編輯：感知芯視界 萬(wàn)仞

幾十年來(lái)，真正身臨其境的虛擬現(xiàn)實(shí)(VR)和增強(qiáng)現(xiàn)實(shí)(AR)的前景似乎都已非常接近，然而，隨著每一項(xiàng)新技術(shù)的引入，似乎又都變得遙不可及了。如今的好消息是，它們距離人們的確越來(lái)越近了。然而，要想讓AR和VR真正身臨其境，人們所有的感官都必須確信這種體驗(yàn)是真實(shí)的。

創(chuàng)造可信的VR和AR體驗(yàn)，取決于工程師如何準(zhǔn)確、一致地再現(xiàn)所有構(gòu)成人們感知現(xiàn)實(shí)的元素，需要從理解人類生理學(xué)和神經(jīng)科學(xué)開(kāi)始。對(duì)于感知現(xiàn)實(shí)世界中的3D結(jié)構(gòu)來(lái)說(shuō)，至關(guān)重要的是人們必須首先了解多感官信號(hào)，然后再是利用耳機(jī)技術(shù)來(lái)進(jìn)行模擬。

實(shí)現(xiàn)基于技術(shù)的現(xiàn)實(shí)

VR設(shè)備遮擋了用戶的視覺(jué)，呈現(xiàn)了一個(gè)模擬環(huán)境——在該環(huán)境中，感官刺激提供了存在感和與虛擬對(duì)象的交互。AR設(shè)備將虛擬對(duì)象覆蓋在物理環(huán)境上，感官提示提供了物理元素和增強(qiáng)元素之間的一致性。3D AR系統(tǒng)也被稱為混合現(xiàn)實(shí)設(shè)備，它在虛擬環(huán)境中融合了真實(shí)世界的元素。

每種配置都有獨(dú)特的要求，但推動(dòng)這些系統(tǒng)向前進(jìn)步的常見(jiàn)技術(shù)，包括實(shí)時(shí)3D傳感和跟蹤、強(qiáng)大算力且節(jié)能的計(jì)算處理、高保真圖形渲染和顯示、沉浸式音頻、機(jī)器學(xué)習(xí)和人工智能算法、直觀的人機(jī)界面和新穎的應(yīng)用。

身臨其境的視覺(jué)體驗(yàn)

通過(guò)創(chuàng)新的圖形和顯示技術(shù)，人們可以渲染逼真度更高的數(shù)字對(duì)象，并在更小的區(qū)域封裝更多像素，且比以往任何時(shí)候都更清晰、更明亮。然而實(shí)際上，對(duì)于上述這些，還有更多的事情要做。其中不光是渲染逼真的圖像，以及利用所需視覺(jué)提示的近眼顯示。

如今的高分辨率智能手機(jī)顯示器，每英寸顯示500多個(gè)像素(PPI)。但對(duì)于身臨其境的耳機(jī)視覺(jué)效果來(lái)說(shuō)，利用PPI來(lái)度量已顯不足，一個(gè)相關(guān)度更好的度量是，顯示器顯示視場(chǎng)的每度的像素(PPD)。

在中心視覺(jué)點(diǎn)上，典型的人眼具有大約1/60度的角分辨率。每只眼睛的水平視野約為160°，垂直視野約為175°。兩只眼睛協(xié)同工作，在約120°寬和約135°高的FOV范圍內(nèi)實(shí)現(xiàn)立體深度感知。所有這些都意味著人們需要為每只眼睛提供大約100兆像素(MP)，為立體視覺(jué)提供大約60MP，以提供60PPD的視覺(jué)。然而，當(dāng)今最先進(jìn)的主流VR頭戴式耳機(jī)顯示器大約才達(dá)到3.5MP。

由于目前的制造技術(shù)，還不支持這種像素密度，設(shè)計(jì)師必須在理解人類視覺(jué)系統(tǒng)如何工作的基礎(chǔ)上，在高分辨率渲染視覺(jué)場(chǎng)景的凸顯部分做出權(quán)衡。

眼睛跟蹤和注視點(diǎn)渲染

人類高視力敏度僅限于非常小的視場(chǎng)，該視覺(jué)場(chǎng)為以中央凹為中心、圍繞眼睛光軸約±1°的范圍。這意味著視覺(jué)中心最清晰，邊緣趨模糊。使用實(shí)時(shí)傳感器來(lái)跟蹤用戶的注視區(qū)域，人們可以在中心注視區(qū)域渲染更多數(shù)量的多邊形，將計(jì)算能力集中在那里，并在其他地方以指數(shù)級(jí)降低圖形保真度(多邊形密度)。這種強(qiáng)化中央渲染的處理方式，可以顯著減少圖形工作負(fù)荷和相關(guān)的功耗。

圖1：人眼的中央凹上有高密度的視錐感光體，從而導(dǎo)致中央視覺(jué)的視力敏度高，而周邊的光受體密度顯著下降，導(dǎo)致視力下降。(資料來(lái)源：E.Bruce Goldstein《感覺(jué)與感知》)

世界各地的研究人員正在對(duì)此進(jìn)行研究，設(shè)計(jì)師正在探索多顯示器配置，其中高分辨率顯示器覆蓋中央凹視覺(jué)，像素?cái)?shù)相對(duì)較低的顯示器覆蓋周邊視覺(jué)。未來(lái)的顯示架構(gòu)，將能夠在注視方向上及其周?chē)?，?dòng)態(tài)地實(shí)時(shí)投影更高分辨率的視覺(jué)內(nèi)容。

調(diào)節(jié)和會(huì)聚失配

另一個(gè)關(guān)鍵問(wèn)題是確保動(dòng)眼神經(jīng)線索的一致性，以糾正眼睛調(diào)節(jié)和會(huì)聚錯(cuò)配。人類用兩只眼睛聚焦在一個(gè)物體上，立體地看待世界。通過(guò)調(diào)節(jié)，每只眼睛的晶狀體都會(huì)改變形狀，以聚焦來(lái)自不同深度的光線。兩只眼睛會(huì)聚的距離與每只眼睛所適應(yīng)的距離相同。

如今的商用VR和AR耳機(jī)中，匯聚距離和調(diào)和距離之間存在不匹配。現(xiàn)實(shí)世界中的光，是通過(guò)來(lái)自各種不同距離光源的反射和折射來(lái)調(diào)適的。而在頭戴式耳機(jī)中，所有的光都是通過(guò)同一距離的光源產(chǎn)生的。此時(shí)，當(dāng)眼睛會(huì)聚以觀看虛擬物體時(shí)，其透鏡形狀必須不斷調(diào)整，以聚焦從顯示器發(fā)出的固定距離光，從而導(dǎo)致不同程度的距離失配，這通常會(huì)導(dǎo)致眼睛疲勞或定向問(wèn)題。

圖2：3D顯示器的會(huì)聚調(diào)節(jié)失配。(來(lái)源：Martin Banks)

為解決這一問(wèn)題，人們正在探索各種方法，例如動(dòng)態(tài)可移動(dòng)光學(xué)器件和焦點(diǎn)可調(diào)液晶透鏡，其焦距可以隨著電壓的調(diào)整而改變。

3D空間音頻

對(duì)于真正的沉浸感，AR/VR音頻體驗(yàn)必須與視覺(jué)體驗(yàn)相對(duì)應(yīng)并協(xié)調(diào)，以便所感覺(jué)的聲音位置與用戶所看到的目標(biāo)完全一致。在現(xiàn)實(shí)世界中，大多數(shù)人即使閉上眼睛，都能感知到聲音的大致位置。這是因?yàn)榇竽X能夠?qū)β曇舻摹暗竭_(dá)時(shí)間”和強(qiáng)度進(jìn)行感知和分析。這在現(xiàn)實(shí)世界中是自動(dòng)即時(shí)發(fā)生的，然而在VR耳機(jī)中，必須對(duì)3D空間音頻進(jìn)行編程和處理。

挑戰(zhàn)在于，每個(gè)人對(duì)聲音信號(hào)的體驗(yàn)是不同的，信號(hào)頻譜會(huì)根據(jù)頭部和耳朵的大小、形狀以及受眾等因素而變化。這個(gè)被稱為與頭部相關(guān)的傳遞函數(shù)，如今的許多技術(shù)，都在致力于對(duì)其實(shí)現(xiàn)盡可能逼近的近似。另外，正在進(jìn)行的個(gè)性化功能研究，也將使耳機(jī)用戶能夠以正確的空間線索來(lái)感知虛擬物體發(fā)出的聲音。

低延遲由內(nèi)而外跟蹤

在VR/AR中，實(shí)時(shí)跟蹤用戶的頭部運(yùn)動(dòng)顯然是必要的。無(wú)論何時(shí)，在3D空間內(nèi)，系統(tǒng)都必須能夠確定頭戴式耳機(jī)相對(duì)于其他物體的位置，并同時(shí)確保高精度和低延遲，以便根據(jù)用戶的頭部位置及方向來(lái)渲染和呈現(xiàn)相應(yīng)的視覺(jué)和聽(tīng)覺(jué)信息，另外，在用戶移動(dòng)時(shí)還要快速更新。

直到不久前，VR耳機(jī)還通過(guò)“內(nèi)外”跟蹤方法，利用用戶放置在環(huán)境周?chē)耐獠總鞲衅鱽?lái)跟蹤人類頭部運(yùn)動(dòng)。而如今，基于計(jì)算機(jī)視覺(jué)和微調(diào)運(yùn)動(dòng)傳感器的有機(jī)結(jié)合，“由內(nèi)而外”的跟蹤提供了模擬定位、映射技術(shù)、以及視覺(jué)慣性測(cè)距，從而實(shí)現(xiàn)了頭戴式耳機(jī)內(nèi)的運(yùn)動(dòng)跟蹤。

然而，一個(gè)持續(xù)的挑戰(zhàn)是，如何實(shí)現(xiàn)更低的動(dòng)作到光子延遲，即從目標(biāo)動(dòng)作開(kāi)始到從顯示器中相應(yīng)圖像幀的最后一個(gè)像素發(fā)射光子之間的延遲。換句話說(shuō)，它是傳感器數(shù)據(jù)采集、處理、接口傳輸、圖形計(jì)算、圖像渲染和顯示更新所花費(fèi)的總時(shí)間。

通常在現(xiàn)實(shí)世界中，根據(jù)視覺(jué)確定的視野變化以及前庭感覺(jué)系統(tǒng)檢測(cè)到的運(yùn)動(dòng)信息，來(lái)跟蹤人們的頭部運(yùn)動(dòng)。如果VR耳機(jī)的延遲時(shí)間過(guò)長(zhǎng)，會(huì)導(dǎo)致視覺(jué)前庭不匹配，從而導(dǎo)致定向問(wèn)題和頭暈。目前系統(tǒng)實(shí)現(xiàn)的動(dòng)作到光子延遲通常為20～40ms，但感知無(wú)縫體驗(yàn)要求該延遲小于10ms。

人類導(dǎo)入和交互

身臨其境的體驗(yàn)還要求用戶能夠與虛擬對(duì)象進(jìn)行逼真的交互。人們必須能夠伸手抓住物體，并且物體必須按照物理定律實(shí)時(shí)做出反應(yīng)。

如今最先進(jìn)的耳機(jī)，讓用戶可以用基本的手勢(shì)選擇物體，隨著計(jì)算機(jī)視覺(jué)技術(shù)的不斷進(jìn)步，還有人工智能的快速進(jìn)步，未來(lái)的耳機(jī)將包括更豐富的手勢(shì)控制功能。

下一代設(shè)備還將提供多模式交互及眼動(dòng)追蹤技術(shù)，將允許用戶通過(guò)將視線集中在虛擬物體上來(lái)進(jìn)行選擇，然后用手勢(shì)進(jìn)行激活或操控。很快，隨著人工智能技術(shù)的不斷發(fā)展，本地低延遲處理將成為現(xiàn)實(shí)，耳機(jī)也將具有實(shí)時(shí)語(yǔ)音識(shí)別功能。

展望未來(lái)

如今，人們可以體驗(yàn)一些主流的VR和有前景的工業(yè)AR，但它們并非完全沉浸式的。雖然這條路并不直接，但隨著數(shù)十億美元的相關(guān)技術(shù)投資，其潛力幾乎是無(wú)限的。例如，麥肯錫估計(jì)，到2030年，元宇宙可能產(chǎn)生4萬(wàn)億至5萬(wàn)億美元的收入。

通過(guò)不斷突破技術(shù)障礙，人們將能夠再現(xiàn)逼真的體驗(yàn)，最終能夠從根本上縮小人們?cè)谡鎸?shí)世界和虛擬世界體驗(yàn)之間的差異。

審核編輯 黃宇