電子發(fā)燒友App
從選擇合適的算力、冷卻系統(tǒng)，到將所有組件裝進一個很小的外殼中，同時還要降低成本，虛擬現(xiàn)實（VR）系統(tǒng)的設(shè)計人員面臨許多挑戰(zhàn)。最主要的挑戰(zhàn)也許是人機工程學(xué)，即確保用戶頭戴設(shè)備的舒適性。許多VR在設(shè)計中都考慮了外形尺寸，因為如果VR設(shè)備太重或使用中過熱，用戶根本就不會用它。
在Facebook從事Oculus VR產(chǎn)品開發(fā)的VR硬件產(chǎn)品經(jīng)理Prabhu Parthasarathy認為，人機工程學(xué)在VR設(shè)計中“至關(guān)重要”，它需要硬件、軟件和技術(shù)的完美結(jié)合。
Parthasarathy說：“在設(shè)計任何產(chǎn)品時，我們都不會孤立地來看某個組件，而是從整體上考慮我們想要獲得的產(chǎn)品體驗，包括其獨特的用戶和用例?！?/p>
Parthasarathy同時也承認，只有當(dāng)軟件和硬件結(jié)合時才會產(chǎn)生“魔力”。
“魔力表現(xiàn)在兩個方面，一是編寫軟件，使它提供魔法般的體驗，這是非常困難的部分；而另一部分則是要符合人體工程學(xué)，將一切都完美契合在設(shè)備中，讓用戶忘記硬件，感受虛擬世界?！?/p>
從頭說起
VR系統(tǒng)有幾種類型，從PC專用VR系統(tǒng)到VR一體機。PC專用VR系統(tǒng)中的頭戴設(shè)備是連接到PC的，所有游戲和圖形處理的繁重工作都由PC完成；而VR一體機則在頭戴設(shè)備中運行所有軟件。
Oculus VR就是VR一體機的典范。Oculus公司曾在2012年提出，要讓所有人都買得起VR。兩年后，F(xiàn)acebook以20億美元的價格收購了Oculus，盡管那時它只有一個頭戴設(shè)備原型。
Parthasarathy解釋道，F(xiàn)acebook看到了機會，他們認為，人們最終將只在虛擬的世界和社區(qū)中進行交流，人與人之間的聯(lián)系會自然發(fā)展到這種情形。
Oculus公司的第一款產(chǎn)品是PC VR系統(tǒng)，Oculus Rift，它讓用戶可以在PC上運行專為VR體驗而開發(fā)的游戲。使用這種系統(tǒng)，游戲開發(fā)人員就不會因為游戲大小或圖形種類而受到限制；借助外部傳感器，系統(tǒng)可以確定玩家在現(xiàn)實世界中的位置，并將其轉(zhuǎn)換至虛擬世界。
Oculus公司隨后推出了Oculus Go，這是該公司第一款不受限制的VR一體機。其軟件完全在頭戴設(shè)備中運行，但它受限于3自由度（DoF）方向追蹤。3DoF系統(tǒng)可以追蹤三個軸，在VR頭戴設(shè)備中，它可以檢測玩家向左/向右移動、或上下左右旋轉(zhuǎn)頭部的動作。
但是，它不能追蹤前進和后退，或者蹲下與站立。只有6DoF才能實現(xiàn)這些動作的追蹤，而這對系統(tǒng)軟硬件和成本都有很大影響。6DoF檢測六個軸上的位置：向前/向后、向左/向右和向上/向下。這樣的追蹤系統(tǒng)可能很復(fù)雜，需要額外的硬件和軟件，從而增加了成本。
Oculus Quest是該公司最近的創(chuàng)新產(chǎn)品，是其首款采用觸控控制器的6DoF VR一體機。它將之前的兩種系統(tǒng)很好地結(jié)合起來，需要硬件和軟件團隊之間的緊密合作。
VR系統(tǒng)組成
Parthasarathy以O(shè)culus Quest VR系統(tǒng)為例，向我們綜合介紹了VR系統(tǒng)設(shè)計的關(guān)鍵元器件。
像許多產(chǎn)品一樣，計算系統(tǒng)的核心是處理器，Oculus的工程團隊選擇了高通移動芯片組驍龍835作為其計算系統(tǒng)的核心。驍龍835載有8個內(nèi)核，時鐘頻率高達2.45 GHz，并配有Adreno 540 GPU。Oculus在設(shè)計該系統(tǒng)時使用了一個新型冷卻系統(tǒng)，CPU可以在更高的時鐘頻率下運行，從而優(yōu)化了芯片性能。稍后我們再詳細介紹這個冷卻系統(tǒng)。
如果說處理器是系統(tǒng)的核心，那Oculus最大的亮點就是其追蹤系統(tǒng)。
為使追蹤工作正常進行，Quest設(shè)計師開發(fā)了Oculus Insight內(nèi)向外追蹤系統(tǒng)，這是該公司最具競爭力也最具創(chuàng)新的部分。由于頭戴設(shè)備中的傳感器（攝像頭）能夠檢測到控制器的移動，用戶在現(xiàn)實世界中的動作才得以即刻反映在虛擬世界中。
Oculus Insight追蹤系統(tǒng)使用了大量來自慣性測量單元（IMU）、超廣角攝像頭和紅外LED的數(shù)據(jù)，以追蹤VR頭戴設(shè)備和控制器的6DoF位置。
Parthasarathy說，它是一個復(fù)雜的系統(tǒng)，由傳感器、IMU等硬件以及傳感器融合、計算機視覺算法等軟件組成。
Oculus Insight 內(nèi)向外追蹤系統(tǒng)的核心是同步定位與地圖構(gòu)建（SLAM），它利用計算機視覺算法“融合”由多個傳感器輸入的數(shù)據(jù)，以確定目標在不斷更新的數(shù)字地圖中的位置。它還使用其他傳感器數(shù)據(jù)，例如來自頭戴設(shè)備和控制器中IMU加速度和速度數(shù)據(jù)，這些數(shù)據(jù)在移動芯片組上進行實時處理。
Oculus Insight包含四個超廣角傳感器，用于分析頭戴設(shè)備的外部環(huán)境；它還采用計算機視覺算法來實時追蹤精確定位。該系統(tǒng)全方位追蹤玩家的移動，并精確定位兩個手持控制器和頭戴設(shè)備的位置。
Parthasarathy說：“Insight利用傳感器輸入的信息創(chuàng)建玩家環(huán)境的3D地圖，將玩家的位置移動精確地轉(zhuǎn)換至VR，同時確保玩家安全地置身游戲限定的空間邊界以內(nèi)，從而獲得奇妙的沉浸式體驗?！?/p>
數(shù)字信號處理的優(yōu)化包括地圖的異步更新，它根據(jù)用戶環(huán)境中背景的變化來更新地圖。IMU獨立運行，其輸出數(shù)據(jù)存儲在內(nèi)存緩沖區(qū)中，以最大限度減少系統(tǒng)延遲。
接下來說說視覺系統(tǒng)，也就是顯示器和光學(xué)器件。Oculus在一些產(chǎn)品中采用了LCD技術(shù)， Quest則使用OLED技術(shù)。OLED顯示器可以提供72Hz的刷新頻率，以及1600×1440的每眼分辨率。Quest還提供鏡頭間距調(diào)節(jié)功能，以增加視覺舒適度。
Parthasarathy說：“要得到身臨其境的VR體驗，其關(guān)鍵因素之一就是鏡頭。Oculus Insight采用的菲涅耳透鏡非常特別，它可以根據(jù)頭戴設(shè)備的尺寸和形狀以及想要的各種體驗進行定制?！?/p>
“在為Quest這樣一個無線頭戴設(shè)備選擇合適的顯示屏?xí)r，我們考慮的是，功率要比較低，視覺效果還要出色，OLED顯示屏與我們的一流鏡頭相結(jié)合便可完美滿足這些要求。在Oculus Go中，我們也使用了相同的顯示屏?！?Parthasarathy補充道。
再來說說無線器件。由于Oculus Quest是獨立系統(tǒng)，因此使用了Wi-Fi。除此之外，它還需要其他通信器件，特別是對于兩個手持式控制器，需要近乎實時地與頭戴設(shè)備進行通信。
實時功能是一個巨大的挑戰(zhàn)，它減少了將玩家在現(xiàn)實世界中的動作轉(zhuǎn)換至虛擬世界的延遲。
Parthasarathy說：“ VR的魔力在于，玩家在現(xiàn)實世界中的身體移動，幾乎可以即時呈現(xiàn)在虛擬世界中。如果現(xiàn)實世界中的動作與虛擬世界中所看到的動作之間存在時間差，當(dāng)體驗太糟時玩家便會棄之不用?！?/p>
為了減少延遲，Quest設(shè)計人員開發(fā)了他們自己的協(xié)議，以實現(xiàn)控制器和頭戴設(shè)備之間的通信。藍牙低功耗（BLE）是延遲最小的協(xié)議之一，其延遲時間約為7.5ms，“與之相比，Quest頭戴設(shè)備與控制器之間的通信延遲時間約為2.5ms，這非常棒?！盤arthasarathy表示。
再來說一說功率。Parthasarathy介紹，VR的一個關(guān)鍵是要帶給人們無阻礙的體驗，這意味著電池續(xù)航時間要足夠長，讓他們完成想做的事情。
這并不是說在設(shè)備中放一塊大電池就可以了，Parthasarathy 補充道，“我們必須使用容量足夠大的電池來提供這些體驗，但它又不能太重，以免降低設(shè)備的舒適性。”
Parthasarathy說Quest采用了定制電池組，但并未透露細節(jié)?？沙潆婋姵丶夹g(shù)并不是什么獨特的技術(shù)，不過電池的大小必須符合頭戴設(shè)備的要求。
文檔顯示，Quest采用3648mA可充電鋰離子電池組，額定功率為14W。雙電芯電池的標稱電壓為3.6 V，重約70g。
Parthasarathy表示，Oculus主要使用現(xiàn)成技術(shù)，這通常需要設(shè)計人員與器件供應(yīng)商緊密合作。無論是電池、顯示屏還是其他器件，為了滿足需求，通常還需要進一步定制。
例如，用于追蹤系統(tǒng)的許多元器件都是現(xiàn)成的器件，如紅外LED。但在其他情況下，還需要對器件（如IMU）進行一些調(diào)整。
Parthasarathy說：“我們采用的IMU通常也是現(xiàn)成的，但由于對追蹤的要求非常嚴格，所以有時候我們會去找供應(yīng)商，在他們的產(chǎn)品規(guī)格90％都符合我們需求的情況下，請他們讓剩下的10％更加符合我們獨特的系統(tǒng)要求。我們并不想為每一個功能定制硬件，所以會盡量嘗試利用現(xiàn)成的元器件?！?/p>
他說：“Oculus Quest中沒有多少元器件可以拿來就用，找到供應(yīng)商只說一句給我們一些零件，然后將它們集成到系統(tǒng)中，這樣是行不通的。通常，我們需要針對這些組件，例如光學(xué)器件和顯示屏，與供應(yīng)商進行非常密切的合作?！?/p>
另一個例子是系統(tǒng)冷卻，這是VR系統(tǒng)的一大設(shè)計挑戰(zhàn)。Oculus Quest結(jié)合了風(fēng)扇、散熱器和非?！靶路f的架構(gòu)”，實現(xiàn)了良好的散熱，從而避免設(shè)備發(fā)燙。
它采用主動式風(fēng)扇冷卻系統(tǒng)來調(diào)節(jié)溫度，使Quest可以在高得多的時鐘頻率下持續(xù)工作，從而更有效地利用高通驍龍835 SoC。除主動式混合風(fēng)扇技術(shù)外，該系統(tǒng)還包括一個熱管以及定制散熱通道。
一旦滿足了硬件要求，接下來的重要任務(wù)便是推動Oculus產(chǎn)品的軟件創(chuàng)新。 Parthasarathy提到，要創(chuàng)造更誘人的新體驗，首先要令硬件全面滿足性能指標，然后再利用軟件來進行突破。
“軟件創(chuàng)新可以幫助我們將硬件潛力發(fā)揮到極致，同時為玩家提供越來越好的體驗。” 他說，“這是我們關(guān)注的重點?！?/p>
Parthasarathy舉例說，最初在Rift S上提供的透傳（Passthrough+）功能，就可以讓玩家在VR里看到周圍環(huán)境的實時立體校正視圖。例如，玩家在戴著頭戴設(shè)備的情況下，能夠“透過”傳感器看清周圍的環(huán)境。
“在Quest上實現(xiàn)這一功能，得益于先進的高性能圖像處理和3D計算技術(shù)的支持。一旦超出游戲空間的邊界，Passthrough+即會開啟，確保玩家能夠輕松返回?！?/p>
整體權(quán)衡
人體工程學(xué)是一個重要的設(shè)計概念，在很多情況下，它與VR系統(tǒng)元器件的選擇密切相關(guān)。為了獲得最佳設(shè)計，要綜合考慮所有因素，對VR系統(tǒng)的所有關(guān)鍵元器件進行設(shè)計權(quán)衡與折衷。
Parthasarathy說，Oculus Quest設(shè)計實際上是要找到一種恰當(dāng)?shù)钠胶?，一方面要獲得完全沉浸式的體驗和舒適感，另一方面還要采用合適的硬件，使追蹤功能完善、電池壽命足夠長、顯示效果足夠好。
他說，試想一下，“你是想要一個戴在頭上的設(shè)備，還是想要一個具有同樣沉浸體驗的太陽鏡呢？恐怕每個人都想要太陽鏡這樣的設(shè)備。可惜的是，像太陽鏡這種大小的設(shè)備，不太可能在滿足處理、電池以及豐富的光學(xué)和顯示技術(shù)的同時還具有足夠的舒適度。”
Parthasarathy指出：“最大的挑戰(zhàn)并不是人體工程學(xué)本身，而在于要提供吸引人的體驗就必須考慮系統(tǒng)的方方面面?！?/p>
“如果只是想改善人體工程學(xué)很容易，就好像壓一下單側(cè)杠桿。但這樣做會影響設(shè)備的其他方面，因此，一切都要取得折衷?！?/p>
最初的VR是將所有東西都放在PC上，現(xiàn)在設(shè)計人員正嘗試不依賴PC的大功率、顯卡或大型冷卻系統(tǒng)，卻能獲得類似的體驗。
“為了在獨立式VR頭戴一體機中獲得類似的體驗，需要進行大量的工作，還需要非常獨特的技術(shù)，例如采用固定注視點渲染技術(shù)，我們可以巧妙地減少工作量，而開發(fā)人員卻能夠充分利用GPU制作出色的游戲。”Parthasarathy說。
“如果你問一問系統(tǒng)工程師就會知道，他們在冷卻、計算、幀率以及運行頻率之間進行了大量的折衷。”他說，“這種折衷太多了，我們會一點一點地減少?！?/p>
目前Oculus在努力改善圖形和游戲體驗，讓玩家享受與PC媲美的體驗。其最近的一項創(chuàng)新是系統(tǒng)中不再使用控制器。去年底，Oculus開發(fā)了一個SDK，玩家無需控制器或其他外圍設(shè)備，而是使用自己的雙手來控制，這是前所未有的游戲體驗。
Quest的計算機視覺團隊只需在Quest上使用單色攝像頭，再利用深度學(xué)習(xí)就能了解玩家手指的位置。Oculus解釋說，這項技術(shù)創(chuàng)建了一組3D點，可以準確呈現(xiàn)玩家在VR中的手和手指的移動。
在實現(xiàn)手勢追蹤時，軟件發(fā)揮了重要作用。Parthasarathy說：“通過軟件創(chuàng)新，我們可以開啟全新的輸入和交互模式，而無需任何新硬件。對移動芯片組來說，這是一個巨大的挑戰(zhàn)?！?/p>
“為了實現(xiàn)這一功能，我們的計算機視覺團隊開發(fā)了一種新方法，利用Quest內(nèi)置的單色攝像頭，通過深度學(xué)習(xí)來了解玩家手指的位置，而不需要主動深度感知攝像頭、額外的傳感器或者處理器?！?/p>
“相反，將深度學(xué)習(xí)與基于模型的追蹤相結(jié)合，可以預(yù)測用戶手和手上各點的位置，然后在3D模型中重建用戶手和手指的‘姿勢’?！彼f，“而這一切都在移動處理器中完成，不必耗用屬于用戶應(yīng)用的資源?！?/p>
從長遠來看，VR設(shè)計師仍然面臨許多設(shè)計挑戰(zhàn)，例如設(shè)計外形更小、更舒適的頭戴設(shè)備，同時仍提供相同的VR體驗以及更長的電池壽命。其中有些是由用戶驅(qū)動的，例如，大約400至500美元的合理價位。
Parthasarathy說：“我們正努力尋找最有效的方法來持續(xù)改善用戶體驗，滿足用戶的需要，同時突破技術(shù)限制使之更易實現(xiàn)。我們可以用2500美元或3000美元的頭戴設(shè)備解決這些問題，但這并非我們的初衷。我們希望大多數(shù)人能用VR?！?/p>
工商網(wǎng)監(jiān)
評論