近年來VR虛擬實境與MR擴增實境的應(yīng)用越來越受到重視,連智慧型手機在內(nèi)的行動裝置,也能搭配簡易型頭戴式支架,作為VR、MR顯示器使用,不過由于行動裝置效能低落的先天缺陷,讓使用者體驗受到影響,于是Google研發(fā)了能夠犧牲些微畫質(zhì)卻大幅提升效能的演算法,來解決這個問題。
行動裝置無法負荷運算需求
由于VR虛擬實境與MR擴增實等技術(shù),會透過3D繪圖的方式建構(gòu)場景,讓使用者走入完整的虛擬場景,或?qū)⒉糠痔摂M場景融入到真實世界,如果想要提升VR或MR畫面的逼真度的話,勢必需要增加3D繪圖的細膩度,進而增加對3D繪圖的效能需求。
為了要帶來充沛的3D繪圖效能,往往需要仰賴強悍的顯示卡或顯示晶片,這對于桌上型電腦或筆記型電腦還算是可以解決的問題,但是在智慧型手機或平板電腦等行動裝置上,無論是顯示晶片晶片的尺寸、發(fā)熱量或是耗電量,都是無解的難題。
然而山不轉(zhuǎn)路轉(zhuǎn),為了讓行動裝置也能提供較佳的VR、MR體驗,Google著手研發(fā)特殊的演算法,能夠?qū)⑦\算資源集中投注在畫面中人眼比較敏銳的區(qū)域,讓該區(qū)域維持一定的畫質(zhì),并降低其他區(qū)域的畫質(zhì)表現(xiàn),如此一來就能在有限的運算資源中,提升FPS效能表現(xiàn),進而帶來更出色的視覺感受。
▲雖然Google Cardboard等簡易型頭戴式支架,能讓智慧型手機作為VR、MR顯示器使用,但是繪圖效能始終是最大的問題之一。
省略人眼不敏感的部分
為了改善VR、MR的視覺體驗,Google的研發(fā)團隊針對人類視覺感官的特性,研發(fā)了對應(yīng)的演算法,能在低運算需求與低耗電的前題下,依然能夠兼顧從內(nèi)容產(chǎn)制開始,一直到3D繪圖、資料傳輸、處理延遲、與真實物件互動等環(huán)節(jié),提供出色視覺體驗。
在人類的視覺系統(tǒng)中,視網(wǎng)膜正中凹(Fovea Centralis)的功能能讓我們將視野正中央?yún)^(qū)域看得很清楚,并能降低大腦對于周圍視野區(qū)域的專注力,也就是說人類對于位在視野中央的物件有較外圍區(qū)域高的辨識能力。視網(wǎng)膜正中凹渲染(Foveated Rendering)就是利用這種視覺特性,藉由降低外圍區(qū)域繪制的解析度,來提升整體效能表現(xiàn)。
為了要達到這個目的,系統(tǒng)需要透過眼球追蹤功能,鎖定使用者的目光,以便推算出視覺的高敏銳(High Acuity)區(qū)域,讓該區(qū)域的畫面一直保持在高解析度狀態(tài)。反過來說,如果搭配視網(wǎng)膜正中凹渲染的系統(tǒng)不具備眼球追蹤功能,就需要繪制較大的高敏銳區(qū)域,來確保視覺體驗。
在傳統(tǒng)的視網(wǎng)膜正中凹渲染繪圖技術(shù)中,大多將畫格緩沖區(qū)(Frame Buffer)的整個畫面切割為多個小區(qū)塊,然而在使用者轉(zhuǎn)動頭部,或是畫面中景色產(chǎn)生移動時,屬于低敏銳(Low Acuity)區(qū)域的部分在拼合的過程就會產(chǎn)生混疊(Aliasing)瑕疵,進而影響視覺感受。
▲視網(wǎng)膜正中凹(圖中標示Fovea的部分)能讓人類聚焦于視野中央。
▲左半部為一般繪圖方式,整個畫面皆為相同解析度,右半部為視網(wǎng)膜正中凹渲染,只有黃色框內(nèi)為正常解析度,周圍則為較低的解析度。(圖片來源:Google,下同)
▲左半部為一般繪圖方式,右半部為傳統(tǒng)視網(wǎng)膜正中凹渲染,畫面移動時比較不滑順。(點此處觀看GIF動態(tài)圖檔,檔案大小約8.3MB)
解決拼合瑕疵
混疊瑕疵會造成畫面移動時閃爍或抖動的情況,即便它產(chǎn)生在周圍區(qū)域上,使用者還是能夠輕易查覺到這類瑕疵,所以研發(fā)團隊提出2種最佳化方式降低混疊瑕疵。
在相位排列渲染(Phase-Aligned Rendering)方式中,系統(tǒng)會強制將低敏銳區(qū)域與虛擬空間貼齊,而不是跟著使用者的頭部轉(zhuǎn)動,如此一來當(dāng)使用者改變視角的時候,就比較不易察覺混疊瑕疵,讓低敏銳區(qū)域在升頻并投影至顯示器時,能夠發(fā)揮補償頭部轉(zhuǎn)動的效果,降低畫面抖動的情況。至于高敏銳區(qū)域則是采用傳統(tǒng)的繪制方式,并覆蓋到畫面的中央?yún)^(qū)域。然而這種方式的缺點就是,系統(tǒng)需要繪制更大放范圍的圖像(包含視野外的部分),造成能夠節(jié)省的運算資源比較有限。
另一種方式則稱為保角渲染(Conformal Rendering),系統(tǒng)會根據(jù)使用者視點與物件之間的距離,動態(tài)調(diào)整繪圖的解析度,越遠的物件解析度越低(看起來也較模糊)。這樣的好處在于視覺感受與人類的經(jīng)驗法則相近,而且畫面內(nèi)高、低敏銳區(qū)域的界線不會那么明顯,而且只需1次繪圖流程即可完成畫面繪制,能比相位排列渲染節(jié)省更多運算資源,但其缺點就是在畫面邊緣的抖動會比較明顯
▲相位排列渲染能夠有效降低畫面抖動狀況。(點此處觀看GIF動態(tài)圖檔,檔案大小約8.5MB)
▲保角渲染則有助于節(jié)省更多運算資源。(點此處觀看GIF動態(tài)圖檔,檔案大小約8.4MB)
頭戴式顯示器也有玄機
如果希望在傳輸影響的過程中節(jié)省頻寬,就能將畫面中人眼最敏感的部分以較高的資料流量傳輸,并將低其他區(qū)域的流量,如此一來就能省下一些頻寬。
另一方面,在一般情況下,頭戴式顯示器接收到畫面之后,還需要經(jīng)過校正透鏡造成的變型等處理步驟,然而透過視網(wǎng)膜正中凹渲染產(chǎn)生的畫面,也可以依照高、低敏銳區(qū)域的不同,分別施以不同精準度的處理手續(xù),例如在升頻之前先進行校正,就能省下不少運算資源。
▲將畫面依為人眼的敏感程度拆分為不同區(qū)塊,并分配不同的流量,就可以將傳輸頻寬花在刀口上。
▲以不同的精準度處理畫面中的各區(qū)域,也能省下運算資源。
研發(fā)團隊表示他們在這種演算法中,考慮了許多對繪圖、處理、傳輸造成的影響,并希望有助于下一代輕量、省電、高解析度的VR、MR產(chǎn)品發(fā)展,并能在近期帶來更完整的應(yīng)用情境。
-
MR
+關(guān)注
關(guān)注
2文章
334瀏覽量
43345 -
vr
+關(guān)注
關(guān)注
34文章
9640瀏覽量
150343
原文標題:行動裝置跑不動VR 、 MR 怎么辦?Google:偷工減料就好了
文章出處:【微信號:lianggezhizi,微信公眾號:兩個質(zhì)子】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論