關(guān)于虛擬現(xiàn)實(shí)的核心-光場(chǎng)成像的原理分析和應(yīng)用

隨著近段時(shí)間Magic Leap在科技圈引起熱議，其中“光場(chǎng)成像”是Magic Leap的成像原理的技術(shù)核心，在這個(gè)火熱的背景下，Lytro、蟻視科技等AR/VR硬件公司也紛紛跳出來推銷他們自己的“某某光場(chǎng)”。噢，對(duì)了，Magic Leap號(hào)稱是“數(shù)字光場(chǎng)”，蟻視科技號(hào)稱是“復(fù)眼光學(xué)技術(shù)”其實(shí)本質(zhì)上都是“四維光場(chǎng)顯示技術(shù)”。

理解這么高大上的玩意兒之前，我們先來進(jìn)行幾個(gè)枯燥乏味的百科科普。

什么是光場(chǎng)?

（圖1. 光場(chǎng)的四維參數(shù)化）

根據(jù)目前查到的文獻(xiàn)，官方說法是“光場(chǎng)(light field)的定義，最早可以追溯到1846年法拉第給出的定義，就是巴拉巴拉巴拉巴拉巴拉...光線攜帶二維位置信息( u，v) 和二維方向信息( θ，φ) 在光場(chǎng)中傳遞。根據(jù)Levoy 的光場(chǎng)渲染理論，空間中攜帶強(qiáng)度和方向信息的任意光線，巴拉巴拉巴拉巴拉巴拉...”(反正我摘錄出來，具體內(nèi)容我們這種小白也看不懂對(duì)不對(duì)?)

簡(jiǎn)單的說，光場(chǎng)是空間中同時(shí)包含位置和方向信息的四維光輻射場(chǎng)的參數(shù)化表示，是空間中所有光線光輻射函數(shù)的總體。其兩個(gè)主要應(yīng)用方向是光場(chǎng)拍攝和光場(chǎng)顯示，第一種需要記錄下來整個(gè)空間的所有信息，第二個(gè)則是需要將這些信息完整地復(fù)現(xiàn)出來。用小編我能理解的話就是在空間內(nèi)任意的角度、任意的位置都以獲得整個(gè)空間環(huán)境的真實(shí)信息，用光場(chǎng)獲得的圖像信息更全面，品質(zhì)更好。

（圖2. 人眼視覺成像示意圖）

還是很迷糊對(duì)不對(duì)，So.我們還是來看大神對(duì)小白是怎么耐心又富有同情心的解釋的吧。

“理解這個(gè)光場(chǎng)之前，你需要先理解下我們現(xiàn)在看到的這個(gè)世界。簡(jiǎn)單的說，我們看到的世界是由物理的反射光線射入我們的眼睛以后，通過晶狀體的折射等等，最終在我們視網(wǎng)膜成像，之后視網(wǎng)膜把這些電信號(hào)通過視覺神經(jīng)轉(zhuǎn)化給大腦。而我們?cè)诳床煌矬w時(shí)，我們眼鏡的晶狀體會(huì)隨時(shí)調(diào)整厚薄程度來使物體更清楚，進(jìn)行對(duì)焦。簡(jiǎn)單的說，就是當(dāng)物體靠近時(shí)，我們?nèi)说耐讜?huì)進(jìn)行收縮，類似于相機(jī)調(diào)小光圈減少光強(qiáng)，睫狀肌收縮，使晶狀體屈光度更大，讓視網(wǎng)膜接受到清晰的實(shí)像，反之亦然。

而這個(gè)過程，隨著人類上百萬年的進(jìn)化，隨時(shí)對(duì)焦已經(jīng)成為了人類的一種本能，而隨之進(jìn)化出來的防抖技能(學(xué)術(shù)名稱Vestibulo-Ocular Reflex, 前庭視反射，簡(jiǎn)稱 VOR)，更是讓我們幾乎感覺不到中間切換時(shí)的畫面抖動(dòng)和模糊效果(當(dāng)然，你要是傻傻的以每秒搖擺三次頭的頻率去嘗試，中間畫面切換時(shí)還是會(huì)有模糊的)。也就是說，我們?nèi)搜劭凑鎸?shí)世界的時(shí)候，眼睛落到不同物體或者不同的點(diǎn)上時(shí)，焦點(diǎn)、焦距都是不同的。

即我們眼中看到的清晰的世界，在一個(gè)時(shí)間內(nèi)，只是類似于一個(gè)確定焦點(diǎn)的二維圖，跟現(xiàn)在通用相機(jī)拍出來的照片差不多，焦點(diǎn)部分是清晰的(就是我們盯著看的地方是清楚的)，背景部分則是虛化的(就是除了盯著的中心區(qū)域以外，眼鏡余光部分全部是模糊的)。而整個(gè)空間環(huán)境則是由無數(shù)個(gè)這樣的二維畫面疊加融合而成，融合后的畫面會(huì)包含各個(gè)“焦點(diǎn)”在特定時(shí)刻的各種空間信息和位置關(guān)系。而光場(chǎng)，就是要真實(shí)的記錄跟復(fù)原模擬出來這個(gè)空間。使我們跟真正在這個(gè)空間中的任何位置一樣，能從任意角度看到對(duì)應(yīng)的‘無數(shù)個(gè)這樣的二維畫面疊加融合’而成的畫面。

用不太準(zhǔn)確的比喻的話，就是把你眼前的立體世界加一個(gè)軸，然后按照這個(gè)軸切片，你看到的所有畫面都是這一堆切片里面的某一張。Lytro、Next VR以及谷歌的Google Jump，德國(guó)公司的Raytrix等等，他們所針對(duì)的方向就是如何將這個(gè)空間的所有信息完整的記錄下來，而Magic Leap、蟻視要做的則是怎么把這些內(nèi)容復(fù)現(xiàn)出來?！?/p>

（圖3. Next VR設(shè)備示意圖）

針對(duì)獲取光場(chǎng)，無論是Next VR方案、Lytro相機(jī)，還是Google Jump等，大體的方案主要有三大類型：

微透鏡陣列解決方案

相機(jī)陣列方案

掩膜及其他孔徑處理方案

（圖4.普通相機(jī)原理）

（圖5.光場(chǎng)相機(jī)原理）

第一種微透鏡陣列方案。

過細(xì)小的微透鏡單元來記錄同位置不同角度的場(chǎng)景圖像，從而在現(xiàn)有的普通成像系統(tǒng)基礎(chǔ)之上，通過對(duì)現(xiàn)有相機(jī)一次像面地方加入微透鏡陣列的簡(jiǎn)單改造，從而獲得一個(gè)四維光場(chǎng)。代表公司有Adobe 公司2011年爆出的光場(chǎng)相機(jī)鏡頭。

（圖6. Adobe公司光場(chǎng)相機(jī)鏡頭）

在Adobe公司光場(chǎng)相機(jī)鏡頭的方案中，類似于昆蟲復(fù)眼的設(shè)計(jì)，每一個(gè)單獨(dú)的鏡頭在圖像分辨率等方面與傳統(tǒng)鏡頭并無優(yōu)勢(shì)，而且由于鏡頭外接，甚至?xí)胄碌南癫畹葐栴}需要處理。但原始圖像經(jīng)過Adobe公司對(duì)應(yīng)的軟件分析處理之后，就會(huì)獲得一個(gè)多層的三維模擬圖像。

第二種辦法是相機(jī)陣列。

代表方案有斯坦福大學(xué)Marc Levoy教授1996推出的128 相機(jī)陣列方案、Isaksen 單相機(jī)掃描方案、MIT 64 相機(jī)陣列方案、卡耐基—梅隆大學(xué)的“3D Room”方案等。該方案是通過相機(jī)在空間的特定排列來抓取一組不同的圖像，然后通過特定的計(jì)算方式將這些場(chǎng)景重構(gòu)，從而獲得廣場(chǎng)。用這種方案獲得的圖片可以包含很多直接的數(shù)據(jù)信息，而且在合成孔徑成像、大視角全景成像方面具有優(yōu)勢(shì)，但128、64相機(jī)陣列...想想小編都覺得密集型恐懼癥。

第三種就是掩膜及其他孔徑處理方案了。

此類方案的代表有Veeraraghavan 光場(chǎng)相機(jī)等，這一類方案都是針對(duì)相機(jī)的孔徑來做文章，通過有規(guī)律的調(diào)整孔徑及光強(qiáng)等來獲得一系列照片。這組照片的頻域分布會(huì)跟光場(chǎng)數(shù)據(jù)基本吻合，通過對(duì)應(yīng)的數(shù)據(jù)處理，可以反推得到四維光場(chǎng)信息。這種方案實(shí)行起來硬件方面較容易實(shí)現(xiàn)，但在軟件數(shù)據(jù)轉(zhuǎn)換方面則需要針對(duì)性的處理。

但實(shí)際上隨著近年硬件成本降低和成熟，光場(chǎng)獲取方案這邊目前更多是傾向于大尺度的大型相機(jī)陣列和小尺度的光場(chǎng)顯微鏡。但目前所有的光場(chǎng)相機(jī)方案在圖像空間分辨率與軸向分辨率兩者之間都尚不能做到較好的兼顧，限制圖像空間分辨率和軸向分辨率增長(zhǎng)的硬件瓶頸、處理瓶頸等等成為光場(chǎng)獲取目前最大的問題。

而針對(duì)如何把光場(chǎng)復(fù)現(xiàn)出來，主要的方向有：

計(jì)算成像方向

數(shù)字重聚焦方向

第一種計(jì)算成像方向是將相機(jī)的光學(xué)系統(tǒng)抽象成四維光場(chǎng)的不同軸面數(shù)據(jù)，然后通過計(jì)算光輻射量、光瞳函數(shù)等得到整個(gè)光場(chǎng)的數(shù)字信息，然后數(shù)值積分近似求解，就可以基本數(shù)字復(fù)原出整個(gè)光場(chǎng)，這些圖像的數(shù)字信息可以直接通過相應(yīng)的顯示設(shè)備來展示。

（圖7. 數(shù)字重聚焦原理圖）

第二種數(shù)字重聚焦方向，小編暫時(shí)仍未理解，只知道是過獲取重聚焦目標(biāo)物所在的圖像平面，計(jì)算其接收到的光輻射量，再通過傅里葉切片定理推論，來重建不同焦距處的圖像。

然而不管是那種成像方法，獲得這些光場(chǎng)的數(shù)字信息以后，都需要相應(yīng)的顯示設(shè)備才可以展示。但目前能夠真正實(shí)現(xiàn)我們?cè)诠鈭?chǎng)中移動(dòng)，圖像也會(huì)隨之變化，感受起來就像在一個(gè)真實(shí)的世界中行走這種效果的設(shè)備，目前還不沒有太成熟的成品，期待VR設(shè)備能夠盡早的解決這些問題吧。