揭秘Magic Leap核心技術(shù) - 全文

　　2月2日，MagicLeap官方表示獲得由阿里巴巴集團領(lǐng)投的約7.94億美元融資。加上上輪由谷歌領(lǐng)投的5.42億美元，至2014年年底以來，該公司總計已完成13.4億美元投資，總估值約45億美元。

　　這家位于佛羅里達的創(chuàng)業(yè)公司已經(jīng)創(chuàng)業(yè)數(shù)十年，陣容豪華，規(guī)模龐大，但卻對其核心技術(shù)諱莫如深，異常神秘。間或泄露幾條演示視頻，舉世驚艷，旋即嘩然。那么，MagicLeap究竟有何驚世駭俗的技術(shù)秘密？在此大膽推測，力圖在其撲朔迷離的表象下，探究技術(shù)的實質(zhì)。

一條巨大的鯨魚從籃球場的地面中央飛躍而出

把辦公室變成游戲戰(zhàn)場

　　在計算機圖形學領(lǐng)域，三維場景渲染演示技術(shù)的演化進程可以大致劃分成如下的歷史階段：針孔相機、雙目立體視覺、光場、數(shù)字全息。簡而言之，針孔相機演示技術(shù)的代表作是早期的動畫電影《最終幻想》，雙目立體視覺的代表作是3D版的《阿凡達》，光場的代表作就是MagicLeap，數(shù)字全息技術(shù)的代表作是《星球大戰(zhàn)》中的場景。

最終幻想：光線跟蹤法渲染，針孔相機顯示技術(shù)

3D版的《阿凡達》，雙目立體視覺

MagicLeap，增強現(xiàn)實，光場技術(shù)

星球大戰(zhàn)，數(shù)字全息技術(shù)

　　MagicLeap實現(xiàn)并普及了光場顯示技術(shù)，這是三維場景顯示技術(shù)的一場實實在在的革命，獲得空前的投資自然是名至實歸。那么，什么是光場？這一技術(shù)是完全嶄新的嗎？這一技術(shù)發(fā)展的歷史脈絡(luò)如何？存在其他以光場技術(shù)起家的公司嗎？我們在下面的討論中，逐一解釋。

　　針孔相機

　　傳統(tǒng)的光學相機，其理想模型就是針孔相機。在計算機圖形學中，傳統(tǒng)的渲染方法都是基于這種相機模型。如圖7所示，從相機的光心出發(fā)，經(jīng)過成像屏幕的每一個像素，發(fā)出一條射線。光學跟蹤法用幾何光學的物理法則計算這條射線的顏色，即為相應(yīng)像素的顏色。圖8展示了一個用光學跟蹤法算出的渲染圖像。在這里，我們需要一個概念上的轉(zhuǎn)換，每個像素不是一個點，而是一條射線，這是理解光場的關(guān)鍵！換言之，一張相片就是通過光心的一簇射線?！蹲罱K幻想》就是用光學跟蹤法來渲染制作的。

光線跟蹤法中的針孔相機模型

用光線跟蹤法渲染的一幅場景

　　傳統(tǒng)的顯示方法，例如屏幕、LCD/LED，是基于傳統(tǒng)觀念的，即把每個像素作為一個點，從不同的角度看過去，同一個像素的顏色不變。換言之，這種顯示方式失去了射線方向的信息。

　　雙目立體視覺

　　人類具有兩只眼睛，觀看物體時兩眼各自成像，大腦根據(jù)兩眼成像的細微差別計算每一點的深度信息，從而得到立體感覺。模仿人眼，我們可以用雙鏡頭相機得到雙目立體相片。

雙目立體相機

阿波羅登月計劃中拍攝的雙目立體相片

　　本質(zhì)上而言，雙目立體視覺相片就是從兩個光心出發(fā)的兩簇射線。3D版《阿凡達》就是以此原理制作的。相對于單目相機，雙目立體視覺時間復雜度和空間復雜度加倍。

　　光場（Light Field）- 魔盒解釋

光場（Light Field）的魔盒解釋

　　我們假設(shè)用一個玻璃盒子罩住一只兔子，然后透過玻璃盒子來觀察這只兔子。從盒子表面的任意一點，向三維空間的任意一個方向發(fā)出一條射線，這條射線的顏色由兔子和光照條件所決定。我們用來表示玻璃盒子，表示單位向量，一條射線表示為,所有射線的集合記為。每條射線對應(yīng)著一個顏色，我們用三維空間中的一個點來表示。因此，光場就是從射線空間到顏色空間的映射。換言之，光場是定義在射線空間上的矢量值函數(shù)。

　　假設(shè)我們?nèi)サ袅瞬ＡШ凶又械耐米?，但是這個玻璃盒子是一個魔盒，光場信息被完美保留。當我們觀察這一魔盒的時候，所有經(jīng)過一只眼睛的射線合成了視網(wǎng)膜上的一幅圖像。我們可以自由地改變距離和視角，兔子在視網(wǎng)膜上的圖像相應(yīng)地自然變化，根本覺察不到兔子的消失。因此，有了魔盒，我們不再需要真正的兔子。這個魔盒就是兔子的光場。

　　在光學領(lǐng)域中，光場是一個古老的概念。在1996年被微軟和斯坦福學者引進到計算機圖形學領(lǐng)域，發(fā)展到2016年的今天，已經(jīng)整整二十個年頭了。雖然在學術(shù)界，人們不懈地研究深化，真正在工業(yè)界產(chǎn)生影響，還是近幾年的事情。MagicLeap應(yīng)該算是LightField理論在現(xiàn)實應(yīng)用中的一個巔峰。

　　光場渲染我們可以用兔子的光場來取代兔子，渲染生成各種角度的照片，這樣我們無需為建立兔子的幾何模型，紋理模型和光照模型。對于大場景，復雜光照條件，或者復雜幾何模型（如長絨玩具）等等，光場比實物的數(shù)字模型更為簡單，或者光場比光線跟蹤得到的渲染結(jié)果更加逼真，或者更加高效，我們用光場來渲染。這是所謂的基于圖像的渲染方法。歷史上，微軟曾經(jīng)出過一版基于光場的游戲，類似孤島尋寶，所有場景都是從真實自然中采集，非常逼真，但是最后沒有引起任何反響，無疾而終。

　　光場采集光場是定義在射線空間上的函數(shù)，射線空間是4維的，傳統(tǒng)的針孔相機只能采集二維射線簇，因此光場采集具有本質(zhì)的難度。早期光場采集的方法簡單粗暴，就是用大規(guī)模相機陣列，如圖12所示的二維相機陣列。這種光場相機笨重昂貴，無法普及。

斯坦福的光場相機：16x8多相機陣列

　　依隨數(shù)字相機技術(shù)的成熟，針孔相機愈來愈小，可以密集地集成在一起，從而縮小了光場相機的體積。但是鏡頭的尺寸無法縮減，如圖13所示。

斯坦福的光場相機：相機陣列

　　真正的突破來自于仿生學。許多昆蟲都有復眼,復眼獲取的就是光場信息。

昆蟲的復眼：光場相機

　　人類模仿昆蟲，制造了類似復眼的鏡頭，如圖15所示，在一個大鏡頭上集成了數(shù)十個小鏡頭。依隨光學工藝的改進，人們制造出在一張塑料薄膜上集成了數(shù)千個微小鏡頭。斯坦福的博士生吳任基于這種想法，創(chuàng)立了光場相機Lytro公司。

Adobe制造的人造復眼原型

　　傳統(tǒng)的相機需要先對焦，再照相。Lytro相機提出的口號是“先照相，再對焦”。因為Lytro相機得到的光場信息，使用者可以由4維光場合成不同角度，深度的二維相片。

Lytro相機

　　如圖17所示的婚紗攝影：同一個光場相片，我們既可以聚焦于靠近鏡頭的新郎；也可以聚焦于遠離鏡頭的新娘。

Lytro婚紗照：同一張光場相片，可以聚焦在不同的區(qū)域。左幀，聚焦在新郎上；右?guī)?，聚焦在新娘?/p>

　　光場顯示傳統(tǒng)的顯示方式，屏幕，LCD/LED，只保留了射線穿過屏幕的交點的幾何信息和顏色信息，沒有保留射線的方向信息。屏幕是漫反射的，從屏幕上某一點發(fā)出的所有射線都是相同顏色的，而光場顯示要求從同一點出發(fā)的不同射線具有不同的顏色，如圖18所示。光場顯示，正是MagicLeap的核心技術(shù)。

顯示模式對比：左圖是傳統(tǒng)屏幕，過一點的所有射線同樣顏色；右圖是光場顯示，過一點的不同射線不同顏色

　　USC的光場顯示南加州大學提出并制作了一種光場顯示裝置，如圖19、20所示，有一個四面透光的玻璃柜子，柜子中間是一面和水平面夾角為45度的鏡子，柜子頂部安裝了一臺高速投影儀，投影儀垂直向下投影，光線經(jīng)過鏡子反射后水平射出。同時，鏡子高速旋轉(zhuǎn)。一顆幽靈般的透明人頭懸浮在空氣之中，當我們繞著柜子走的時候，我們可以看到人頭的各個側(cè)面，并且這顆人頭對你擠眉弄眼。

USC Light field display，一顆漂浮的人頭

USC Light field display用于遠程會議系統(tǒng)

USC Light Field display 專利圖

　　圖21展示了這一光場顯示儀器的原理。45度傾斜的鏡子（114）被電機馬達（115）帶動旋轉(zhuǎn)，圖形處理器（130）生成圖像傳遞給高速投影儀（120），投影儀投射到鏡子上，經(jīng)反射水平射向四周。這樣，經(jīng)過嚴格同步控制，我們就顯示了一個三維的光場。這一裝置笨重而昂貴，同時高速旋轉(zhuǎn)的鏡子使得系統(tǒng)的穩(wěn)定性下降。任何機械振動都會影響光場顯示效果。

　　MagicLeap光場顯示-手電筒解釋MagicLeap的核心技術(shù)是一種特殊的光場顯示設(shè)備：光導纖維投影儀。激光在光導纖維中傳播，在纖維的端口射出，輸出方向和纖維相切。改變纖維在三維空間中的形狀，特別是改變纖維端口處的切方向，我們可以控制激光射出的方向。這就猶如我們拿著一個手電筒，通過改變手電筒的位置，和指向改變輸出光柱的方向。如果我們快速搖動手腕，手電筒發(fā)出的光柱在空中劃出了一個圓錐面，這個圓錐面打到一面墻上成為一個圓周。通過快速改變手腕搖動的幅度，我們可以控制這個圓周半徑大小，從而得到一系列的同心圓，這一系列同心圓覆蓋了一張圓盤。如果，手電筒的光柱顏色會變化，則我們在墻上畫出了一個彩色圓盤。這樣，通過快速搖動一只手電筒，我們得到了一幅圖像，或者覆蓋了一簇射線。假設(shè)有很多人，站在不同的空間位置，每人都搖動一只手電筒，則我們得到了一個光場。這就是MagicLeap的光場顯示設(shè)備：光導纖維投影儀的原理。

Magic Leap的手電筒

　　圖22顯示了MagicLeap的手電筒，促動器(206）相當于人的手腕，光纖（208）相當于手電筒，促動器使得纖維頂端周期性地顫動，纖維頂端螺旋地畫出了一些列的同心圓，激光經(jīng)由透鏡系統(tǒng)輸出，在空中畫出了一簇射線。投射到平面上照亮了一個圓盤。同步地改變經(jīng)過顏色和強度，一根纖維利用分時技術(shù)得到一幅圖像，如圖23所示。

一根纖維利用分時技術(shù)得到一幅圖像

　　在MagicLeap的纖維光投影儀中，有許多根光導纖維，集結(jié)成二維陣列，每根纖維都相當于一個針孔相機，二維相機陣列生成了光場。

　　光場顯示的優(yōu)勢相比于雙目立體視覺，光場顯示有很多優(yōu)勢。人類獲取三維深度信息有兩種途徑，“shapefromstereo”和“shapefromfocus”。我們用兩只眼睛看同一個物體，同一個三維空間中的點，映到左右視網(wǎng)膜不同的像素上。我們?nèi)四X能夠通過視網(wǎng)膜上的像素，反算對應(yīng)的空間的射線，從而得到兩條射線的交點，得到深度信息，這一過程是“shapefromStereo”。我們每只眼睛看物體的時候，大腦會自動調(diào)節(jié)眼睛的晶狀體的曲率，使得物體在視網(wǎng)膜上清晰成像。調(diào)節(jié)晶狀體的肌肉緊張程度使得大腦能夠計算物體的深度信息，即所謂的“shapefromfocus”?？?D版的《阿凡達》的時候，我們只用到了“shapefromStereo”，眼睛的焦距一直固定，因為眼睛到屏幕的距離不變，因此沒有“shapefromfocus”的過程。但是，人類經(jīng)過漫長的進化，這兩種過程自然而然地緊密聯(lián)系在一起。人為地割裂它們，就會使人目眩頭暈。相反地，如果用光場顯示技術(shù)，我們同時需要“shapefromStereo”和“shapefromfocus”，因此觀看時不會頭暈?zāi)垦?，光場顯示技術(shù)更加自然健康。

　　光場顯示的挑戰(zhàn)作為一場革命的開端，MagicLeap的技術(shù)面臨著許多挑戰(zhàn)。最為直接的就是：傳統(tǒng)的顯示技術(shù)只需要計算四維光場中的一個二維切片，而光場顯示需要計算整個四維光場，其計算復雜度提高幾個數(shù)量級，這是技術(shù)瓶頸之一。同時，精確的調(diào)控機械部件，使得每一個纖維都穩(wěn)定自然地顫動，并且顫動的模式要和數(shù)據(jù)傳輸相互同步，并且這種顫動不受外界噪音的影響，這也需要令人匪夷所思的技術(shù)。

　　數(shù)字全息光場從概念的提出到MagicLeap的投資狂潮已經(jīng)走了二十年，而數(shù)字全息技術(shù)的發(fā)展歷史更加漫長。光場本質(zhì)上還是幾何光學，而數(shù)字全息則是波動光學。目前數(shù)字全息技術(shù)日益成熟，依隨藍色激光的發(fā)明，彩色數(shù)字全息技術(shù)成為可能。目前發(fā)展的瓶頸一是計算量巨大，遠遠超過光場計算，二是數(shù)字全息顯示中需要特殊的一種晶體，每個像素的折射率能夠由電壓控制。目前這種光學器件依然昂貴，并且尺寸較小。我們相信依隨光場技術(shù)的廣為接受，數(shù)字全息技術(shù)也會長足發(fā)展。

　　光場技術(shù)的啟示光場技術(shù)的歷史發(fā)展使我們看到顛覆性的技術(shù)革命往往起源于基礎(chǔ)科學和非商業(yè)功利的學術(shù)界。從學術(shù)界醞釀成熟，到商業(yè)界呼風喚雨往往要幾十年。MagicLeap的技術(shù)突破來自于對于內(nèi)窺鏡技術(shù)的轉(zhuǎn)用，這顯示了跨界科研的重要性。

　　期待有一天，電視電影都是用光場攝像機拍攝，觀眾可以任意動態(tài)選擇觀看角度?；蛟S這一天要等待另一個二十年，或許只需三五年。我相信，不久的將來，淘寶網(wǎng)上的照片都會被光場相片所取代，而Magicleap頭盔，成為每一個網(wǎng)購者的標配。