世界級(jí)大廠蘋果的VR/AR大事件盤點(diǎn)

2020年，是世界情勢(shì)跌宕起伏的一年，在線下娛樂、社交、餐飲等行業(yè)被生存壓力沖刷的時(shí)刻，也是VR/AR行業(yè)充滿機(jī)會(huì)的一年。根據(jù)陀螺研究院《2020年VR/AR產(chǎn)業(yè)發(fā)展報(bào)告》數(shù)據(jù)顯示，2020年全球VR頭顯出貨量達(dá)670萬臺(tái)，較2019年增長(zhǎng)72%，AR眼鏡出貨量40萬臺(tái)，增長(zhǎng)33%。

從整體行業(yè)環(huán)境來看VR/AR行業(yè)也呈現(xiàn)更加活躍的動(dòng)態(tài)。如在投融資方面，2020年VR/AR產(chǎn)業(yè)的投融資金額和數(shù)量回到了2017年的高點(diǎn)水平，AR眼鏡、工具軟件、VR/AR游戲、教育培訓(xùn)等成為投融資的熱點(diǎn)領(lǐng)域。

一方面由于特殊時(shí)代背景對(duì)線上環(huán)境的助力，而另一方面，世界領(lǐng)先的科技大廠在VR/AR行業(yè)頻繁的動(dòng)態(tài)，對(duì)在其中起伏的中小企業(yè)也產(chǎn)生了蝴蝶效應(yīng)。而回顧過去的大廠動(dòng)向，也能夠幫助我們更清晰的摸清行業(yè)發(fā)展脈絡(luò)，為此VR陀螺整理了蘋果、Facebook和谷歌在VR/AR方面的軟/硬件、投融資、收購(gòu)、專利等方面的重大事件。

蘋果VR/AR相關(guān)軟硬件大事件13起;投融資并購(gòu)事件22起;值得關(guān)注的專利申請(qǐng)共計(jì)28項(xiàng)，詳情如下：

軟/硬件

2017年6月5日，在蘋果WWDC 2017大會(huì)上，蘋果發(fā)布了AR開發(fā)工具ARKit，具備SLAM、平面檢測(cè)、光照估計(jì)、環(huán)境理解、圖像識(shí)別等功能;

2017年9月12日，蘋果正式發(fā)布的iPhone X系列手機(jī)中使用了A11 Bionic芯片，首次集成了神經(jīng)網(wǎng)絡(luò)引擎;以及3D結(jié)構(gòu)光技術(shù)FaceID，通過iPhone X的Face ID可以3D表情Animojis;

2017年9月20日，在正式發(fā)布的iOS11上，新增ARKit蘋果首款應(yīng)用程序《AR Measure》（AR尺子）;

2018年1月25日，蘋果公布ARKit 1．5版本，優(yōu)化了ARKit識(shí)別對(duì)象的基線準(zhǔn)確度和圖像識(shí)別功能，提高了場(chǎng)景捕捉分辨率，增加了對(duì)垂直平面識(shí)別功能;

2018年6月5日，在蘋果WWDC 2018大會(huì)上，蘋果發(fā)布了ARkit 2．0，新增了增強(qiáng)人臉追蹤、真實(shí)感圖像繪制、3D目標(biāo)檢測(cè)、穩(wěn)定性體驗(yàn)和多用戶AR互動(dòng)功能。同時(shí)與PIXAR工作室推出全新的AR文件格式：USDZ，這款文件支持3D/AR物品展示，可以跨應(yīng)用使用：用戶可以在Adobe、網(wǎng)頁、iMessage等應(yīng)用中進(jìn)行拖拽展示;以及AR文件預(yù)覽工具AR Quick Look;

2019年6月4日，在蘋果WWDC 2019大會(huì)上，蘋果發(fā)了布ARKit 3．0，ARKit 3．0新增了5項(xiàng)功能：人體遮擋、單目動(dòng)作捕捉、前后攝像頭同時(shí)開啟、多面部跟蹤、協(xié)作會(huì)議。同時(shí)發(fā)布了AR渲染平臺(tái)RealityKit，以及3D建模工具Reality Composer;

2019年9月11日，蘋果發(fā)布的iPhone 11首次使用了UBW超寬頻芯片U1，超寬頻技術(shù)讓iphone 11系列更具空間感知能力，可精確定位其他配備U1的蘋果設(shè)備;

2019年10月29日，蘋果發(fā)布的Airpods Pro無線降噪耳機(jī)首次使用了“空間音頻”功能，2020年9月蘋果發(fā)布的iOS 14為AirPods Pro新增了“空間音頻”功能;

2020年1月14日，蘋果發(fā)布了蘋果推出USDZ 3D格式轉(zhuǎn)換工具Reality Converter;

2020年3月18日，蘋果官網(wǎng)發(fā)布了iPad Pro 2020，首次使用了dTOF激光雷達(dá)（LiDAR）;

2020年3月25日，蘋果發(fā)布了ARKit 3．5，ARKit 3．5優(yōu)化和改進(jìn)了運(yùn)動(dòng)捕捉和人物遮擋功能，新增了對(duì)激光雷達(dá)（LiDAR）掃描儀和深度感應(yīng)系統(tǒng)的支持，同時(shí)新增了幾何場(chǎng)景、即時(shí) AR兩大功能;

2020年6月25日，在蘋果WWDC 2020大會(huì)上，蘋果發(fā)布了ARKit 4．0，ARKit 4．0新增了三項(xiàng)功能，深度API（Depth API）、定位錨（Location Anchoring）和前鏡頭面部追蹤功能;

2020年10月14日，蘋果發(fā)布的iPhone 12 Pro和iPhone 12 Pro MAX上使用了dTOF激光雷達(dá)（LiDAR）。

投融資并購(gòu)事件

2010年9月，蘋果收購(gòu)瑞典面部識(shí)別技術(shù)公司Polar Rose，Polar Rose已開發(fā)大量面部識(shí)別技術(shù)，其中包括FaceCloud，可為任何服務(wù)添加面部識(shí)別;FaceLib，面向iPhone和Android平臺(tái)的移動(dòng)解決方案;FaceCore，命令行工具;Recognizr，一款整合人臉識(shí)別和增強(qiáng)現(xiàn)實(shí)技術(shù)的工具，蘋果收購(gòu)后將其整合進(jìn)Aperture、iPhoto和Face ID中;

2013年3月，蘋果收購(gòu)定位技術(shù)公司WifiSLAM，這是一家提供室內(nèi)移動(dòng)位置服務(wù)的公司，它能夠通過Wi-Fi信號(hào)定位出用戶在建筑內(nèi)部的位置; 2013年11月，蘋果以3．45 億美元收購(gòu)以色列著名3D傳感器制造商PrimeSense，微軟第一代體感游戲機(jī)Kinect使用了PrimeSense 的3D 傳感器;

2014年5月，蘋果收購(gòu)MicroLED公司LuxVue Technology，MicroLED被認(rèn)為是消費(fèi)級(jí)AR微顯示屏幕的必然選擇; 2015年，蘋果秘密收購(gòu)芬蘭室內(nèi)定位公司indoor．io;

2015年3月，蘋果收購(gòu)德國(guó)AR公司Metaio，此前主要是為多種平臺(tái)提供增強(qiáng)現(xiàn)實(shí)SDK，包括為Unity平臺(tái)做的兼容性插件，被認(rèn)為是蘋果ARKit 的前身技術(shù);

2015年9月，蘋果收購(gòu)瑞典面部捕捉技術(shù)公司Faceshift，F(xiàn)aceshift是一家專注于實(shí)時(shí)動(dòng)作捕捉技術(shù)的公司，專利是無標(biāo)記（markerless）面部動(dòng)畫捕捉技術(shù)，經(jīng)常和游戲、動(dòng)畫工作室合作，通過3D傳感器實(shí)現(xiàn)快速、準(zhǔn)確的面部表情捕捉，其技術(shù)被整合到蘋果Animoji功能中;

2016年1月，蘋果收購(gòu)人工智能創(chuàng)業(yè)公司Emotient ，Emotient 利用工智能技術(shù)對(duì)人類面部表情進(jìn)行分析，解讀其情緒;

2016年1月，蘋果收購(gòu)空間感知和計(jì)算公司FLYby Media，其開發(fā)的 V-Fusion 技術(shù)可被應(yīng)用于如室內(nèi)導(dǎo)航、無人汽車、頭戴設(shè)備等多個(gè)領(lǐng)域，此前 Flyby Media 還曾與 Google 的 3D 項(xiàng)目 Project Tango 展開合作;

2017年6月，蘋果收購(gòu)德國(guó)眼球追蹤公司SensoMotoric Instruments，SensoMotoric Instruments 公司創(chuàng)立于 1991 年，并開發(fā)了一系列眼球追蹤硬件和軟件，包括虛擬和增強(qiáng)顯示、車載系統(tǒng)，臨床研究、認(rèn)知訓(xùn)練、語言學(xué)，神經(jīng)科學(xué)、身體訓(xùn)練和生物力學(xué)以及心理學(xué)，這家公司的眼球追蹤眼鏡，能夠以120Hz的采樣率實(shí)時(shí)和實(shí)時(shí)地記錄用戶的自然注視行為。SensoMotoric 還為 Oculus Rift 等虛擬現(xiàn)實(shí)頭戴設(shè)備開發(fā)了眼動(dòng)跟蹤技術(shù);

2017年2月，蘋果約200萬美元收購(gòu)了以色列創(chuàng)業(yè)公司RealFace，RealFace專注于面部識(shí)別技術(shù);

2017年10月，蘋果收購(gòu)法國(guó)圖像識(shí)別公司Regaind，Regaind是一家研發(fā)計(jì)算機(jī)視覺識(shí)別技術(shù)的廠商，被收購(gòu)后其技術(shù)后被應(yīng)用到蘋果手機(jī)的面部識(shí)別或是動(dòng)態(tài)表情符功能中;

2017年11月，蘋果收購(gòu)圖像傳感器創(chuàng)企InVisage Technologies，InVisage公司開發(fā)的QuantumFilm圖像傳感器可以更容易地捕捉光線，這項(xiàng)技術(shù)可以讓相機(jī)做得更薄，并且提高相機(jī)在低光照下的成像水平，這項(xiàng)技術(shù)的應(yīng)用不局限于手機(jī)相機(jī)，在ARKit的硬件上也可以做出貢獻(xiàn);

2017年11月，蘋果3000萬美元收購(gòu)加拿大AR初創(chuàng)企業(yè)Vrvana，該公司曾開發(fā)了一款命名為“Totem”的AR頭顯，獲得不錯(cuò)的評(píng)價(jià)，但是沒有上市銷售;

2017年12月，蘋果被曝以3．9億美元投資激光傳感器公司Finisar，F(xiàn)inisar公司生產(chǎn)供貨蘋果Face ID系統(tǒng)中使用的垂直腔面發(fā)射紅外激光器以及蘋果無線耳機(jī)AirPods中使用的接近傳感器，這些傳感器能夠?qū)崿F(xiàn)深度感知和接近感應(yīng)，支持蘋果公司的Face ID，Animoji和ARKit等新功能;

2018年8月，蘋果收購(gòu)AR光波導(dǎo)公司Akonia，該公司主要方向是體全息光波導(dǎo)鏡片，擁有200多項(xiàng)與全息系統(tǒng)和材料相關(guān)的專利;

2018年8月，蘋果被曝已收購(gòu)以色列計(jì)算機(jī)視覺公司Camerai，Camerai 此前開發(fā)的平臺(tái)允許應(yīng)用程序和開發(fā)人員在沒有太多技術(shù)知識(shí)的情況下輕松創(chuàng)建 AR 和圖像處理圖形，Camerai的員工后來加入蘋果的計(jì)算機(jī)視覺團(tuán)隊(duì)，其技術(shù)已經(jīng)整合到蘋果產(chǎn)品中;

2018年9月，蘋果收購(gòu)音樂內(nèi)容識(shí)別公司Shazam，該公司的軟件可以通過部分片段來識(shí)別音樂名稱，或者電影、電視的名稱，Shazam此前還推出了AR增強(qiáng)現(xiàn)實(shí)功能，該技術(shù)可通過掃描在職、書籍、海報(bào)等產(chǎn)片，然后啟動(dòng)AR或者360°沉浸式的視頻;

2018年10月，蘋果約以3100萬美元收購(gòu)丹麥計(jì)算機(jī)視覺公司Spektral，Spektral的技術(shù)能以智能的方式在照片和視頻中將人和物體從原始背景中分離出來，生成AR視頻;

2019年10月，蘋果收購(gòu)英國(guó)動(dòng)作捕捉公司IKinema，IKinema是一家主要提供為游戲和虛擬現(xiàn)實(shí)等行業(yè)提供動(dòng)畫技術(shù)的動(dòng)捕公司，專業(yè)從事于支持虛擬角色實(shí)現(xiàn)實(shí)時(shí)動(dòng)畫的技術(shù)，IKinema的動(dòng)作捕捉技術(shù)已經(jīng)被微軟、迪斯尼、?？怂购万v訊等客戶使用;

2020年5月，蘋果1億美元收購(gòu)VR內(nèi)容直播公司NextVR，NextVR擁有從拍攝、壓縮、傳輸和內(nèi)容顯示等40多項(xiàng)VR專利技術(shù)，專注于為VR提供實(shí)時(shí)內(nèi)容，比如體育和演唱會(huì)。該公司還與NBA達(dá)成協(xié)議，對(duì)2019年的NBA總決賽的精彩瞬間進(jìn)行了VR轉(zhuǎn)播;

2020年8月，蘋果收購(gòu)VR初創(chuàng)公司Spaces，Spaces在2016年由夢(mèng)工廠動(dòng)畫公司（DreamWorks Animation）中兩位負(fù)責(zé)VR技術(shù)的元老Shiraz Akmal和Brad Herman聯(lián)合創(chuàng)辦，公司在VR、AR、MR等領(lǐng)域均有所研究，與微軟、NBC環(huán)球等公司均有相關(guān)業(yè)務(wù)往來，Spaces曾經(jīng)為視頻會(huì)議平臺(tái)Zoom提供了VR套件和相關(guān)技術(shù)支持，使得Zoom用戶可以通過虛擬人物形象和可交互的虛擬白板來進(jìn)行項(xiàng)目匯報(bào)、講座或其他工作。

專利

2016年8月，美國(guó)專利商標(biāo)局公布了專利號(hào)為“20160238834”的蘋果專利，該專利描述了“一個(gè)掃描深度引擎，包含一個(gè)發(fā)射光脈沖的發(fā)射器，一個(gè)用于在特定范圍內(nèi)掃描環(huán)境光線的掃描器”的3D混合掃描技術(shù);

2017年4月，美國(guó)專利商標(biāo)局公布了一項(xiàng)來自于蘋果收購(gòu)Metaio公司的專利，該專利主要內(nèi)容為：將虛擬對(duì)象與真實(shí)環(huán)境相融合;

2017年6月，美國(guó)專利商標(biāo)局公布了專利號(hào)為“9，681，096”的蘋果專利，該專利描述了一種與沉浸式增強(qiáng)現(xiàn)實(shí)、實(shí)時(shí)顯示墻、頭戴式顯示器和視頻會(huì)議應(yīng)用程序相關(guān)并可用于圖像捕捉和處理的光場(chǎng)相機(jī)技術(shù);

2017年10月，美國(guó)專利商標(biāo)局公布了專利號(hào)為”20170295361“的蘋果專利，其涉及圓頂、移動(dòng)或頭戴式顯示器虛擬現(xiàn)實(shí)應(yīng)用程序的單視場(chǎng)（1個(gè)視圖）或立體視場(chǎng)（2個(gè)視圖）180度或360度攝影和后期制作;

2017年11月，美國(guó)專利商標(biāo)局公布了專利號(hào)為“9，824495”的蘋果專利，該專利描述了一種用于捕捉現(xiàn)實(shí)世界圖像，檢測(cè)圖像中的對(duì)象，“幾何重建”對(duì)象的虛擬呈現(xiàn)，然后再把虛擬對(duì)象作為AR對(duì)象疊加在真實(shí)世界視圖，主要內(nèi)容為識(shí)別圖像中的對(duì)象作為AR虛擬物體;

2018年3月，美國(guó)專利局公布了若干蘋果專利，其中名為“Predictive， Foveated Virtual Reality System”的專利可根據(jù)注視點(diǎn)實(shí)現(xiàn)多重分辨渲染;名為“Head-Mounted Display Apparatus for Retaining a Portable Electronic Device with Display”的專利描述了一款支持用戶從一側(cè)插入智能手機(jī)的頭顯設(shè)備;名為“Display System Having World and User Sensors”的專利描述了一款采用頭戴式顯示器的混合現(xiàn)實(shí)系統(tǒng)，能夠提供包含虛擬內(nèi)容的環(huán)境3D虛擬視圖;

2018年4月26日，美國(guó)專利商標(biāo)局公布了專利號(hào)“20180113508”的蘋果專利，該專利描述了一種通過眼睛旁邊的攝像頭跟蹤眼睛運(yùn)動(dòng)的方法和僅反射不可見紅外光的“熱”鏡的眼動(dòng)追蹤技術(shù);

2018年8月，美國(guó)專利及商標(biāo)局公布了一份名為”Processing of Equirectangular Object Data to Compensate for Distortion by Spherical Projections“的蘋果專利，此專利能夠?yàn)閂R提供更好的360度視頻拼接;

2018年9月，蘋果在歐洲申請(qǐng)的顯示器專利通過，專利內(nèi)容是一款用于支持AR，VR和全息內(nèi)容的頭顯。且透鏡可調(diào)，頭顯將能夠通過Siri進(jìn)行控制;

2018年11月，美國(guó)專利商標(biāo)局公布了名為“Display with Holographic Angle-of-View Adjustment Structures（包含全息視角調(diào)節(jié)層結(jié)構(gòu)的顯示器）的蘋果專利，此專利主要涉及到全息光波導(dǎo)技術(shù);

2019年3月，美國(guó)專利商標(biāo)局公布了名為“Depth Map Calculation In A Stereo Camera System立體攝像頭系統(tǒng)中的深度圖計(jì)算“的蘋果專利，專利描述了生成深度圖的方法;名為“Systems With Keyboards And Head-Mounted Displays”的蘋果專利描述了通過物理鍵盤、觸控屏幕、數(shù)據(jù)手套、接近傳感器、攝像頭、以及其他輸入-輸出設(shè)備為VR設(shè)備實(shí)現(xiàn)虛擬鍵盤的方法;名為”Waveform Design For A Lidar System With Closely-Spaced Pulses”的專利描述了通過激光脈沖實(shí)現(xiàn)3D手勢(shì)控制的方法;

2019年10月，美國(guó)專利商標(biāo)局公布了名為“Method And Device For Illustrating A Virtual Object In A Real Environment（在真實(shí)環(huán)境中描畫虛擬對(duì)象的方法和設(shè)備）”的蘋果專利申請(qǐng)，此專利可以實(shí)現(xiàn)“虛實(shí)遮擋”;名為“Displays with Collimated Light Sources and Quantum Dots（準(zhǔn)直光源與量子點(diǎn)顯示器）”的專利技術(shù)可將全息層和全息元件集成至量子點(diǎn)顯示器之中;

2020年3月，美國(guó)專利商標(biāo)局公布了一份名為“Display System With Interchangeable Lens”的蘋果專利。此專利描述了包含可換透鏡的頭戴式設(shè)備;

2019年6月，美國(guó)專利商標(biāo)局公布了一份名為“Stereoscopic Rendering Of Virtual 3d Objects（虛擬3D對(duì)象的立體渲染）”蘋果專利，專利描述了通過為每一個(gè)左眼視點(diǎn)和右眼視點(diǎn)創(chuàng)建等量矩形投影，實(shí)現(xiàn)虛擬3D對(duì)象立體渲染的技術(shù);

2019年7月，美國(guó)專利商標(biāo)局公布了一份名為“Head Mounted Eye Tracking Device And Method For Providing Drift Free Eye Tracking Through A Lens System（頭戴式眼動(dòng)追蹤設(shè)備及通過透鏡系統(tǒng)提供無漂移眼動(dòng)追蹤的方法）”的蘋果專利，該專利能夠?qū)崿F(xiàn)無漂移眼動(dòng)追蹤;

2019年8月，美國(guó)專利商標(biāo)局公布了一份名為“Coordinated Tracking For Binaural Audio Rendering（用于雙耳音頻渲染的協(xié)調(diào)追蹤）”專利，該專利可為頭戴顯示器實(shí)現(xiàn)空間聲場(chǎng);

2019年10月，美國(guó)專利商標(biāo)局公布了名為“Reconstructing Views Of Real World 3d Scenes”的蘋果專利，該專利主要內(nèi)容為通過RGB-D傳感器（例如RGB-D攝像頭）實(shí)現(xiàn)即時(shí)定位和地圖構(gòu)建（slam）;

2020年2月，美國(guó)專利商標(biāo)局公布了名為“Waveguided Display System With Adjustable Lenses”的蘋果專利，該專利主要描述了一種包含可調(diào)透鏡的波導(dǎo)顯示系統(tǒng)，并通過可調(diào)透鏡來實(shí)現(xiàn)所需的光學(xué)特性;名為“Electronic Device With Optical Sensor Interference Mitigation Structures”專利則可以實(shí)現(xiàn)系統(tǒng)無縫透明化，實(shí)現(xiàn)AR、VR切換; 2020年3月，美國(guó)專利商標(biāo)局公布了名為“Display System With Interchangeable Lens”的蘋果專利。該專利描述了包含可換透鏡的頭戴式設(shè)備; 2020年4月，美國(guó)專利商標(biāo)局公布了名為“Sensor Fusion Eye Tracking”的蘋果專利，其主要描述了用于智能手機(jī)或平板電腦等設(shè)備的遠(yuǎn)程眼動(dòng)追蹤系統(tǒng)和方法;

2020年6月，美國(guó)專利商標(biāo)局公布了名為“Gaze-Driven Recording Of Video”的蘋專利，專利內(nèi)容為錄制AR內(nèi)容視頻的解決方案;名為“Pupil Expansion”的蘋果專利，內(nèi)容為光瞳擴(kuò)展的解決方案;

2020年7月，美國(guó)專利商標(biāo)局公布了名為”Privacy Screen“的蘋果專利，專利內(nèi)容為一種AR“隱私模式”的解決方案;名為“Display System With Virtual Image Distance Adjustment And Corrective Lenses（具有虛擬圖像距離調(diào)整功能和校正透鏡的顯示系統(tǒng)）”的蘋果專利主要為近視用戶提出”磁吸夾卡式醫(yī)學(xué)鏡片”解決方案;名為“Predictive Head-Tracked Binaural Audio Rendering”的蘋果專利主要內(nèi)容為AR/VR頭顯頭部追蹤空間音頻解決方案;

2020年8月，美國(guó)專利商標(biāo)局公布了兩項(xiàng)蘋果的專利：搭配AR眼鏡使用的骨傳導(dǎo)音頻系統(tǒng)專利、可直接實(shí)現(xiàn)摳像合成的MR頭戴設(shè)備專利; 2020年10月，美國(guó)專利商標(biāo)局公布了名為“Keyboard Operation With Head-Mounted Device”技術(shù)，該專利可實(shí)現(xiàn)AR/VR設(shè)備支持投射于任意表面的虛擬鍵盤;

2020年11月，美國(guó)專利商標(biāo)局公布了名為“Multiple User Simultaneous Localization And Mapping”蘋果專利，該專利為可實(shí)現(xiàn)AR的多人SLAM技術(shù);

2020年12月，美國(guó)專利商標(biāo)局公布了名為“Structural Thermal Solutions For Display Devices”的蘋果專利，該專利解決散熱問題;名為“Display System With Localized Optical Adjustments（具備局部光學(xué)調(diào)整功能的顯示系統(tǒng)）”的蘋果專利內(nèi)容為通過可調(diào)光學(xué)元件調(diào)整真實(shí)世界對(duì)象的亮度，從而增加虛擬對(duì)象的可見性;名為“Display And Vision Correction System With Removable Lens”的蘋果專利，描述了AR/VR頭戴設(shè)備的近視眼鏡設(shè)計(jì)方案;

2021年1月，美國(guó)商標(biāo)專利局公布了名為“Object tracking for head-mounted devices”的蘋果專利，提出outside-in的追蹤器解決方案;名為“ Scene camera retargeting”的蘋果專利，描述了利用“場(chǎng)景攝像頭重定向”提高VR頭顯的透視MR效果的解決方案;

2020年2月，美國(guó)商標(biāo)專利局公布了名為“Head-Mounted Display Unit With Adaptable Facial Interface”的蘋果專利，描述了“如何防止頭戴式顯示器因面部運(yùn)動(dòng)而移動(dòng)”的多項(xiàng)設(shè)計(jì)元素，增加用戶佩戴時(shí)的靈活性、提升舒適度的解決方案。

責(zé)任編輯：haq