虛擬成像技術(shù)進一步發(fā)展,AR底層技術(shù)SLAM打破空間邊界

我想在房間里看到宇宙的銀河系，我想早上1分鐘內(nèi)試穿8條裙子，我要讓游戲的“英雄”跳出來在寫字臺上來一場大戰(zhàn)……我們的想法真是越來越多。

人們的靈感激發(fā)了很多可能性的創(chuàng)作，每一次科技革命都是人類對“認(rèn)知”的進化。去年在Facebook的開發(fā)者大會上，藝術(shù)在AR與SLAM技術(shù)的驅(qū)動下創(chuàng)造出完美的藝術(shù)作品，利用定位技術(shù)和場景幾何分析，F(xiàn)acebook團隊將著名藝術(shù)家Heather Day的作品素材，巧妙地投影在真實空間中，隨著現(xiàn)場bgm旋律，優(yōu)美的線條和栩栩如生的畫作就出現(xiàn)在人們的面前。

Heather的藝術(shù)作品完美投影到真實世界中

硬件設(shè)備迭代、傳感器升級以及AR技術(shù)的發(fā)展，讓我們打破視覺空間的邊界，時空瞬移的挑戰(zhàn)不再是虛幻。提及AR領(lǐng)域，SLAM作為關(guān)鍵性的底層技術(shù)——同時定位與地圖構(gòu)建，將真實場景和想象空間結(jié)合、融入，借助計算機視覺和圖形學(xué)技術(shù)的力量，消除了虛和實的界限。

AR合影-動態(tài)影像融合到真實世界中

AR集成了真實世界和虛擬世界的信息，兩種信息相互補充、疊加并實時交互。在三維空間中定位虛擬素材，讓不同角度空間都能看到虛擬信息與真實世界融合的效果，因此，空間6DoF定位和地圖構(gòu)建兩個關(guān)鍵性能力，不得不提：

6DoF定位——包括位置信息和角度信息，基于手機攝像頭我們會看到AR效果，從任意角度拍攝可以看到不同視角的場景，不同角度看到的視野能夠和真實世界融合在一起。所以，實時計算出手機設(shè)備的當(dāng)前空間位置和角度很關(guān)鍵，這就是6DoF定位能力。

地圖構(gòu)建——對整個場景三維空間、平面結(jié)構(gòu)的充分理解，比如哪里是地板，哪里是墻面，快速精準(zhǔn)的在線構(gòu)建場景，能夠支持實時定位和虛擬物體植入，當(dāng)識別到這些幾何信息我們就可以看到“在地板上放東西，在墻上掛壁畫”等虛實結(jié)合的AR效果。

除最為核心的同時定位和地圖構(gòu)建 SLAM和3D視覺技術(shù)還包括哪些知識點

平面/三維物體識別和跟蹤：基于業(yè)內(nèi)領(lǐng)先的圖像識別和跟蹤技術(shù)，能夠快速識別場景中平面/三維物體，對障礙物體進行檢測跟蹤，如果把一個虛擬杯子放到某個場景中，算法能夠識別它的位置和環(huán)境的三維結(jié)構(gòu)，無論從哪個角度檢測、識別，畫面中的物體都會和真實世界對應(yīng)起來，這便是基于穩(wěn)定的三維跟蹤效果。

運動恢復(fù)結(jié)構(gòu)（SFM）：對于某些視頻畫面，相比于實時運動跟蹤的SLAM，我們也可以離線來做，算法和SLAM類似。一段拍攝好的畫面或視頻，通過離線處理，整個場景可用完整的三維點進行恢復(fù)。一些無序拍攝的場景畫面，也可以通過SFM將場景三維結(jié)構(gòu)恢復(fù)。

實時深度估計和三維重建：如果想場景結(jié)構(gòu)在線恢復(fù)得更加完整，就要恢復(fù)出更加稠密的三維點云，也就是稠密三維重建。利用立體匹配算法，將畫面上的每個像素在空間上的3D距離計算出來，整個場景掃描的過程融合多幀畫面的深度信息，得到完整精準(zhǔn)的場景三維模型，這就是基于深度融合的實時三維重建算法。該算法在移動設(shè)備上支持實時的景深虛化、雙目立體化、真實感渲染、陰影合成、虛實物體的遮擋和碰撞等交互效果，創(chuàng)建物理真實的“虛實融合”世界。

稠密三維重建

光照估計：通過計算機視覺和圖形學(xué)算法，基于真實場景的視頻數(shù)據(jù)估計出場景的光照環(huán)境，包括亮度、光源等，渲染時再將光照信息疊加在虛擬模型上，使渲染效果與真實環(huán)境更加貼合。

場景圖像+虛實結(jié)合

跨平臺的輕量級AR/VR引擎：不同于前幾項SLAM底層技術(shù)，跨平臺的輕量級AR/VR引擎將后端SLAM、三維重建和前端的三維繪制、渲染整合，集成了AR/VR引擎。最終呈現(xiàn)給用戶的是三維繪制的虛擬場景和真實世界的融合后的效果。具有跨平臺、庫體積小且支持多種光照和材質(zhì)模型，以及虛擬物體的遮擋、陰影投射、Avatar表情驅(qū)動等特點。

游戲、機器人領(lǐng)域SLAM技術(shù)打前戰(zhàn) 我們能做的還有更多

為了保證機器在某些特定環(huán)境中路徑規(guī)劃更加智能，在機器人應(yīng)用領(lǐng)域，SLAM技術(shù)的存在也為機器人識別周圍環(huán)境、躲避障礙物、規(guī)劃路徑、場景地圖實時構(gòu)建等提供技術(shù)支持。

在自動駕駛領(lǐng)域，SLAM應(yīng)用目的是解決定位和三維重建的難題。在自動駕駛過程中，實時定位和路徑規(guī)劃能力很重要，必須要實時精準(zhǔn)地獲取信息和坐標(biāo)。關(guān)于地圖構(gòu)建方面，通過傳感器采集的信息，SLAM算法會將整個場景的高精度三維結(jié)構(gòu)進行恢復(fù)，高精度地圖也是自動駕駛中較為核心的部分。

SLAM與越來越多的場景相結(jié)合，很多用戶已經(jīng)感知到AR應(yīng)用的全新體驗方式。SLAM與AR技術(shù)讓他們近距離感受到電子游戲中顛覆式的交互體驗。原來我們的體驗只在虛擬的3D場景里，如今游戲中虛擬的人設(shè)可以跳出手機在真實的場景里進行打斗，我們不僅可以和游戲中的“英雄”合影，甚至可以在房間里和虛擬人設(shè)“交戰(zhàn)”。

OPPO聯(lián)手商湯打造AR開發(fā)者平臺

王者榮耀APP入駐

“英雄”跳出了手機在真實世界里比拼

除此，SLAM的識別跟蹤技術(shù)也涉入電商領(lǐng)域，提升我們線上平臺的購物體驗。如果我們需要為家里購置一臺冰箱，無需再擔(dān)心位置擺放、冰箱大小等這些瑣碎的問題，通過手機攝像頭線上掃描空間環(huán)境，真實場景中的平面或三維物體就會快速被識別出，SLAM算法會聰明地將“虛擬冰箱”放在最為合適的三維空間里，添置在房間合適的位置上。

京東APP入駐 提升線上平臺購物體驗

近期，OPPO與商湯科技合作吸納多家APP進駐，共同推進AR應(yīng)用的普及，首批進駐的APP中王者榮耀和京東，便是通過商湯的SLAM底層技術(shù)與AR支持讓更多消費者感受到AR應(yīng)用的全新交互方式。針對垂直行業(yè)深度定制優(yōu)化的特點，商湯將會為互娛、游戲、電商、廣告、旅游、教育、家裝等行業(yè)開發(fā)相應(yīng)的AR增強工具包，幫助APP廠商深化行業(yè)AR應(yīng)用。

深度定制化合作 通過APP交互給用戶最佳體驗

由商湯科技研發(fā)的SenseAR底層引擎解決方案將AR基本能力賦予手機廠商。基于硬件及手機廠商提供的信息和數(shù)據(jù)，通過算法實時處理，反饋空間定位信息、空間場景的三維信息，手機廠商將算法做整體封裝，作為手機的基礎(chǔ)能力，開發(fā)者基于封裝的SDK和手機平臺就可以進行更為復(fù)雜邏輯的應(yīng)用開發(fā)。商湯科技將聯(lián)合合作伙伴一起搭建AR內(nèi)容創(chuàng)作平臺，提供AR內(nèi)容創(chuàng)作工具鏈和AR內(nèi)容素材給APP開發(fā)商，解決AR內(nèi)容缺乏、創(chuàng)作效率低的痛點。

與同類AR平臺相比，SenseAR平臺的硬件適配、軟件開發(fā)的低成本，是平臺核心優(yōu)勢。與ARCore對硬件高標(biāo)準(zhǔn)的要求不同，SenseAR支持不同的硬件配置，在缺失陀螺儀的傳感器設(shè)備上也能穩(wěn)定運行，即便是千元左右的大眾機型，都可以在手機上很好的呈現(xiàn)平臺的性能，覆蓋廣泛。并且支持安卓、iOS、Windows、Linux、Mac OS等多種操作系統(tǒng)，只需要開發(fā)一次就能跨各種操作系統(tǒng)和硬件終端。