Cloud Anchors如何實(shí)現(xiàn)多用戶共享同一個(gè)AR場(chǎng)景？

在今年的Google I/O大會(huì)上，Daydream產(chǎn)品經(jīng)理Nathan Martz 公布了最新的AR軟件開發(fā)套件ARCore新版本ARCore 1.2，該版本帶來(lái)了三大重要功能——Cloud Anchors、Augmented Images、SDK Sceneform。

Cloud Anchors功能，允許多用戶通過(guò)網(wǎng)絡(luò)連接共享的增強(qiáng)現(xiàn)實(shí)（AR）空間，實(shí)現(xiàn)多用戶的AR體驗(yàn)。

Augmented Images類似于以前的AR掃描和QR碼，但之前只能平面識(shí)別，此次新增了垂直平面識(shí)別，能更準(zhǔn)確識(shí)別不規(guī)則物體表面。例如現(xiàn)在可以識(shí)別產(chǎn)品垂直包裝面，以AR的方式呈現(xiàn)出包裝內(nèi)的產(chǎn)品。

全新的SDK Sceneform是一個(gè)旨在幫助Java開發(fā)者快速創(chuàng)建AR場(chǎng)景的新版SDK，無(wú)需處理整個(gè)3D開發(fā)堆棧。

ARCore 1.2 最大的更新是Cloud Anchors功能，除了多用戶共享AR體驗(yàn)外，還有一個(gè)重要的點(diǎn)是，支持跨設(shè)備共享AR體驗(yàn)， Android和iOS用戶都能通過(guò)Cloud Anchors獲得多用戶AR體驗(yàn)。

本文將從Cloud Anchors 多用戶AR體驗(yàn)的實(shí)現(xiàn)原理、功能缺陷以及應(yīng)用場(chǎng)景方面進(jìn)行深入的探討。VR陀螺請(qǐng)到了網(wǎng)易AR游戲《悠夢(mèng)》的開發(fā)者應(yīng)新港、Directive games的聯(lián)合創(chuàng)始人張竹云、視+AR高級(jí)算法工程師王強(qiáng)對(duì)Cloud Anchors進(jìn)行深度解讀。

Cloud Anchors如何實(shí)現(xiàn)多用戶共享同一個(gè)AR場(chǎng)景？

“這個(gè)功能其實(shí)是一個(gè)Cloud Anchors概念，anchor本身對(duì)于ARCore是一個(gè)非常重要的概念，” 視+AR王強(qiáng)表示，“ARCore中通過(guò)AR往現(xiàn)實(shí)中放置一個(gè)交互虛擬物體，需要通過(guò)Anchor指定其空間位置，只不過(guò)這個(gè)anchor以前是不能夠多人共享的?！?/p>

什么是Anchors？虛擬物體在現(xiàn)實(shí)世界中的固定位置就是Anchors，有了這個(gè)錨點(diǎn)，虛擬物體就不會(huì)發(fā)生偏移，可以很好的貼合在現(xiàn)實(shí)環(huán)境中。要形成一個(gè)Anchors，首先需要一個(gè)SLAM系統(tǒng)提供相機(jī)的位置，通過(guò)相機(jī)掃描現(xiàn)實(shí)位置放置虛擬物體，虛擬物體的位置就會(huì)形成一個(gè)anchors，它包括了一個(gè)物理位置和一堆視覺(jué)特征。

王強(qiáng)補(bǔ)充道：“正因?yàn)橛蠥nchors這個(gè)概念的存在，所以現(xiàn)在所謂的云Anchors 就很好理解了，用戶A首先將本地anchor和anchor周圍局部的視覺(jué)信息（比如特征點(diǎn)、線等），上傳到云端，云端通過(guò)處理并生成三維點(diǎn)云信息，生成cloud anchors，同時(shí)返回其對(duì)應(yīng)的ID，該ID可以共享給其他用戶。其他用戶（例如用戶B，C等）通過(guò)該ID訪問(wèn)已有的cloud anchors，ARCore將本地的視覺(jué)信息上傳到云端服務(wù)器，云端服務(wù)器嘗試將接收的視覺(jué)信息與云端cloud anchor對(duì)應(yīng)的的三維點(diǎn)云進(jìn)行對(duì)齊，從而將多個(gè)用戶的位置和姿態(tài)統(tǒng)一到同一坐標(biāo)系下?！?/p>

Directive games張竹云對(duì)Cloud Anchors的原理分析和王強(qiáng)大致相同，“谷歌在ARCore 1.2的更新中加入了所謂多人模式的概念，這個(gè)機(jī)能是通過(guò)“云錨定”（Cloud anchor）來(lái)實(shí)現(xiàn)的。簡(jiǎn)單來(lái)說(shuō)，ARcore將捕捉到用于進(jìn)行運(yùn)動(dòng)追蹤的特征點(diǎn)，上傳并儲(chǔ)存到云錨定的服務(wù)介質(zhì)上，對(duì)比同一場(chǎng)景下不同用戶各自的特征點(diǎn)，系統(tǒng)就可以把內(nèi)容物體在不同的設(shè)備上渲染到空間中相同的位置?！?/p>

網(wǎng)易AR游戲應(yīng)新港則認(rèn)為：“它應(yīng)該是通過(guò)特征點(diǎn)的共享（還沒(méi)接入還不太確定），然后再逐漸談到應(yīng)用場(chǎng)景，就是它可以實(shí)現(xiàn)將虛擬場(chǎng)景的方位與朝向在多臺(tái)機(jī)子上統(tǒng)一，這樣很多多人游戲都可以做了。”

Cloud Anchors如何兼容iOS，為什么要兼容iOS？

張竹云分析其原理和安卓設(shè)備之間的AR數(shù)據(jù)交換是相同的，谷歌提供給iOS一套相應(yīng)的Cloud anchor API，允許iOS 應(yīng)用將對(duì)應(yīng)的特征點(diǎn)數(shù)據(jù)上傳到云端以分享至其他的設(shè)備。

王強(qiáng)的分析也有一定的共同點(diǎn)，他認(rèn)為谷歌通過(guò)針對(duì)ARKit做對(duì)應(yīng)的上層封裝，對(duì)于開發(fā)者來(lái)說(shuō)可以避免跨平臺(tái)的開發(fā)帶來(lái)的問(wèn)題。由于ARCore在推出之時(shí)，功能和接口設(shè)計(jì)就與ARKit非常類似，因此ARCore可以相對(duì)容易的提供一套封裝和接口，從而同時(shí)兼容兩個(gè)系統(tǒng)。

Cloud Anchor 能實(shí)現(xiàn)多用戶AR交互是讓人興奮的，它還能夠兼容iOS是令人驚訝的，但不算意外。

王強(qiáng)補(bǔ)充說(shuō)道，“雖然此次I/O大會(huì)谷歌強(qiáng)調(diào)ARCore已經(jīng)支持1億臺(tái)以上的安卓設(shè)備，但考慮到市面上安卓設(shè)備數(shù)量，實(shí)際上它的普及速度是偏慢的。目前支持ARCore的機(jī)型基本只有少數(shù)幾個(gè)品牌的旗艦級(jí)的手機(jī)，因此對(duì)于AR的用戶普及來(lái)說(shuō)，安卓比蘋果要低很多的。當(dāng)谷歌表示Cloud Anchors兼容ARKit的時(shí)候大家表示驚訝，但考慮到蘋果的AR用戶的龐大數(shù)量，對(duì)于多人AR體驗(yàn)來(lái)說(shuō)，通過(guò)上層兼容ARKit也是非常合理的?！?/p>

Cloud Anchors可以應(yīng)用到什么場(chǎng)景？

張竹云、王強(qiáng)、應(yīng)新港一致認(rèn)為，多人游戲娛樂(lè)和多人協(xié)作行業(yè)應(yīng)用是Cloud Anchors 的方向。

當(dāng)初蘋果剛推出AR功能的時(shí)候，很多人都認(rèn)為AR會(huì)很快的普及到大部分的用戶，因?yàn)樘O果本身也有軟硬件的優(yōu)勢(shì)，但最后結(jié)果是否定的。由于目前的AR體驗(yàn)并沒(méi)有足夠的元素吸引用戶長(zhǎng)時(shí)間使用，一方面是缺少碰撞和遮擋，缺少真實(shí)感，另一方面是缺少社交元素，用戶之間沒(méi)有交流，沒(méi)有分享渠道，更不能共同參與AR體驗(yàn)，而Cloud Anchors則剛好能解決這個(gè)問(wèn)題。

張竹云對(duì)此表示，“多人共享的AR空間可以說(shuō)是AR未來(lái)發(fā)展至關(guān)重要的功能，只有當(dāng)AR可以在人和人之間進(jìn)行分享的時(shí)候，他才會(huì)真正成為日常生活中主流的，必不可少的工具。出于這個(gè)思路，可以說(shuō)它的應(yīng)用場(chǎng)景是非常廣泛的，從多人協(xié)作的行業(yè)應(yīng)用到交互娛樂(lè)游戲，都是它的用武之地。”

王強(qiáng)則認(rèn)為：“互聯(lián)網(wǎng)爆款大多都涉及社交元素。有了多用戶交互之后，游戲、娛樂(lè)、工業(yè)、教育等各個(gè)行業(yè)都可以加入多人、社交AR的功能。AR未來(lái)的趨勢(shì)肯定是朝著持久的，多用戶的，可以分享的沉浸感更強(qiáng)的AR體驗(yàn)。”

“要實(shí)現(xiàn)AR MMO 前還有差距，一方面是參與人數(shù)，官方文檔雖然沒(méi)提及，但目前同一cloud anchors應(yīng)該對(duì)同時(shí)共享的用戶人數(shù)會(huì)有限制。另一方面是要做到真正的ARMMO需要構(gòu)建與現(xiàn)實(shí)環(huán)境1:1的AR地圖，只有ARCore的cloud anchors只能看做局部的小地圖，構(gòu)建大范圍的、多人共享、可持久更新的AR地圖目前仍然是行業(yè)內(nèi)的難點(diǎn)?！?/p>

Cloud Anchors目前會(huì)有什么缺陷？

毫無(wú)疑問(wèn)，Cloud Anchors對(duì)于開發(fā)者和用戶都是一個(gè)很重要的功能，該功能很有可能讓AR MMO游戲成為現(xiàn)實(shí)，該功能也是AR社交的一個(gè)補(bǔ)充，但現(xiàn)在看來(lái)，該功能尚存在一些難點(diǎn)和缺陷需要解決。

地板和地毯會(huì)給特征點(diǎn)的識(shí)別、追蹤帶來(lái)難度嗎？ 張竹云認(rèn)為：“缺少紋理的表面會(huì)給追蹤帶來(lái)困難，但實(shí)際上大多數(shù)地板和地毯都是有豐富細(xì)節(jié)的?！?/p>

光照、角度會(huì)影響特征點(diǎn)的采集，進(jìn)而影響多用戶交互體驗(yàn)嗎？王強(qiáng)表示：“這是多用戶共享的一個(gè)最大的難點(diǎn)，就是怎么得到不同用戶相對(duì)的位置和姿態(tài)信息。光照變化、用戶的觀察角度、距離變化都會(huì)對(duì)視覺(jué)匹配算法的性能帶來(lái)影響?！?/p>

“利用cloud anchors建立與用戶圖像的匹配，對(duì)于室內(nèi)場(chǎng)景來(lái)說(shuō)比較簡(jiǎn)單解決一些，室外場(chǎng)景下可能會(huì)需要面對(duì)白天到晚上這種光照變化更劇烈的挑戰(zhàn)。近年來(lái)室內(nèi)不同角度、角度和位置的圖像匹配算法已經(jīng)有長(zhǎng)足的進(jìn)步。對(duì)于室外場(chǎng)景下，國(guó)內(nèi)外很多AR相關(guān)的公司都在做這方面的解決方案，相信這個(gè)問(wèn)題也會(huì)逐步得到解決?！蹦壳癆RCore的匹配是在服務(wù)器端完成的，相對(duì)在本地實(shí)現(xiàn)無(wú)需過(guò)多考慮手機(jī)計(jì)算性能帶來(lái)的限制?！?/p>

多用戶數(shù)據(jù)上傳，有可能導(dǎo)致云端服務(wù)器壓力過(guò)大嗎？王強(qiáng)認(rèn)為，“視覺(jué)計(jì)算它本身的計(jì)算量通常是非常大的，比如說(shuō)特征提取和計(jì)算特征描述子。這個(gè)不僅對(duì)服務(wù)器傳輸帶寬壓力大，對(duì)于算法的壓力也很大。但谷歌之前在Tango的開發(fā)過(guò)程中，應(yīng)該積累了大量的算法相關(guān)經(jīng)驗(yàn)，在優(yōu)化算法速度和性能這方面相對(duì)比較有優(yōu)勢(shì)?！?/p>

“但谷歌之前開發(fā)過(guò)Tango，在這方面應(yīng)該有積累了大量的經(jīng)驗(yàn)，這方面應(yīng)該比較有優(yōu)勢(shì)，針對(duì)數(shù)據(jù)量做算法的優(yōu)化，另一方面，用戶與云端的通信不一定需要傳輸圖像這種非常耗費(fèi)帶寬的資源，可以在本地先進(jìn)行特征提取和描述子計(jì)算，然后只將描述子這種較小的東西上傳到云端進(jìn)行匹配，從而能減少訪問(wèn)服務(wù)器的壓力?！?/p>

用戶數(shù)據(jù)上傳到云端，會(huì)不會(huì)導(dǎo)致數(shù)據(jù)外泄？對(duì)此王強(qiáng)認(rèn)為問(wèn)題不大，“其實(shí)谷歌也意識(shí)到這個(gè)問(wèn)題，對(duì)于數(shù)據(jù)的傳輸、存儲(chǔ)、訪問(wèn)都是有一些限制的。例如谷歌在ARCore文檔中提到，創(chuàng)建cloud anchors中上傳的原始視覺(jué)信息在7天后銷毀，用來(lái)與云端匹配計(jì)算相對(duì)位置的視覺(jué)特征描述子也不會(huì)在云端存儲(chǔ)。