VIVE WAVE開(kāi)發(fā)平臺(tái)究竟如何？

2019年5月12日，Unity在上海舉行了Unite Shanghai 2019，會(huì)上Unity大中華區(qū)商務(wù)經(jīng)理肖蓓蓓女士與HTC VIVEPORT中國(guó)區(qū)負(fù)責(zé)人謝禮安共同宣布Unity與HTC達(dá)成VIVEPORT VR內(nèi)容分發(fā)平臺(tái)合作。

謝禮安表示，“從去年開(kāi)始，HTC便開(kāi)始與愛(ài)奇藝、創(chuàng)維、大朋等一體機(jī)達(dá)成VIVEPORT平臺(tái)合作。截止目前，VIVEPORT平臺(tái)用戶基數(shù)已有三到四倍的增長(zhǎng)，所以我們希望有更多的開(kāi)發(fā)者往VR方向發(fā)展，此次與Unity合作，就是給未來(lái)開(kāi)發(fā)提供更好的工具，降低分發(fā)困難和時(shí)間成本?！?/p>

在隨后的時(shí)間，Vive中國(guó)區(qū)開(kāi)發(fā)者關(guān)系及內(nèi)容團(tuán)隊(duì)負(fù)責(zé)人袁東為我們講述了以及Vive平臺(tái)的最新技術(shù)以及ViveSDK的沉浸式SDK的具體功能。

以下為演講內(nèi)容整理：

“今天，我想跟大家分享的是Vive的SDK，HTC在全世界能夠制作出世界上最驚艷VR的設(shè)備，同樣我們想把最先進(jìn)的VR技術(shù)帶給開(kāi)發(fā)者，讓開(kāi)發(fā)者能制作出更驚艷的內(nèi)容。在現(xiàn)在社會(huì)中，產(chǎn)品的體驗(yàn)是勝于產(chǎn)品的本身的，為了能有更多沉浸的體驗(yàn)，以下我將給大家介紹Vive SDK的沉浸四大功能?！?/p>

音效

提起VR，大家的第一感受是視覺(jué)，其次便是音效體驗(yàn)。Vive提供的3DSP技術(shù)能夠幫助開(kāi)發(fā)者更好的去渲染音效，特別提供高精度的聲音模擬，傳統(tǒng)的錄制過(guò)程中會(huì)使有兩個(gè)麥克風(fēng)來(lái)錄制自然界的聲音，但將這運(yùn)用到VR中是遠(yuǎn)遠(yuǎn)不夠的。

其中影響人類聽(tīng)覺(jué)的因素有非常多，除了距離這一因素，其實(shí)人的耳廓、耳道，甚至你的衣服的材質(zhì)都會(huì)影響你聲音的體驗(yàn)，所以我們提供比較高精度的，讓大家在錄制中能夠更有觀感體驗(yàn)。

Hi-Res 3D是耳機(jī)中高保真度的評(píng)判標(biāo)準(zhǔn)之一，而我們提供的SDK便采用第三階的Hi-Res。我們以每五度是一個(gè)度量單位，并且提供方向設(shè)定，同時(shí)我們也提供了3D Audio中有物理疊加的體驗(yàn)，以及聲音衰減等。

例如在虛擬環(huán)境中，雙方隔著一堵墻，那么我們可以通過(guò)3D Audio模擬出隔絕，聲音阻隔的效果。

混合現(xiàn)實(shí)

下面重點(diǎn)介紹一下XR Engine，這個(gè)工具是對(duì)虛擬和現(xiàn)實(shí)世界的感知和理解體現(xiàn)。這個(gè)演示的RD，能夠很好的展示我們現(xiàn)階段XR達(dá)到的成績(jī)，通過(guò)HTC Vive Pro的攝像頭，能讓用戶在虛擬現(xiàn)實(shí)中看到現(xiàn)實(shí)的場(chǎng)景。

RD展示的效果便是在XR狀態(tài)下，在現(xiàn)實(shí)世界中打開(kāi)了一個(gè)隧道，而這一連接虛擬世界和現(xiàn)實(shí)的隧道，可以讓你在這兩個(gè)世界來(lái)回的走動(dòng)，而且可以把一個(gè)物體從一個(gè)世界扔到另一個(gè)世界，這個(gè)過(guò)程還有碰撞的反饋，是不是很像哆啦A夢(mèng)的夢(mèng)幻體驗(yàn)？

如果開(kāi)發(fā)者有一臺(tái)Grght Eye和Left Eye的話，那么開(kāi)發(fā)者可以嘗試使用我們提供SEE-Through功能進(jìn)行開(kāi)發(fā)，這是一個(gè)很有趣的過(guò)程。

值得一提的是，用戶在使用SEE-Through功能跟真實(shí)世界中交互體驗(yàn)時(shí)，我們可以獲取用戶的場(chǎng)景深度信息，這可以輔助開(kāi)發(fā)者做出非常有意思的Demo。

而這一過(guò)程所需的便是3D Reconstruction，它能把現(xiàn)實(shí)的場(chǎng)景在虛擬中重現(xiàn)，從而重塑一個(gè)交互場(chǎng)景。

SRWorks SDK，它的功能就是感知現(xiàn)實(shí)世界。我們?cè)谧鯯rworksSDK的時(shí)候，主要的方向是為開(kāi)發(fā)者提供更高精度的Mesh。所以我們提供的Mesh是通用的OPG文件，開(kāi)發(fā)者首先做了可以生成OPJ的文件，再將這個(gè)打到具體的項(xiàng)目中，這時(shí)，開(kāi)發(fā)者就能發(fā)現(xiàn)它有許多非常優(yōu)秀的屬性可以幫助你進(jìn)行開(kāi)發(fā)。

當(dāng)你在使用設(shè)備掃描場(chǎng)景時(shí)，就SrworksSDK會(huì)讀取物品的形狀。而你只要根據(jù)這些信息，去設(shè)計(jì)有趣的內(nèi)容就行了。也就是說(shuō)我們可以實(shí)時(shí)的掃出整個(gè)世界，每一楨的疊加，可以真實(shí)的和世界做互動(dòng)，這樣你就可以實(shí)時(shí)的做一些反饋，這個(gè)非常有意思。

要做到實(shí)時(shí)反饋，便需要AI.Vision，它是你的AI認(rèn)知工具。我們可以通過(guò)學(xué)習(xí)，將攝像頭前面的物體進(jìn)行感知識(shí)別。2D的方面它能識(shí)別9類的物體，舉例說(shuō)明，當(dāng)你在VR中玩《Beat Saber》的時(shí)候，有人走到你面前，這時(shí)Vision就會(huì)有提醒的在畫面中給予提醒，以此避免發(fā)生一些危險(xiǎn)的事情。

交互

我相信大家很多人，在第一次體驗(yàn)VR的內(nèi)容中，可能第一個(gè)內(nèi)容可能是深海奇遇，當(dāng)你站再一個(gè)沉浸甲板的時(shí)候，你可能看到海底混沌海水的時(shí)候，你第一個(gè)反應(yīng)是伸出雙手感知世界，這是人跟世界最自然的一種接觸，就是通過(guò)雙手。

我們北京的研究團(tuán)隊(duì)一直致力于這種交互的研究，這一交互系統(tǒng)，可以在MR環(huán)境下提供最基本的左手跟右手的識(shí)別，我們?cè)谝换A(chǔ)上定義了五種手勢(shì)，未來(lái)也會(huì)有更多的手勢(shì)可以識(shí)別出來(lái)。此外它能夠提供手的骨骼信息（2D、3D），大約有21個(gè)點(diǎn)。

這是我們一個(gè)工程師在演示Demo，他的雙手被識(shí)別出來(lái)，而且每個(gè)手的關(guān)節(jié)，21個(gè)點(diǎn)清晰的識(shí)別出來(lái)，而且是實(shí)時(shí)的。我們單個(gè)攝像頭提供3D信息，是有一點(diǎn)困難，所以暫時(shí)使用Vive，是不支持3D的信息捕捉。此外，移動(dòng)設(shè)備VIVE FOCUS，因?yàn)橐惑w機(jī)算力的受限，目前也沒(méi)法達(dá)到這一效果，但在未來(lái)，我們也會(huì)提供勢(shì)骨骼捕捉支持。

我們的SDK支持最流行的Native Library、Java AAR Plugin等，這些工具都可以開(kāi)發(fā)出內(nèi)容。我們有一個(gè)應(yīng)用叫VivePaper，通過(guò)這個(gè)應(yīng)用可以利用手勢(shì)，用最自然的方式讀你想要看的雜志和書(shū)籍。

為了讓開(kāi)發(fā)者更加清楚的了解用戶的行為，我們?cè)O(shè)計(jì)了SRAnipal工具。這是Eye tracking（眼球追蹤技術(shù)），這個(gè)技術(shù)可以能追蹤開(kāi)發(fā)者眼球注視的點(diǎn)。這時(shí)，我們可以通過(guò)SRAnipal來(lái)清楚的了解到用戶在內(nèi)容體驗(yàn)的整個(gè)過(guò)程中所關(guān)注的點(diǎn)。

此外我們支持Lip tracking（嘴唇捕捉），通過(guò)外置設(shè)備我們可以通過(guò)嘴唇來(lái)識(shí)別出不同的表情。同時(shí)還有Movement tracking（運(yùn)動(dòng)追蹤）和shape tracking（形狀捕捉），我相信聽(tīng)到這里在座的人應(yīng)該會(huì)很開(kāi)心，因?yàn)槲覀冋诔?a target="_blank">黑客帝國(guó)》的方向發(fā)展。

SRanipal，我們想感知用戶的表達(dá)，還有預(yù)測(cè)他，現(xiàn)在我們能夠提供的是Movement tracking和shape tracking，我相信在座的人應(yīng)該很開(kāi)心，像《黑客帝國(guó)》，我們朝著這個(gè)一步一步做。未來(lái)會(huì)我們還會(huì)識(shí)別出更多的自然界的形態(tài)，包括光照。例如開(kāi)燈、關(guān)燈，光照燈源的方向等，將環(huán)境中的信息，反饋到XR中。

WAVE平臺(tái)

下面我向大家介紹ViveWAVE平臺(tái)，現(xiàn)在市面有400個(gè)不同的平臺(tái)和不同種類的VR設(shè)備。對(duì)于開(kāi)發(fā)者來(lái)講，這么多的設(shè)備，他們就會(huì)有很多的抱怨，相信不少開(kāi)發(fā)者都有做內(nèi)容Porting（移植）的煩惱，尤其做安卓的開(kāi)發(fā)者。因?yàn)闃I(yè)界缺乏這樣的標(biāo)準(zhǔn)，所以我們的WAVE平臺(tái)很希望能成為像Unity一樣的多平臺(tái)支持，可以不用很多的優(yōu)化，你只需要關(guān)注的就是把你的精力用在創(chuàng)造更加驚艷的內(nèi)容上，這是我們的愿望和夢(mèng)想。

這是WAVE的Scope，如果你是第三方的兼容硬件的開(kāi)發(fā)者，你可以用DEVICE MAKER，做開(kāi)發(fā)。這個(gè)是WAVE的DIAGRAM，它是一個(gè)Base在安卓的平臺(tái)上，但是是可以安裝的平臺(tái)，只要你是符合我們標(biāo)準(zhǔn)的安卓的設(shè)備，就可以安裝WAVE。

值得一提的是，WAVE的Main Features是高階的開(kāi)發(fā)工具。使用Single pass rendering 以后，能夠?qū)崿F(xiàn)雙眼的楨級(jí)渲染。畫面的渲染會(huì)以用戶的注視點(diǎn)來(lái)進(jìn)行取舍，以高分辨率去渲染關(guān)注點(diǎn)，而用戶沒(méi)有關(guān)注到的畫面會(huì)以一個(gè)比較低的分辨率來(lái)進(jìn)行渲染。

通過(guò)以上所述的SDK和VIVEPORT兩種方式，可以幫助用戶生成最后的content，且這一結(jié)果不會(huì)受到盜版的影響。

我的分享就到這里，非常感謝大家對(duì)Vive還有VIVEPORT的支持，在此也呼吁大家通過(guò)developer.vive.com去下載我們的開(kāi)發(fā)平臺(tái)。到時(shí)，我們都會(huì)有專家的解答和及時(shí)的解答。