平行云與元宇宙有什么新特點(diǎn)

元宇宙是平行于真實(shí)世界的虛擬世界，是新一代互聯(lián)網(wǎng)。具有真三維、可交互、可沉浸特性的XR，是構(gòu)建元宇宙的終極數(shù)字媒體形態(tài)。如何打破XR終端設(shè)備與XR內(nèi)容之間的緊耦合，實(shí)現(xiàn)任意平臺(tái)、任意終端的線上訪問，Cloud XR是其必由之路，從而開啟通往元宇宙的通道。平行云是國際領(lǐng)先的Cloud XR的理念倡導(dǎo)者和技術(shù)先行者，致力于為行業(yè)伙伴和開發(fā)者提供低代碼、開箱即用、高效部署的Cloud XR PaaS平臺(tái)產(chǎn)品。已在全球范圍內(nèi)已吸引近千家企業(yè)用戶，數(shù)萬名獨(dú)立開發(fā)者，產(chǎn)品及解決方案成熟應(yīng)用于教育培訓(xùn)、數(shù)字孿生、醫(yī)療康復(fù)、虛擬直播、數(shù)字人、云活動(dòng)、云游戲等場景。

文/李巖 編輯/LiveVideoStack 今天的內(nèi)容主要圍繞三個(gè)關(guān)鍵詞展開：平行云、元宇宙、通道。“平行云”是我們公司的名字。“元宇宙”是我們今天分論壇的主題。“通道”是平行云在元宇宙這個(gè)行業(yè)里對自身的一個(gè)定位。

接下來我結(jié)合這三個(gè)關(guān)鍵詞，從平行云與元宇宙、音視頻與元宇宙、挑戰(zhàn)與探索、關(guān)于我們公司及案例展示五個(gè)方面簡單做一個(gè)介紹。

-01-

平行云與元宇宙

首先，平行云與元宇宙?！捌叫性啤边@三個(gè)字源自于一句話“平行于真實(shí)世界的云上虛擬世界”。這句話從公司創(chuàng)立之初到現(xiàn)在，是我們一直堅(jiān)持和從未改變過的一個(gè)初心和愿景。

說起平行世界，實(shí)際上我認(rèn)為這個(gè)概念并不新鮮，它應(yīng)該是我們?nèi)祟愖怨乓詠淼囊粋€(gè)追求。無論是我們大家講Metaverse的出處、雪崩，或者山海經(jīng)、古希臘的神話，又或者當(dāng)下的影視題材乃至網(wǎng)絡(luò)游戲，無不在構(gòu)建著一個(gè)與我們世界所平行的一個(gè)虛擬世界。那么所不同的是什么呢？所不同的是構(gòu)成平行世界的數(shù)字媒體的形態(tài)一直在演進(jìn)。

像剛才說的古希臘的神話、山海經(jīng)，都是在有互聯(lián)網(wǎng)、數(shù)字化之前的時(shí)候，象形文字用圖畫來構(gòu)成的。有了互聯(lián)網(wǎng)之后，逐漸地從文字到圖片到音視頻。今天其實(shí)就是一個(gè)音視頻的天下，互聯(lián)網(wǎng)由文字圖片音視頻來構(gòu)成，但是不管是文字圖片還是音視頻都有一個(gè)共同的特點(diǎn)：“他們所構(gòu)建的平行世界，虛擬世界是二維的，信息是單向傳輸?shù)模覀儧]有辦法跟它互動(dòng)，這就導(dǎo)致虛就是虛實(shí)就是實(shí)，虛與實(shí)之間是割裂的，想進(jìn)入一個(gè)虛擬世界實(shí)際上沒有那么容易，就像年輕的時(shí)候讀一本小說，我們可能會(huì)把自己想象成小說中的一個(gè)人物，但是需要可能很強(qiáng)的一個(gè)想象力”。

元宇宙是新一代的互聯(lián)網(wǎng)，元宇宙這個(gè)詞出來之后，大家眾說紛紜，目前還處于一個(gè)盲人摸象的狀態(tài)。行業(yè)不同的從業(yè)者一定會(huì)從自己的角度去描述元宇宙，就好比摸到象腿的說是柱子，摸到象耳朵的是蒲扇一個(gè)道理，但是我們看所列舉出來的新一代互聯(lián)網(wǎng)里邊的這些應(yīng)用，例如社交、辦公、游戲、教育、支付等都不夠新鮮。

那么新的是什么？新的是構(gòu)成互聯(lián)網(wǎng)數(shù)字媒體的形態(tài)，從文字圖片到音視頻走到今天之后，由XR也就是擴(kuò)展現(xiàn)實(shí)所構(gòu)成的互聯(lián)網(wǎng)，這是一種新的形態(tài)。

這個(gè)新的形態(tài)有什么新的特點(diǎn)呢？它是三維的、交互的，借助不同的終端可以實(shí)現(xiàn)不同的沉浸體驗(yàn)，這恰恰跟我們的物理世界就變得一樣了。因?yàn)槲覀兊奈锢硎澜缡侨S的，是身在其中的，是可以去與之互動(dòng)的，這種虛實(shí)等維作為一個(gè)大的前提，我們才可以去帶來所謂的后邊的虛實(shí)相生，虛實(shí)共生。

未來可能虛擬世界和物理世界變得界限非常的模糊，虛實(shí)是交融在一起的，甚至是我們都分不清哪是虛哪是實(shí)，這才是元宇宙的概念。雖然在技術(shù)層面，我們認(rèn)為它就是一個(gè)這樣的數(shù)字媒體的迭代，但是在應(yīng)用層面為什么它會(huì)這么火？我認(rèn)為這是一個(gè)主要的原因。

總結(jié)一下前面講的內(nèi)容，新一代互聯(lián)網(wǎng)就是指現(xiàn)在講的元宇宙，元宇宙是由一個(gè)3D化、去中心化的互聯(lián)網(wǎng)所構(gòu)成的，與我們物理世界所平行的虛擬世界。去中心化的這個(gè)事我們暫時(shí)先不討論，今天重點(diǎn)講3D化。

-02-

音視頻與元宇宙

音視頻是由什么組成的？是由圖片和音頻組成的。那么構(gòu)成平行世界的XR是由什么構(gòu)成的呢？

我們來看這個(gè)圖，這是我截取的幾張去年 UE5.0發(fā)布的demo，古代山谷里邊的兩幅截圖，這個(gè)在游戲界也是非常知名的黑悟空畫面截圖。這些東西其實(shí)都一樣，是由大量的一個(gè)個(gè)三角面片加上紋理所構(gòu)成的。

拿古代山谷的案例來說，一個(gè)雕像底下有超過3,300萬個(gè)三角面，而整個(gè)演示demo包含的三角面數(shù)達(dá)到了數(shù)千億個(gè)，由這些元素組成XR，XR組成整個(gè)平行的虛擬世界。當(dāng)然這個(gè)地方講的XR是一個(gè)狹義的、偏內(nèi)容的，指的是三維的、可交互的，借助不同終端實(shí)現(xiàn)沉浸的內(nèi)容。

那么這就帶來了至少三個(gè)方面的痛點(diǎn)：

1、數(shù)據(jù)量大。從古代山谷的 demo來看，這一個(gè)demo的存儲(chǔ)空間有205GB，數(shù)據(jù)量很大，而且這和大家所熟悉的音視頻不一樣，音視頻可以支持流式的傳輸，可以邊下載邊觀看，但是這205GB的內(nèi)容，如果下載的時(shí)候里邊有幾個(gè)k的動(dòng)態(tài)庫壞了，整個(gè)程序可能都運(yùn)行不起來；

2、運(yùn)行所需算力高。我們剛才一直說，讓這些上億萬個(gè)三角面片運(yùn)行起來所需要的算力是非常高的。從讓這些三角面能夠去實(shí)時(shí)計(jì)算出來的角度來講，它需要的算力非常高。去年剛剛發(fā)布的4090的卡，從傳統(tǒng)的兩槽位變成了三槽位，普通的終端肯定裝不下，只有非常專業(yè)的計(jì)算機(jī)通信工作站可以放得下；

3、數(shù)據(jù)資產(chǎn)的保護(hù)非常困難。越是生產(chǎn)很難的資產(chǎn)越寶貴，像剛才我們見得那么復(fù)雜的三維的數(shù)據(jù)資產(chǎn)，如果被別人下載走了，沒有很好的辦法去保護(hù)，對于整個(gè)生態(tài)的發(fā)展是一個(gè)非常不利的事情。

以上這三個(gè)痛點(diǎn)我們把它總結(jié)一下，看看我們想要什么，以及現(xiàn)在的現(xiàn)狀是什么。

1、我們希望用任意的終端即點(diǎn)即用，降低使用成本，但是目前這種硬件配置的要求很高，使用的成本也很高；

2、我們不希望下載那么多數(shù)據(jù)，希望能像上網(wǎng)一樣點(diǎn)一個(gè)URL鏈接即點(diǎn)即用，但是現(xiàn)在需要預(yù)先下載程序插件數(shù)據(jù)，甚至還要做復(fù)雜的配置；

3、我們希望打開只需要幾秒，不需要做內(nèi)容的下載。而現(xiàn)在即使是變成一個(gè)基于WebGL的這種BS架構(gòu)的模式，實(shí)際上它在后臺(tái)還是需要下載數(shù)據(jù)的，打開時(shí)間很長；

4、我們希望單平臺(tái)開發(fā)跨平臺(tái)使用，而現(xiàn)狀有Windows、Linux、MAC等各種各樣的版本；

5、我們希望是一個(gè)極簡的維護(hù)更新的內(nèi)容升級，但現(xiàn)狀是這種分散式部署維護(hù)更新的成本很高；

6、從數(shù)據(jù)安全方面，我們希望數(shù)據(jù)和用戶是分離的，能夠很好地保護(hù)知識產(chǎn)權(quán)，但是現(xiàn)在內(nèi)容授權(quán)難以控制，知識產(chǎn)權(quán)的保護(hù)無法保障。

這幾個(gè)目標(biāo)和痛點(diǎn)一定是我們要去解決的問題，否則生態(tài)沒有辦法良性地向前推進(jìn)。

一開始去做這件事的時(shí)候，大家端云之爭各種各樣的路線之爭還非常多，有幸的是走到現(xiàn)在，整個(gè)行業(yè)都已經(jīng)認(rèn)可了這句話，就是云所帶來的無限可能。

Cloud XR是XR規(guī)?；瘧?yīng)用的必由之路。我們希望每個(gè)人都能夠進(jìn)入元宇宙，一定要把門檻降低。

為什么Cloud XR可以解決這三個(gè)問題？以上是流程圖，我一直反對把Cloud XR簡稱為streaming，也稱為串流。串流指的是點(diǎn)對點(diǎn)，是解決中間網(wǎng)絡(luò)傳輸?shù)倪^程，但這個(gè)過程遠(yuǎn)不止于網(wǎng)絡(luò)傳輸。

終端發(fā)送一個(gè)交互指令到云端，云端要做的第一步是進(jìn)行算力的分配，下一步進(jìn)行計(jì)算和渲染，對結(jié)果進(jìn)行畫面的采集，采集完成進(jìn)行編碼后傳輸?shù)浇K端，最后再進(jìn)行解碼和一次視頻的渲染顯示。

在這個(gè)過程中，終端只做兩件事情，第一個(gè)是指令的上傳，第二個(gè)是音視頻的解碼和渲染顯示，只要具備能在線觀看高清視頻類似這樣的終端，就可以去訪問原本要求性能非常高的圖形工作站上才可以訪問的XR應(yīng)用。同時(shí)數(shù)據(jù)是不落地的，通過streaming視頻流的方式到終端，用戶看得見摸不著，即使把屏幕的視頻截走，也拿不走任何的數(shù)據(jù)，可以很好地解決前面所列舉的幾個(gè)痛點(diǎn)。

-03-

挑戰(zhàn)與探索

平行云只做一件事，開啟通往元宇宙的通道。

通道一定是連接兩端的東西。一端是由XR所構(gòu)成三維的、可交互的、可沉浸的，與物理世界平行的虛擬世界，各行各業(yè)的伙伴都在去構(gòu)建這個(gè)世界。另外一端是越來越輕便的終端設(shè)備，無論是現(xiàn)在使用最多的手機(jī)、iPad、電腦，還是未來可能會(huì)越來越普及的VR、AR、MR設(shè)備。通道形成之前是沒有的，需要把內(nèi)容下載安裝到設(shè)備上成為一種緊耦合的狀態(tài)，它就不需要通道。

就像音視頻之前是錄在錄像帶上，用DVD機(jī)去播放CD、VCD這樣的方式完成?，F(xiàn)在可以通過網(wǎng)絡(luò)把它實(shí)現(xiàn)一個(gè)解耦。XR要想實(shí)現(xiàn)一個(gè)規(guī)?；膽?yīng)用，也必須實(shí)現(xiàn)這樣的解耦。

平行云實(shí)際上更多側(cè)重于軟件層的產(chǎn)品，下不做算力，上不做應(yīng)用，只做中間層，這是與前面最大的區(qū)別。

我列舉了以下幾點(diǎn)：

1、音視頻傳輸優(yōu)化的挑戰(zhàn)；2、云端算力資源分配的挑戰(zhàn)

3、異構(gòu)終端接入的挑戰(zhàn)；4、開箱即用與二次開發(fā)的挑戰(zhàn)

Cloud XR對于網(wǎng)絡(luò)要求非常高，主要是來源于這幾個(gè)方面：數(shù)據(jù)量很大、實(shí)時(shí)性要求非常高、QoS的保障要求非?？量?。

首先說超大碼率，根據(jù)當(dāng)年白皮書上所列舉的從起步到舒適再到理想狀態(tài)，分別對典型的帶寬要求需要達(dá)到80M、260M，甚至1G到1.5G。這跟我們當(dāng)下音視頻的ITC應(yīng)用碼率是完全不同的。

超低時(shí)延需要讓端到端的時(shí)延至少在起步階段小于70，舒適階段小于50，理想階段小于30，同時(shí)最后要做一次異步、時(shí)間扭曲的計(jì)算，就是所謂的ATW。ATW的計(jì)算會(huì)控制在20毫秒以內(nèi)，計(jì)算的效果取決于前面端到端的實(shí)驗(yàn)，所以這個(gè)是一定能夠達(dá)到的。

超高可靠，如果不可靠就會(huì)造成花屏和卡頓。

上述列舉的這些數(shù)據(jù)實(shí)際上可以說與我們關(guān)系不大。我們是做軟件層面的產(chǎn)品，這些網(wǎng)絡(luò)層屬于基礎(chǔ)設(shè)施，只能夠在目前已有網(wǎng)絡(luò)基礎(chǔ)的條件上，做一點(diǎn)我們力所能及的事情。

其實(shí)這個(gè)行業(yè)內(nèi)大家都在做這方面的研究，我專門關(guān)注了一下LiveVideoStackCon 2021北京站的情況，騰訊的專家分享了“云渲染技術(shù)框架及互動(dòng)新玩法”，其實(shí)大家都一樣，從編碼和傳輸這兩個(gè)角度去做一些優(yōu)化。

行業(yè)里邊做這個(gè)事應(yīng)該說是大同小異，大同的事不多說，簡單講下小異，以下是我們自己做的一些探索。

現(xiàn)在主流的做法是基于網(wǎng)絡(luò)分組，根據(jù)延遲、丟包率等數(shù)據(jù)去做決策控制。這種決策控制是現(xiàn)在用的最多的，但是它充分地考慮網(wǎng)絡(luò)實(shí)時(shí)波動(dòng)，所以把它定義為微觀視角下的決策控制框架。這種控制框架的好處是可以對網(wǎng)絡(luò)變化有實(shí)時(shí)的反饋。在網(wǎng)絡(luò)條件好的情況下，效果是不錯(cuò)的，但是在弱網(wǎng)條件下，決策控制往往是滯后的，沒有辦法更好地帶來用戶體驗(yàn)。

在這個(gè)基礎(chǔ)之上，我們提出了一個(gè)微宏觀兼顧的角色控制框架。不只是考慮網(wǎng)絡(luò)的微觀、宏觀的情況，還要考慮應(yīng)用層、用戶反饋層。這樣可以把整個(gè)角色控制，讓它更加靈活，更加科學(xué)。最終的目標(biāo)是一樣的，我們是為了在現(xiàn)有的網(wǎng)絡(luò)條件下，特別是像WiFi這種弱網(wǎng)的網(wǎng)絡(luò)條件下，能夠帶來更好的用戶體驗(yàn)。

2、云端算力資源分配的挑戰(zhàn)

一是GPU圖形加速計(jì)算資源池化解決方案。二是中心加邊緣的算力資源調(diào)度。

對GPU熟悉的人可能會(huì)清楚，GPU的虛擬化確實(shí)做得還不夠成熟?，F(xiàn)在的虛擬化方案要么用虛擬化，要么用直通，即把一個(gè)vGPU或者物理GPU掛在一個(gè)虛擬機(jī)上，這種做法的好處是可以嚴(yán)格的隔離，壞處是它的資源使用和調(diào)度不是特別靈活。

一個(gè)vGPU或者GPU只能給一個(gè)用戶使用。就像剛才提到對于某一款游戲，在它的算力占用已知的情況下，它是完全可以滿足的。但是在做多樣內(nèi)容平臺(tái)的情況下，不同用戶訪問不同內(nèi)容，對于這樣算力的需求有非常大的彈性變化，這種模式是不太合理的。

在我們的產(chǎn)品里邊， Athena做 GPU池化的方案，在業(yè)內(nèi)大家對池化有不同的做法，比較統(tǒng)一的都是進(jìn)程的隔離和資源的限制，以及API層面的攔截和封裝。既然是對API層進(jìn)行攔截，那么它做的事一定是有限的。

上面講圖形加速計(jì)算的池化，我們只攔截Direct X Open GL這樣的圖形接口。如果是做HPC，大家用得更多的可能是Cuda。在這個(gè)情況下，沒有虛擬化這一層，就類似于Docker和VM之間的區(qū)別，所有上層的APP直接運(yùn)行在整個(gè)的OS上面，通過進(jìn)程間的隔離來實(shí)現(xiàn)多用戶共享，從而去實(shí)現(xiàn)一個(gè)超細(xì)粒度的、動(dòng)態(tài)的資源調(diào)度與分配。

中心加邊緣的算力資源調(diào)度，雖然我們控制不了網(wǎng)絡(luò)，但可以盡可能給用戶提供更好的條件，讓用戶離算力更近一點(diǎn)。算力建好之后，關(guān)于用的時(shí)候如何去分配調(diào)度，這里邊有一套復(fù)雜的結(jié)構(gòu)。比如說需要考慮組別、區(qū)域、距離、并發(fā)數(shù)、每個(gè)節(jié)點(diǎn)的資源占用數(shù)等，基于這樣的一個(gè)分配算法，最終讓用戶得到自己最佳的一個(gè)節(jié)點(diǎn)。

前不久和天貓聯(lián)合做了一個(gè)全國性的活動(dòng)，全國做了幾個(gè)節(jié)點(diǎn)，同時(shí)這些節(jié)點(diǎn)還做了不同的分組，分組里邊有VIP用戶和普通用戶，普通用戶沒有節(jié)點(diǎn)需要等待，VIP用戶可以隨時(shí)訪問。

3、異構(gòu)終端接入

雖然理想狀態(tài)是希望可穿戴設(shè)施的設(shè)備越來越多，但是不可避免手機(jī)一類的平面設(shè)備用的還是最多的，同樣都是從云端Streaming下來，但它是不一樣的，這些手機(jī)、iPad、電腦都是由平面三維從云端指來一路視頻流。而像VR這樣的設(shè)備，需要從云端指來兩路視頻流，而且左右眼還是不一樣的。

AR除了這兩路視頻流之外，還需要跟物理世界去疊加。如何讓異構(gòu)的應(yīng)用和終端能夠在一個(gè)平臺(tái)上統(tǒng)一使用，需要把底層的Runtime打通，實(shí)現(xiàn)它的接入。

4、開箱即用與二次開發(fā)的挑戰(zhàn)

市面上有很多和我們類似的公司，平行云是最早的一家，也是唯一公認(rèn)的把Could XR能力產(chǎn)品化的公司，我們不做任何的定制，不做任何能力的輸出。

進(jìn)入平行云官網(wǎng)，只需要注冊一下就可以去下載開箱即用的產(chǎn)品。但是不同行業(yè)里又有不同的需求，如何去滿足這些不同的需求，需要我們提供大量的靈活的二次開發(fā)的能力，讓大家在標(biāo)準(zhǔn)化的產(chǎn)品之上，結(jié)合自己行業(yè)的需求，結(jié)合自己行業(yè)的Know-how，自己去做二次開發(fā)和使用。

5、關(guān)于我們

簡單介紹一下，平行云是國內(nèi)第一家將實(shí)時(shí)云渲染解決方案產(chǎn)品化的公司。LarkXR現(xiàn)在是行業(yè)里使用率最高的通用型解決方案。行業(yè)里各個(gè)應(yīng)用的一些頭部企業(yè)，都是基于我們的產(chǎn)品在做行業(yè)內(nèi)的開發(fā)。

目前我們已經(jīng)吸引了上萬名的開發(fā)者和數(shù)百家企業(yè)級的行業(yè)伙伴的使用。在行業(yè)內(nèi)像NVIDIA、AWS、阿里云等巨頭，都是我們在這個(gè)領(lǐng)域唯一的合作伙伴。

目前平行云已經(jīng)開始了全球化的進(jìn)程。海外的開發(fā)者越來越多，之前沒有去做刻意的拓展，我們發(fā)現(xiàn)靠自然流量都有越來越多的人使用，所以我們打算從今年起努力做一些海外業(yè)務(wù)。

這張圖是上個(gè)月抓取的用戶授權(quán)數(shù)據(jù)。從圖中可以看到在全球的七大洲里面，除了南極洲沒有訪問者，其他洲都有，這也是為什么我們在努力把自己的產(chǎn)品推向海外的原因。其一海外的客戶有需求，其二我們的產(chǎn)品在海外有競爭力。

6、案例展示

天貓購物節(jié)是把整套東西通過手機(jī)淘寶APP進(jìn)入，對于流量把控非?？量蹋诜逯档臅r(shí)候要做到兩三萬，在波谷的時(shí)候可能只有幾百個(gè)并發(fā)。做到非常有彈性的伸縮，只要通過手機(jī)淘寶搜索所有的關(guān)鍵詞就可以馬上進(jìn)入。

三星和喜力啤酒聯(lián)合元宇宙跨年演唱會(huì)

借著這個(gè)案例來簡單分享下平行云產(chǎn)品。

平行云主打的功能特色是最底層的云渲染能力，再逐漸地針對各個(gè)行業(yè)做一些行業(yè)適用的功能組件。再往上講是云原生的開發(fā)框架。云原生框架是端云結(jié)合的，如剛才所講有一些業(yè)務(wù)流程需要在手機(jī)淘寶上操作，涉及的圖片音視頻，甚至是一些觸摸性的渲染都是在web上實(shí)現(xiàn)的。這些高精模型的渲染主要是放在云端上，基于云原生框架去實(shí)現(xiàn)二者打通。

之前講的都是泛消費(fèi)娛樂級元宇宙的應(yīng)用，這是ToB的數(shù)字孿生領(lǐng)域當(dāng)中的一個(gè)應(yīng)用。這家合作伙伴基本上在國內(nèi)的機(jī)場信息化占百分之七八十的市場份額。

目前所有的數(shù)字孿生系統(tǒng)要想把它使用起來，避免成為一個(gè)只做大屏展示的一個(gè)產(chǎn)品，就必須讓它擺脫終端的限制，真正發(fā)揮作用。

最后希望借助平行云的一些產(chǎn)品和能力，去幫助大家早日遇到平行世界的自己！
責(zé)任編輯：彭菁