ZEGO即構(gòu)科技：為什么要打造元宇宙智能互動引擎

元宇宙作為當前熱門話題之一，受到了業(yè)界廣泛地關(guān)注，不少企業(yè)紛紛開始依托現(xiàn)有業(yè)務與技術(shù)能力布局元宇宙領(lǐng)域，迎接這個新的風口。本次，我們很榮幸地邀請到了 ZEGO 即構(gòu)科技 解決方案開發(fā)專家 許明龍接受采訪，一起聊一聊 ZEGO 即構(gòu)科技在推進元宇宙建設過程中的策略和布局，以及在元宇宙引擎構(gòu)建和實時互動RTI領(lǐng)域的探索與成果。

許明龍，ZEGO即構(gòu)科技 解決方案開發(fā)專家

主要負責泛娛樂場景下的元宇宙解決方案的開發(fā)和落地，包括 Avatar 虛擬形象以及虛擬場景在各類泛娛樂 App 內(nèi)的集成開發(fā)、性能優(yōu)化、多平臺兼容優(yōu)化支持等。在虛擬世界結(jié)合 RTC 以及虛擬場景環(huán)境音在各個平臺的落地上積累了豐富的經(jīng)驗。

Dialogue with Xu Minglong

LiveVideoStack：許老師好，很高興能邀請您接受采訪。先跟LiveVideoStack的讀者朋友們簡單介紹下自己吧。可以說說目前重點關(guān)注的一些技術(shù)、工作內(nèi)容等等。

許明龍：大家好，我是 ZEGO 即構(gòu)科技的解決方案開發(fā)工程師許明龍。在公司主要負責 RTC SDK 相關(guān)的研發(fā)工作，給公司多家頭部客戶做過解決方案，也針對不同的客戶需求開發(fā)過很多定制方案，涉獵教育、娛樂、游戲、金融等多種場景。參與過虛擬世界相關(guān)能力底層的開發(fā)，客戶對接集成落地經(jīng)驗豐富。目前在開發(fā) Unity 相關(guān)的元宇宙能力、以及小游戲相關(guān)的平臺建設。

LiveVideoStack：當前許多企業(yè)紛紛開始布局元宇宙，但構(gòu)建元宇宙從技術(shù)實現(xiàn)到場景應用是一項極為復雜的工程。在您看來能夠快速入局，迎接元宇宙這個風口的關(guān)鍵路徑和可能在哪里？

許明龍：當下的元宇宙距離人們想象的去中心化、用戶生產(chǎn)并擁有數(shù)字資產(chǎn)以及能夠?qū)崿F(xiàn)跨平臺玩耍的“終極形態(tài)”還有相當長的路要走。受困于硬件、技術(shù)的壁壘，元宇宙初期應用方向?qū)⒁苑沼谄樟_大眾的輕度娛樂為主，而非面向核心玩家的硬核內(nèi)容。所以在元宇宙推進的過程中，不應急功近利，而是將元宇宙拆解，徐徐圖之。

泛娛樂社交玩家能否靠元宇宙突圍，其核心并不在于“元宇宙”三個字對自身的加持如何，而在于是否能搭建出擊中用戶的娛樂化/功能化場景，一個成熟的元宇宙場景，并非簡單地將表現(xiàn)形式由二維切換至三維，光影、場景規(guī)劃乃至聲場的遠近都將時刻影響著場景氛圍。這意味著，企業(yè)無法簡單地套用過去的產(chǎn)品設計方案來搭建場景，而是需要相應的元宇宙引擎來處理涉及技術(shù)底層，細密繁雜的問題，元宇宙引擎就像是工具箱，讓開發(fā)者快速進入核心工作，不必由發(fā)明工具開始從零起步，節(jié)省了寶貴的時間及金錢人力成本。發(fā)掘這樣的“元宇宙引擎”可能就是迎接元宇宙這個風口的關(guān)鍵路徑。

“元宇宙智能互動引擎”

LiveVideoStack：就在前不久，即構(gòu)科技正式對外發(fā)布了“元宇宙智能互動引擎”，能否為我們具體介紹下它是什么？

許明龍：“即構(gòu)元宇宙智能互動引擎”是一站式的元宇宙搭建平臺化服務，即構(gòu)將提供有針對性的產(chǎn)品、工具和服務，滿足企業(yè)不同的搭建需求，幫助企業(yè)低門檻快速打造元宇宙場景玩法。我們會提供豐富的素材庫，同時連接國內(nèi)數(shù)家 top 美術(shù)公司，打造開放的內(nèi)容生態(tài)，滿足開發(fā)者對多元素材內(nèi)容以及高定制的需求。助力開發(fā)者低門檻快速打造元宇宙基礎(chǔ)設施，整合強大的音視頻能力衍生多元玩法，助力企業(yè)快速搭建元宇宙場景。

LiveVideoStack：為什么要打造元宇宙智能互動引擎，有哪些實際價值？

許明龍：即構(gòu)科技打造“元宇宙智能互動引擎”秉持的初衷是要成為其中的技術(shù)實干家，讓更多的行業(yè)先行者更快更簡單地打造元宇宙場景，協(xié)助他們?nèi)ネ诰蛟钪嫖磥聿豢晒懒康膶嶋H價值。

1、ZEGO Avatar 助力與幫助開發(fā)者和個人打造極具個性化的虛擬化身。Avatar，即構(gòu)虛擬人，通過素材、風格的多元化的形象，實現(xiàn)栩栩如生的虛擬人，用戶可以構(gòu)建自己的虛擬形象，企業(yè)可以打造IP類數(shù)字資產(chǎn)，通過強大的AI驅(qū)動能力，僅需一臺千元機即可流暢實現(xiàn)極低延遲表情隨動或肢體隨動。

2、核心產(chǎn)品即構(gòu)虛擬世界，ZEGO Metaworld。提供了豐富且強大的組件庫，包括可交互的桌椅，聊天氣泡，粒子特效，大到虛擬語聊，虛擬換裝，當前的超極屏就是 metaworld 的核心組件之一，通過即構(gòu)的暢直播方案為大家?guī)淼脱舆t的直播體驗。

3、場景化的 RTC 能力。包括低延遲音視頻、直播、3D 音效、范圍語音，在開放世界中提供更加沉浸式的語音視頻體驗。

4、多元化內(nèi)容。即構(gòu)沉淀了大量多元化能力和內(nèi)容，包括自研的白板、屏幕共享、文件分享，以及強大的內(nèi)容生態(tài)：百萬級別的音樂版權(quán)，上千部電影版權(quán)，多種類型的優(yōu)質(zhì)小游戲，通過這些能力和內(nèi)容，可以輕松構(gòu)建不同類型的業(yè)務場景。

LiveVideoStack：即構(gòu)科技這么多年來一直在深耕探索音視頻通信、實時互動，音視頻處理、AI 算法等多方面的技術(shù)與能力。在此次構(gòu)建元宇宙智能互動引擎的過程中，這些積累提供了哪些助力？我們又遇到了哪些難點與挑戰(zhàn)，是如何克服的？

許明龍：元宇宙概念的出圈本身代表著各行業(yè)技術(shù)儲備到了一定規(guī)模，足夠支撐行業(yè)去想象未來的虛擬空間會如何呈現(xiàn)。電子游戲幾十年的發(fā)展摸清了 3D 空間打造、物理交互反饋以及如何帶給人更強的沉浸感。同時線上社交領(lǐng)域的 RTC 技術(shù)足夠支撐更加高質(zhì)量的音視頻傳輸、在實時的場景下去做到接近現(xiàn)實世界的視聽體驗效果。

元宇宙的核心元素可以分為：身份、關(guān)系、沉浸感、低延遲、多元化、經(jīng)濟體系，事實上，其中核心元素和即構(gòu)的愿景“共建更好的實時互動世界“不謀而合。元宇宙的興起，也正好成為了即構(gòu)的一場技術(shù)能力大考。

從 2015 年開始，借著連麥、直播、音視頻通話的能力，切入到實時互動賽道。到 2019 年之后，我們注意到人工智能技術(shù)工程化逐步成熟并在眾多場景中落地開花，語音視頻的前后處理算法和能力也得到了廣度與深度兼具的發(fā)展。與此同時，數(shù)字人、虛擬客服這類內(nèi)容的呈現(xiàn)，包括網(wǎng)友們熟知的二次元歌姬演唱會，多年來仍以離線生產(chǎn)的方式在行進，以實時互動方式實現(xiàn)的案例偏少。能否給用戶帶來更多元化的內(nèi)容和玩法，增強線上的實時互動，多做一些可玩性更強的輸出？即構(gòu)開始投入大量資源和人力，專門研究 AI、音效處理、視覺處理、大規(guī)模線上人機交互和數(shù)據(jù)同步等多種算法和技術(shù)，尋求線上互動的能力突破。2021 年初，元宇宙概念興起，這與我們正在做的事情恰好一致，前期牢固的技術(shù)積累也為我們迅速切入元宇宙賽道提供了極大助力。

實時互動RTI（Real-Time Interaction）

LiveVideoStack：今天，基于互聯(lián)網(wǎng)的線上交流互動，已經(jīng)不僅限于語音視頻這種你一句我一句的對話式通訊體驗。從“線上交流”到“共享時空”已經(jīng)成為當前互聯(lián)網(wǎng)演進升級的方向。我們發(fā)現(xiàn)即構(gòu)強調(diào)的實時互動 RTI，與這個趨勢不謀而合，可以給我們介紹下即構(gòu)實時互動RTI的內(nèi)涵么？

許明龍：隨著能力的拓新與服務的進步，我們意識到即時通訊 RTC 已經(jīng)無法概括所有的線上交流。今天我們提出以實時互動RTI（Real-Time Interaction）來總結(jié)概括 ZEGO 的能力，這并非是對未來的描繪，而是對當下現(xiàn)實的陳述。

10月28日，即構(gòu)科技的 Express SDK3.0 全面上線，基于 RTI，我們發(fā)布了多項能力分別對應智能逼真的畫質(zhì)「Intelligence」、身臨其境的音質(zhì)「Immersion」以及無限互動的玩法「Infinity」，用可靠的技術(shù)實力為 ZEGO 實時互動 RTI 打上了生動的注解。

多人狀態(tài)實時同步&大規(guī)模連麥為元宇宙空間內(nèi)的大規(guī)模用戶互動提供了堅實的基礎(chǔ)，空間音頻能在虛擬空間中還原現(xiàn)實世界的聲音反饋。移動端實時超分借助 AI 算法讓畫質(zhì)高清的同時，能極大地控制傳輸成本。場景化降噪讓突發(fā)性噪聲消弭殆盡，為用戶帶來沉浸式的音質(zhì)體驗……

實時互動RTI（Real-time Interaction）即代表 ZEGO 能力的總和，同時也昭示著未來鉆研的方向：相較于RTC，并非以信息交互為唯一目標，而是通過數(shù)字化的方式，讓人與人共享時空，用可視化服務體系保障更好的互動體驗，在高效準確的基礎(chǔ)之上，滿足精神需求。

技術(shù)與需求在互相牽扯中不斷前進，作為數(shù)字化時代的賣水人，我們將不斷鉆研，力求為所有前行者提供更強大便捷的助力。ZEGO 所期望的，是用實時互動技術(shù)與所有人共建讓工作生活更加輕松有趣的世界。

【相關(guān)釋義補充】：

RTI（Real-Time Interaction）代表一切為實現(xiàn)媲美甚至超越現(xiàn)實的實時互動場景下所需要用到的所有產(chǎn)品和技術(shù)組合，除了核心的 RTC、IM、直播之外，還包括 Avatar、Al 視覺、狀態(tài)同步等等，相較于 RTC 更強調(diào)互動，不以信息的交換為唯一目標，旨在以數(shù)字化方式，創(chuàng)造用戶所需的共享時空，滿足其精神需求，并輔以配套的可視化服務體系保障更好的互動。

LiveVideoStack：對于真正意義上的“元宇宙”，目前我們所能看到的可能只是冰山一角。能否總結(jié)和展望下元宇宙應用或產(chǎn)品當前所面臨的一些困境和挑戰(zhàn)，以及未來的一些可能性？

許明龍：隨著元宇宙產(chǎn)業(yè)走入大眾視野，相應的“承建”需求亦將激增，畢竟元宇宙并非能夠簡單復刻的商業(yè)模式，而是涵蓋眾多前沿技術(shù)的集合。這意味著，工業(yè)化很可能將成為這場科技革命的必經(jīng)階段，而即構(gòu)這類的玩家，正扮演“流水線”的角色，為元宇宙而筑基。

LiveVideoStack：最后，接下來您也會參與今年LiveVideoStackCon 2022北京站大會，能否在這里先劇透下，您會在現(xiàn)場分享哪些精彩內(nèi)容？

許明龍：元宇宙作為當前熱門話題，引發(fā)各廠商紛紛布局，實時互動作為搭建元宇宙場景的底層技術(shù)分支，是不可或缺的關(guān)鍵技術(shù)，如何在短時間內(nèi)高效、迅速的獲取實時互動 RTI 技術(shù)能力，是占領(lǐng)市場的關(guān)鍵動作之一，這次分享我會在現(xiàn)場分享 ZEGO 即構(gòu)科技在實時互動 RTI 領(lǐng)域的最新研發(fā)成果，再結(jié)合具體實踐案例，聊聊包括虛擬人、元宇宙場景狀態(tài)同步、大規(guī)模連麥等熱門技術(shù)。

LiveVideoStack：感謝，期待接下來您在北京站大會現(xiàn)場的精彩分享。

編輯：黃飛

?