疫情之下，云計算及音視頻通信云助力眾多垂直場景落地

在全球疫情的今天，大量線上服務短時間內(nèi)誕生或極速擴張。身處在云計算的時代，如何用遠超以往的基礎音視頻云服務快速構建海量穩(wěn)定的在線應用，以應對一場全人類的危機就顯得尤為重要。本次LiveVideoStackCon 2020線上峰會我們邀請到了騰訊云音視頻通信業(yè)務總經(jīng)理李郁韜，他將從視頻會議、在線教育和在線娛樂等典型場景來看音視頻技術推動下的產(chǎn)品創(chuàng)新和機遇。

1. 疫情之下，云計算及音視頻通信云助力眾多垂直場景落地

疫情之下，各行各業(yè)都發(fā)生了巨大的變化，其核心本質在于社會活動從線下變成了線上，根據(jù)市場調研報告來看，線上應用的用戶規(guī)模增長最多的行業(yè)是效率辦公，其次是短視頻、在線教育、娛樂應用等。同時，這些應用的用戶在線時長也呈現(xiàn)出井噴狀，由于復工復課的需求，在線教育迎來了較大的需求增長。

從音視頻行業(yè)的整體產(chǎn)業(yè)鏈來看，隨著疫情的發(fā)展，越來越多的線上應用將音視頻作為常態(tài)工具或標準配置。 大家較為熟知的互聯(lián)網(wǎng)應用領域在疫情期間迎來比較正常的用戶增長。由于復課的需要，各大在線教育相關應用都迎來了用戶和在線時長的爆發(fā)式增長，同時還有很多垂直行業(yè)由于各種壓力，開始在各種平臺進行電商帶貨。企業(yè)無法進行線下宣傳活動，也紛紛搬到線上進行，因此企業(yè)直播也迎來了很大的發(fā)展機遇，包括金融機構的在線培訓等。 這些行業(yè)的發(fā)展和應用的催熟，都需要依賴底層基礎設施的成熟，利用云計算、音視頻通訊等技術，更多垂直行業(yè)才能快速將線下內(nèi)容轉移到線上進行，以適應在新的危機之下發(fā)現(xiàn)新的發(fā)展之路。 下面我將分別從不同的場景分享一些應用和技術的發(fā)展趨勢。 2. 停課不停學，在線教育迎來新機遇

疫情期間，在停課不停學的政策指導下，在線教育成為了教學的唯一手段。 2.1 騰訊課堂一周上線極速版

在疫情發(fā)展最初的一周內(nèi)，根據(jù)用戶迫切的需求，騰訊課堂臨危受命，快速上線極速版。其核心能力是基于音視頻的實時通訊以及大房間直播的應用。在上線的過程中，我們發(fā)現(xiàn)很多音視頻領域的新能力得到了廣泛應用，例如騰訊云的超低延時直播—— 快直播產(chǎn)品，它可以幫助騰訊課堂在短時間內(nèi)極速擴容，以支持百萬級師生同時在線的低延時課堂需求。 2.2 超低延時直播技術發(fā)展

對于直播延時技術，直播延時需要越來越短已經(jīng)達成共識，觀眾和主播端可以有越來越多交互的可能性。 海外的一些廠商會主推HLS、CMAF等技術，其本質都是基于HTTP編碼快，傳輸切片更小，一般延時在2-3秒左右；國內(nèi)最初的直播技術棧始于RTMP/FLV，目前RTMP/FLV成為了一個標準，其機制是通過流式傳輸，再通過協(xié)議棧不斷優(yōu)化，目前的延時在1-2秒左右。 HLS、CMAF、RTMP/FLV這三種技術都存在自身天花板的局限，縱觀業(yè)界另一個領域：實時音視頻領域，WebRTC的延時可以做到很低，但其不足的是直播房間人數(shù)會受到限制。 騰訊云利用WebRTC技術推出的快直播應用，可以將直播延時降低到1秒以內(nèi)，目前在其他一些產(chǎn)品上也實現(xiàn)了超低延時的需求。 未來隨著直播技術的發(fā)展，將會出現(xiàn)越來越多低延時交互場景的需求，WebRTC有可能成為新一代低延時直播的標準。 2.3 停課不停學，站在“云”的肩膀上

從技術的發(fā)展來看，上圖中最下方的標準直播，從推流的接入-轉碼-中間處理-CDN分發(fā)，整體延時在3-10秒，這套標準直播流程是目前主流的直播技術。 騰訊云通過WebRTC的代理實現(xiàn)了快直播應用，其本質是將直播的后半段用WebRTC協(xié)議和JitterBuffer的特性替換RTMP/FLV等推拉流的方式，這樣做的優(yōu)點在于可以支持H5播放器，支持低延時準實時音視頻的應用，同時提供WebRTC的SDK可以集成在觀眾端的APP上，以實現(xiàn)與WebRTC瀏覽器同樣的體驗效果。 圖中最上層是基于RTC架構，存在一定人數(shù)上限的低延時大型直播的技術方案，在強互動場景得到了廣泛的應用。 以上三種方案未來可以根據(jù)不同的需求選擇對應的解決方案。 2.4 騰訊課堂“極速版”效果

騰訊課堂“極速版”應用到快直播架構，受到很多學生和老師的喜愛，作為主推線路使用。據(jù)反饋，騰訊課堂在使用過程中的平均延時在500毫秒左右，因此在疫情期間，快直播用量得到了百倍增長，產(chǎn)品依賴智能選路的調度系統(tǒng)，實現(xiàn)了高穩(wěn)定性和高容災能力的低延時直播系統(tǒng)需求。 3.在線協(xié)同，將改變企業(yè)工作方式

在疫情期間，視頻會議得到了很大的發(fā)展，傳統(tǒng)的視頻會議已經(jīng)滿足不了廣大用戶的接入需求，有很多基于互聯(lián)網(wǎng)應用的新型輕量級的視頻會議紛紛出現(xiàn)并迎來很大用戶增長。 3.1 騰訊會議高速發(fā)展的背后

騰訊會議產(chǎn)品推出兩個月的時間，日活賬戶數(shù)量過千萬，為了抗擊疫情，騰訊會議面向全國免費提供300方會議能力，作為底層支撐平臺，騰訊云不斷地進行擴容和技術支持，滿足了疫情期間對于視頻辦公的需求。 正是基于騰訊云多年在音視頻技術方面的積累，才能在短時間內(nèi)推出這款高品質產(chǎn)品。目前騰訊會議的國際版—VooV Meeting已經(jīng)在全球100多個國家和地區(qū)上線，架起了中國企業(yè)與外國企業(yè)之間溝通的橋梁。 3.2 騰訊會議針對視頻和音頻的優(yōu)化

對于騰訊會議隱藏的底層技術優(yōu)化，在很多音頻、視頻的處理方面都優(yōu)化到了極致。 3.2.1 音頻領域的超分-帶寬擴展

音頻是視頻會議最重要的組成，也是最核心優(yōu)化的點，相比于PSTN的音質，騰訊會議無論從音質或是去噪部分，都應用了黑科技元素，這使得騰訊會議的音頻質量有很大的提升。同時，騰訊云將算法壓縮到最小，以便在客戶端完成部署。 3.2.2 降噪語音增強

在降噪方面，針對不同場景進行不同噪聲消除，同時結合了深度學習算法和傳統(tǒng)信號處理的算法，將PESQ提升0.3-0.5，STOI提升0.1-0.2，在特定場景下降噪能力得到了很大的提升。 3.3 超強網(wǎng)絡適應能力及流控

關于視頻會議下的弱網(wǎng)問題，除了傳統(tǒng)處理方式之外，騰訊會議還對音頻進行了更多的優(yōu)化，使用帶內(nèi)FEC+PLC的丟包恢復技術，在弱網(wǎng)情況下，音頻部分得到了較大提升，在視頻卡頓的情況下可以做到在音頻丟包80%的情況下，語音依然自然流暢。同時應用SVC技術，視頻端質量可以適配不同網(wǎng)絡的終端，讓不同能力的終端可以享受到能力上限的體驗感受。 3.3.1 配套的質量監(jiān)控有助于產(chǎn)品質量快速提升

除了局部技術的優(yōu)化之外，騰訊會議還有很多配套的質量監(jiān)控手段，端到端的全鏈路監(jiān)控運營工具可以幫助用戶在平常處理較常見的異常情況，通過異常反饋不斷優(yōu)化接入點或調度的能力，快速提升產(chǎn)品質量。 3.3.2 微信小程序，讓會議足夠輕

微信小程序是騰訊會議較為亮點的入口工具，騰訊會議的傳播和入口體驗都較為加分，目前在微信小程序中可以使用live-pusher或live-player標簽調用RTC的mod，即可在微信小程序中實現(xiàn)準RTC服務，騰訊會議同樣應用了該能力，通過小程序讓用戶更方便的接入。除此以外，小程序因為混流性能原因無法實現(xiàn)本地更多方的音頻和視頻的接入，騰訊會議通過云端MCU和混音引擎把音頻與視頻在云端進行混合處理再推送到小程序，使得性能與網(wǎng)絡帶寬都得到很大提升，從而保證小程序入會體驗達到普通終端要求。 3.3.3 騰訊云實時音視頻通信

騰訊云實時音視頻通信產(chǎn)品在疫情期間得到了很大發(fā)展，例如騰訊會議，在一周內(nèi)完成緊急擴容100萬核的巨量擴容體系，最高峰突破1000萬PCU，日通話分鐘數(shù)突破30億。 3.4 視頻制作在線化，足不出戶協(xié)同創(chuàng)作

疫情期間有很多視頻創(chuàng)作者以及直播工作者無法正常線下辦公，由于騰訊云豐厚的前期技術積累，這些技術在騰訊云的云導播臺、云剪輯等都得到了很廣泛的應用。 3.4.1 騰訊云導播解決演播在線協(xié)同

由于復課需求，很多在線教育機構需要將優(yōu)質課程資源分發(fā)給各大視頻平臺，通過騰訊云導播項目可以解決優(yōu)質資源快速分發(fā)等問題?？梢栽谠茖Рテ脚_實現(xiàn)音視頻軌道的切換、特效疊加等效果，未來也會向智能化和多人協(xié)同的方向發(fā)展。

除此之外，騰訊云還推出了云剪服務，在疫情期間這項服務也得到廣泛應用，可實現(xiàn)輕量化的Web在線編輯，可以實現(xiàn)較為初級的處理能力，未來也會增加更加智能化和多人協(xié)作能力。 3.4.2 騰訊云剪解決方案在線視頻制作的智能化和協(xié)作需求

騰訊云剪目前已經(jīng)在和很多公司合作，例如云剪支持SaaS的“一鍵換皮”，一些客戶希望可以完整部署云剪的SaaS產(chǎn)品在自己的專有云上，可以使用”一鍵換皮”的方式更換logo、顏色、風格模板等。 另外云剪也支持公有云Paas方案，目前與虎牙的合作，提供了內(nèi)嵌的騰訊云剪編輯器到虎牙主播助手中，支持主播在直播結束后可以快速編輯視頻進一步分發(fā)。 4. 直播帶貨正當時

由于疫情的原因，越來越多的網(wǎng)紅大V開始接觸直播帶貨，同時越來越多的線下電商平臺以及微信內(nèi)小型電商平臺都開始將直播作為基礎功能，搬進其應用中。 4.1 騰訊云直播帶貨產(chǎn)品框架圖

騰訊提供的小程序云直播插件在疫情期間得到了非常廣泛的應用，可以支持目前微信生態(tài)中很多電商的小程序，可以使用小程序插件的方式集成直播功能，進一步結合IM能力，即可快速構建小程序直播應用，實現(xiàn)完整的電商帶貨能力。 4.2 騰訊云小程序直播插件在電商場景的應用

直播帶貨場景在小程序的實現(xiàn)背后有很多的技術綁定：

場景化的定制方案：將騰訊云的IM產(chǎn)品和直播、線上點贊、優(yōu)惠券推送等功能集成在一起，實現(xiàn)完整的場景定制方案。

支持多平臺直播互通：不僅在微信小程序內(nèi)可以打開和關閉直播觀看，同樣也可以與APP進行互通，因此，很多電商平臺就可以輕松構建APP+小程序的一體化電商直播。

基于微信生態(tài)高效傳播與轉化：很多電商應用通過群組和朋友圈的社交裂變，可以很便捷的實現(xiàn)小程序直播的快速傳播。

4.3 騰訊視頻云小程序直播插件

據(jù)統(tǒng)計，小程序電商直播方案相較于普通APP，可以帶來2倍以上的轉化率提升，用戶的流量和使用頻率都更大，活躍用戶次日留存率提升將近35%，在小程序中以輕量化方式構建直播帶貨，下單速度可以提升將近2.28倍。 5. 沉浸式多媒體技術

沉浸式多媒體技術在疫情期間迎來了在線營銷的新機遇，疫情期間無法實現(xiàn)車、房等大件的線下購物，因此騰訊云利用沉浸式多媒體技術將其搬到了線上。 5.1 線上沉浸式營銷新場景

如上圖是沉浸式全景空間體驗結合營銷場景的介紹，在展會中基于點云技術之上的沉浸式多媒體的應用，再結合線上文字和視頻解說，可以給用戶帶來身臨其境的觀展體驗。另外，可以通過音視頻在線通訊能力，實現(xiàn)真人客服講解。 與騰訊云合作的貝殼如視，在疫情期間實現(xiàn)云代看應用，其用戶轉化率和使用時長比傳統(tǒng)圖文介紹效率高很多。 線上汽車銷售場景，全景車內(nèi)和3D外觀演示，再疊加圖文介紹和實時音視頻通信，實現(xiàn)真人在線銷售。 5.2沉浸式媒體解決方案的關鍵技術

關于沉浸式媒體解決方案的關鍵技術介紹是必不可少的，在采集端，目前點云數(shù)據(jù)的采集仍依賴于傳統(tǒng)相機的采集，越來越多的手機、ipad也開始支持點云的拍攝和采集。后臺處理涉及空間建模的拼接、空間深度推算、物體三維建模等專業(yè)的沉浸式多媒體算法內(nèi)容。 基于騰訊云強大的音視頻及通訊能力，快速接入沉浸式代看、沉浸式客服坐席、沉浸式視頻講解、沉浸式實時通訊等營銷能力，可以快速實現(xiàn)相應功能。 5.3沉浸式媒體解決方案主要解決的技術問題

騰訊云和騰訊多媒體實驗室也做了很多技術儲備和研究，點云涉及海量數(shù)據(jù)及計算問題，例如大量點的集合、6DOF數(shù)據(jù)和靜、動態(tài)的千萬級的數(shù)據(jù)量，如何利用這些數(shù)據(jù)實現(xiàn)高維數(shù)據(jù)生成、三維場景重建以及相關數(shù)據(jù)的存儲和管理等，都是我們主要的技術課題。 6. 在線娛樂需求井噴下的云游戲發(fā)展

疫情期間，用戶都是居家隔離狀態(tài)，以致于游戲需求呈現(xiàn)井噴式增長。因此，云游戲發(fā)展迎來了歷史性拐點。 6.1 云游戲在多端開始應用落地

如上圖是一些騰訊云云游戲的應用和進展，目前已經(jīng)對很多設備完成了很好的適配，例如將PC端的網(wǎng)游搬到手機端實現(xiàn)，在TV端、Web端也已經(jīng)完成了對很多網(wǎng)游大作的適配。

云游戲的發(fā)展中，底層計算技術具有不可忽視的重要作用，包括大計算量的畫面渲染和編解碼，需要使用到GPU虛擬化技術，利用底層服務引擎進行游戲適配，以及大規(guī)模的性能提升、數(shù)據(jù)計算等的應用。 邊緣計算也是不可或缺的技術，云游戲的要求是低延時甚至超低延時，未來在公有云上的邊緣計算，甚至5G時代的運營商邊緣EC點，都需要使用底層資源。在此之上構建的容器化的平臺、云游戲引擎以及音視頻的編解碼、渲染等，才可實現(xiàn)高性能、低延時的云游戲。 傳輸部分，低延時音視頻通訊能力非常重要，需要使用到資源的調度管理、高性能的JS-API/SDK集成技術。 6.2 Tencent-RTC技術

騰訊云的Tencent-RTC技術在云游戲中保證了低時延，高質量的視頻展示效果。 6.3 云游戲未來發(fā)展趨勢

云游戲未來的發(fā)展趨勢：

云游戲體驗趨向于原生化，精品的原生云游戲誕生是標志著云游戲技術的成熟。

趨向底層應用定制化，過去的云游戲使用的是通用型計算服務器，未來隨著云游戲的發(fā)展，將會誕生越來越多的定制化專用云游戲服務器。

云游戲會結合越來越多的場景，起到流量分發(fā)的作用，通過云游戲的試玩帶動原生游戲的下載，將云游戲與直播、短視頻、廣告場景無縫結合

騰訊云希望可以通過一體化的云游戲平臺幫助客戶高效、低成本獲取云游戲技術能力，讓云游戲成為未來游戲的基礎設施。 7. 騰訊云視頻產(chǎn)品全景圖

在疫情之下，危機催熟了在線行業(yè)的應用，很多應用都是由音視頻技術的驅動，目前騰訊云視頻的產(chǎn)品已經(jīng)涵蓋了方方面面，背后依賴的是騰訊云視頻技術以及上層一體化的解決方案。