揭秘華為云原生媒體網(wǎng)絡(luò)如何保障實(shí)時音視頻服務(wù)質(zhì)量

隨著5G和AI的發(fā)展，內(nèi)容表達(dá)視頻化成為了當(dāng)今的主流，很多行業(yè)對視頻分發(fā)有非常旺盛的需求。我們非常榮幸地請到了華為云的資深視頻架構(gòu)師黃挺，為大家介紹基于互聯(lián)網(wǎng)的實(shí)時音視頻服務(wù)所面臨的挑戰(zhàn)，分享華為云原生媒體網(wǎng)絡(luò)全方位保障實(shí)時音視頻服務(wù)體驗(yàn)的實(shí)踐。

大家好，我是來自華為云的黃挺，目前負(fù)責(zé)華為云視頻架構(gòu)設(shè)計的相關(guān)工作。今天我會給大家分享華為云原生媒體網(wǎng)絡(luò)是如何保障實(shí)時音視頻服務(wù)體驗(yàn)的實(shí)踐。

我會從以上幾個部分進(jìn)行分享，首先，解釋一下我們?yōu)槭裁葱枰粡埫襟w網(wǎng)絡(luò)；其次，會介紹一下華為云原生媒體網(wǎng)絡(luò)的整體架構(gòu)設(shè)計，最后，會分享我們在如何改善實(shí)時音視頻體驗(yàn)方面的實(shí)踐。

#01

為什么需要一張媒體網(wǎng)絡(luò)

1.1 內(nèi)容表達(dá)視頻化，各個行業(yè)都有視頻分發(fā)的需求

為什么我們需要一張媒體網(wǎng)絡(luò)呢？我主要總結(jié)了三大原因。第一個原因，我們看到內(nèi)容表達(dá)視頻化是目前一個很明顯的趨勢，有很多行業(yè)都對視頻分發(fā)有非常旺盛的需求。舉一個我親身經(jīng)歷的小例子，在今年過年的時候，我的家人想把手上帶了多年的戒指取下來，因?yàn)榇鞯臅r間比較久了，手指變粗了不少，取不下來。

最開始我們第一反應(yīng)是去商場找營業(yè)員幫忙取下來，后來我抱著試一試的心態(tài)，在抖音上搜索“取戒指”三個字。在搜索結(jié)果中找到了一個非常簡單的辦法，視頻時間不長，照著做很快就把戒指取下來了，而且對戒指沒有損害，手指也不痛。大家感興趣可以去搜索看看。

這其實(shí)就是知識內(nèi)容表達(dá)視頻化的一個表現(xiàn)，這個趨勢在很多領(lǐng)域都已經(jīng)出現(xiàn)了，除了短視頻，比如現(xiàn)在的電商直播，在線教育，云游戲等行業(yè)也都出現(xiàn)了內(nèi)容表達(dá)視頻化發(fā)展趨勢。

1.2 新媒體表達(dá)形式出現(xiàn)，對音視頻技術(shù)要求越來越高

第二個原因，我們看到未來會出現(xiàn)很多新的媒體表達(dá)形式。比如VR和最近比較火熱的自由視角，這些新的表達(dá)形式的出現(xiàn)，都會給用戶帶來更加沉浸式的體驗(yàn)。但它對音視頻技術(shù)的要求是全方位的提升，主要包括帶寬、時延、渲染復(fù)雜度等等。

可以看到左邊這張圖，以VR為例，如果帶上VR頭盔去觀看視頻，要做到極致的視網(wǎng)膜體驗(yàn)，需要的碼率非常大，通過簡單的測算大概需要達(dá)到2Gbps的碼率。而且影響VR體驗(yàn)的因素相較于平面視頻也變得更多了：刷新率、視場角、分辨率、MTP低時延、姿態(tài)跟蹤、眼動跟蹤等等。

1.3 互聯(lián)網(wǎng)對用戶沒有承諾服務(wù)質(zhì)量

我們一般會從需求側(cè)和供給側(cè)兩個維度來進(jìn)行分析一個產(chǎn)品。前面兩個算是需求側(cè)的分析，接下來我們看一下供給側(cè)的分析。實(shí)時音視頻服務(wù)一個非常重要的供給側(cè)就是互聯(lián)網(wǎng)的基礎(chǔ)設(shè)施。我們都知道互聯(lián)網(wǎng)對用戶的服務(wù)質(zhì)量基本上是沒有承諾的。

怎么理解呢？首先，建設(shè)互聯(lián)網(wǎng)的成本非常昂貴，比如，需要在海底拉光纜，這個鋪設(shè)成本是非常昂貴的，這里包括人力的，物力的，另外一部分是無線頻譜的成本，比如3G、4G、5G的頻譜。所以互聯(lián)網(wǎng)的建設(shè)一定是需要考慮共享，共享就需要使用復(fù)用和交換技術(shù)。

怎么理解交換呢？

看下下面這個簡單的示意圖。假設(shè)我們要建4個網(wǎng)絡(luò)節(jié)點(diǎn)A、B、C、D；如果沒有交換，兩兩互聯(lián)需要6根線。但是如果使用了交換，則只需要4根線就可以了。所以從成本考慮，需要交換的技術(shù)；

我們知道交換一般有兩類技術(shù)，一類是Circuit switching ，另一類是Packet switching，Circuit switching的特點(diǎn)是容量預(yù)留，但是資源存在浪費(fèi)，因?yàn)橐坏╊A(yù)留，就算沒有數(shù)據(jù)傳輸，帶寬資源也是被占用。

而Packet switching技術(shù)則是鏈路資源共享的，所以可以做到更低成本的交換。而當(dāng)時互聯(lián)網(wǎng)設(shè)計考慮到成本的因素，選擇了Packet switching這個技術(shù)進(jìn)行演進(jìn)；因?yàn)檫x擇了Packet switching，再加上best effort盡力而為的轉(zhuǎn)發(fā)模式，所以帶來了一系列丟包、重復(fù)報文、時延、亂序等問題。所以我們總結(jié)，丟包、重復(fù)、時延、亂序是這一代互聯(lián)網(wǎng)的固有屬性。

這里大家可以思考一個問題，為什么互聯(lián)網(wǎng)在最開始設(shè)計的時候，并沒有考慮在網(wǎng)絡(luò)層解決這個問題?；蛘邠Q一個更大的問題，如果今天重新設(shè)計互聯(lián)網(wǎng)，我們會怎么做？會不會嘗試讓互聯(lián)網(wǎng)去解決這些問題。第二個思考的問題就是，在大家的日常應(yīng)用開發(fā)過程中是怎么解決丟包、重復(fù)、時延、亂序的問題。

1.4 對我們的啟發(fā)

通過前面的分析帶給我們一些啟發(fā)，首先我們認(rèn)為需要構(gòu)建一張媒體網(wǎng)絡(luò)，通過這張網(wǎng)絡(luò)來彌補(bǔ)供給側(cè)和需求側(cè)之間的鴻溝，供給側(cè)就是互聯(lián)網(wǎng)的基礎(chǔ)設(shè)施，需求側(cè)就是飛速發(fā)展的音視頻業(yè)務(wù)。第二點(diǎn)：通過這張網(wǎng)絡(luò)來滿足不同行業(yè)對音視頻分發(fā)的旺盛需求。第三點(diǎn)，通過這張網(wǎng)絡(luò)來應(yīng)對未來出現(xiàn)的新技術(shù)的挑戰(zhàn)。

#02

華為云原生媒體網(wǎng)絡(luò)架構(gòu)介紹

前面解釋了為什么我們需要一張媒體網(wǎng)絡(luò)。接下來我會介紹一下華為云原生媒體網(wǎng)絡(luò)架構(gòu)。

2.1 華為云原生媒體網(wǎng)絡(luò)

大家可以認(rèn)為華為云原生媒體網(wǎng)絡(luò)是云原生視頻服務(wù)的一個技術(shù)底座，基于這張云原生的媒體網(wǎng)絡(luò)會構(gòu)建上面一系列從生產(chǎn)到處理到分發(fā)到播放的云原生視頻服務(wù)，比如CDN、直播、RTC等等，通過這些云原生的視頻服務(wù)來支撐上面千行百業(yè)的客戶。我們這張云原生媒體網(wǎng)絡(luò)主要包括7大特點(diǎn)：扁平化、Mesh化、智能化、低時延、靈活性、多樣性和端邊云協(xié)同。

2.2 廣覆蓋：支持多種接入方式，實(shí)現(xiàn)全球互聯(lián)互通

接下來我會介紹一下華為云原生媒體網(wǎng)絡(luò)，三個比較重要的架構(gòu)設(shè)計目標(biāo)。因?yàn)槲覀兊姆?wù)對象遍布全球，所以首先就要是一張全球部署的網(wǎng)絡(luò)。這張網(wǎng)絡(luò)主要解決三大問題：第一就是需要支持多種接入方式，其次是節(jié)點(diǎn)的互聯(lián)互通；第三是要考慮一個高可用設(shè)計冗余覆蓋。

首先，因?yàn)槲覀兪且粋€paas類服務(wù)，所以客戶很多，來自不同的行業(yè)，以云會議為例，很多客戶對云會議的安全性和質(zhì)量要求非常高，所以他希望能夠從他的企業(yè)園區(qū)通過專線來接入這張網(wǎng)絡(luò)。但有的客戶，希望他的用戶能夠隨時隨地的接入這張網(wǎng)絡(luò)來分發(fā)業(yè)務(wù)，比如一些互聯(lián)網(wǎng)客戶，這個時候就需要支持互聯(lián)網(wǎng)的接入方式。

另外，因?yàn)槲覀兇罅繕I(yè)務(wù)的流量在邊緣終結(jié)所以國內(nèi)我們主要通過電信、聯(lián)通、移動單線接入，節(jié)省服務(wù)帶寬成本；國內(nèi)通過三線機(jī)房或者BGP資源，解決跨運(yùn)營商網(wǎng)絡(luò)資源交換的問題；在海外，我們會優(yōu)先選擇網(wǎng)絡(luò)資源比較豐富的IXP節(jié)點(diǎn)接入；

通過華為云基礎(chǔ)網(wǎng)絡(luò)設(shè)施或者優(yōu)質(zhì)的互聯(lián)網(wǎng)資源實(shí)現(xiàn)跨國的互聯(lián)。另外我們在部署規(guī)劃的時候就要考慮高可用設(shè)計，高可用設(shè)計常見的手段是增加冗余，我們在規(guī)劃的時候考慮了站點(diǎn)冗余和帶寬冗余。我們會保證覆蓋區(qū)域用戶至少有3個站點(diǎn)可以提供對應(yīng)質(zhì)量要求的服務(wù)。

另外，我們在做資源規(guī)劃的時候，會按照業(yè)務(wù)需要的帶寬的2倍以上進(jìn)行規(guī)劃，應(yīng)對部分突發(fā)。

2.3 全行業(yè)：滿足娛樂、通信、行業(yè)視頻等不同業(yè)務(wù)要求

因?yàn)槲覀兪且粋€Paas類服務(wù)，我們不能因?yàn)闈M足了一類客戶的需求，就影響其他客戶的特性，而且要盡量快速的滿足不同客戶的需求。

這對技術(shù)提出了3個方面的要求：首先因?yàn)樾枰獫M足不同行業(yè)的不同業(yè)務(wù)需求，所以業(yè)務(wù)應(yīng)用開發(fā)的敏捷性就非常重要，我們需要讓新功能能快速上線到全球任意邊緣節(jié)點(diǎn)，同時為了降低新特性上線的風(fēng)險，我們需要支持新特性在不同edge的灰度上線。我們把這種開發(fā)方式叫做Living on the edge。

第二個技術(shù)要求，也是我們非常重要的設(shè)計原則——Edge Services是獨(dú)立自治的。Edge Services就是我們圍繞著媒體網(wǎng)絡(luò)的網(wǎng)絡(luò)節(jié)點(diǎn)，部署的一系列微服務(wù)，我們統(tǒng)稱為Edge Services。每個Edge Services都必須是獨(dú)立自治的，因?yàn)槲覀兪且粡埛植际降拿襟w網(wǎng)絡(luò)，肯定不希望某一個節(jié)點(diǎn)故障（比如網(wǎng)絡(luò)故障），就會對我們造成全網(wǎng)業(yè)務(wù)的影響。

所以每個Edge Services必須是獨(dú)立。什么是自治呢？當(dāng)邊緣和控制中心網(wǎng)絡(luò)出現(xiàn)一些暫時的故障，那我的架構(gòu)上一定要保證Edge Services內(nèi)部能夠自治，也就是說它本地的服務(wù)還是可以提供的。

我們可以看到左邊簡單列了四個微服務(wù)，其中局部調(diào)度就是為了減少對全局調(diào)度的依賴，當(dāng)邊緣和控制中心網(wǎng)絡(luò)出現(xiàn)一些暫時的故障，邊緣依舊可以提供服務(wù)。另外，我們在Edge Services內(nèi)部的架構(gòu)主要采用微服務(wù)進(jìn)行劃分。

它的核心目的是幫助我們能夠快速靈活的上線一些特性，例如我們在edge service內(nèi)部有協(xié)議適配的微服務(wù)，這樣當(dāng)我們需要支持新的終端，適配一些協(xié)議的時候，可以快速上線一個新協(xié)議的適配微服務(wù)，這樣可以快速上線，而且不會影響已經(jīng)上線的終端的支持。

第三個技術(shù)要求是Overlay網(wǎng)絡(luò)需要能夠靈活的定義它的路由。舉個例子，例如華為云會議，它需要支持大量高規(guī)格的政府級會議，而這個對安全性和質(zhì)量要求就非常高，我們需要讓進(jìn)入我們媒體網(wǎng)絡(luò)的這張會議的所有報文都走我們?nèi)A為云的骨干網(wǎng)，避免使用互聯(lián)網(wǎng)資源傳輸。

還有一些客戶對價格比較敏感，對于這類客戶我們就會盡量使用性價比較高的網(wǎng)絡(luò)資源來轉(zhuǎn)發(fā)他的報文。這就需要有一個可編程的overlay網(wǎng)絡(luò)實(shí)現(xiàn)靈活的網(wǎng)絡(luò)路由和轉(zhuǎn)發(fā)。

2.4 全流程：提供媒體生產(chǎn)、處理、分發(fā)、播放全流程服務(wù)

第三個比較重要的設(shè)計目標(biāo)是，我們的架構(gòu)需要能夠提供端到端的，從生產(chǎn)到處理到分發(fā)到播放的全流程服務(wù)。我們把客戶主要分為兩類，一類是云原生，很多互聯(lián)網(wǎng)客戶，在誕生之初，就是在云上的，所以可以很方便的使用我們的云上服務(wù)。

但是有些客戶，需要從傳統(tǒng)的線下轉(zhuǎn)型到線上，為了服務(wù)于這樣的客戶，我們的生產(chǎn)和處理系統(tǒng)是基于華為統(tǒng)一的Huawei Cloud Stack統(tǒng)一技術(shù)棧，支持在線上線下靈活、快速部署，同時我們還提供了方便的SDK，它能夠跨終端、低功耗的來幫助客戶覆蓋更多的終端。

最后一個技術(shù)要求是整個實(shí)時媒體處理流水線是能夠做到靈活編排，動態(tài)管理的。舉個例子，我們?nèi)ツ旰投肤~聯(lián)合創(chuàng)新的項(xiàng)目，幫助斗魚把在端側(cè)的特效算法上移到了Edge services。這樣直接給斗魚帶來了三個好處，第一個好處是開發(fā)工作量變少了，原來的特效算法需要適配不同的終端，不同的芯片。

第二個好處是特效算法的迭代速度變快了，只需要把特效算法在Edge services更新部署，客戶就能夠體驗(yàn)到。第三好處是覆蓋的終端機(jī)型變多了，因?yàn)閭鹘y(tǒng)在端側(cè)去開發(fā)的特效，其實(shí)有很多低端機(jī)是沒法體驗(yàn)到的，如果把它放在我們的Edge services上，就可以快速去滿足很多低端機(jī)型的要求。

2.5 架構(gòu)分層設(shè)計：適應(yīng)互聯(lián)網(wǎng)的特征

最后分享一下我們一個非常重要的的架構(gòu)分層的設(shè)計思想。我們借鑒了計算機(jī)網(wǎng)絡(luò)系統(tǒng)的設(shè)計思想?？梢韵胂笠幌?，如果沒有現(xiàn)在這套計算機(jī)網(wǎng)絡(luò)分層系統(tǒng)，我們的應(yīng)用開發(fā)是怎樣的體驗(yàn)?？赡芪倚枰ist整個網(wǎng)絡(luò)拓?fù)涞墓?jié)點(diǎn)，需要去尋找最優(yōu)的路徑，把我的消息從a發(fā)到目的地b，在這個過程中還要去處理各種網(wǎng)絡(luò)的異常，比如丟包、重傳、亂序等等，這顯然是對應(yīng)用開發(fā)非常不友好的。

計算機(jī)網(wǎng)絡(luò)系統(tǒng)設(shè)計就是解決這些問題。首先就是layering分層的思想，底層有鏈路層，屏蔽不同鏈路傳輸技術(shù)的差異性，比如我們支持5G之后上層的應(yīng)用是不用修改的。在往上就是網(wǎng)絡(luò)層，它主要有2大功能，轉(zhuǎn)發(fā)和路由，所以不需要每個應(yīng)用自己去定義轉(zhuǎn)發(fā)路徑。在往上是End to End layer。這是對上面?zhèn)鬏攲?、表達(dá)層。應(yīng)用層的一個統(tǒng)稱。而分層的目的就是模塊化，降低耦合度，每一層聚焦解決每一層的問題。

而我們云原生媒體網(wǎng)絡(luò)架構(gòu)分層也是借鑒了這個思想，我們在網(wǎng)絡(luò)層進(jìn)行增強(qiáng)設(shè)計，改善報文轉(zhuǎn)發(fā)的時延和到達(dá)率。我們通過在End to End layer的自研實(shí)時傳輸協(xié)議來讓上層的實(shí)時音視頻應(yīng)用開發(fā)更加簡單。這樣我們的應(yīng)用開發(fā)就可以更加聚焦業(yè)務(wù)邏輯。同時我們抽象出媒體處理模塊，這樣音視頻相關(guān)的編解碼技術(shù)，前后處理技術(shù)，就可以獨(dú)立演進(jìn)，快速創(chuàng)新。

2.6 架構(gòu)分層設(shè)計-Network Layer

在介紹我們在網(wǎng)絡(luò)層和End to End layer的一些關(guān)鍵設(shè)計之前，首先來看一下網(wǎng)絡(luò)層有什么問題?；ヂ?lián)網(wǎng)在設(shè)計之初有一個非常重要的質(zhì)量屬性，就是互聯(lián)互通的高可用性，我們知道互聯(lián)網(wǎng)是由上萬個ISP組成的，任何一個ISP故障，網(wǎng)絡(luò)還是可以正常的通信。

其中BGP協(xié)議就是一個非常重要的設(shè)計，他主要考慮了聯(lián)通性，但是并沒有去做一些服務(wù)質(zhì)量的感知。我們可以看到左邊這個圖，用戶A要發(fā)一個消息給用戶B，跨運(yùn)營商，它很有可能會經(jīng)過互聯(lián)網(wǎng)穿越很多個不同的ISP，這就會帶來很多問題。

比如會加重丟包重傳，而且這些關(guān)鍵問題很多是非技術(shù)因素，比如很多運(yùn)營商針對某一個網(wǎng)絡(luò)的網(wǎng)絡(luò)策略不一定是質(zhì)量最優(yōu)，它可能是成本最優(yōu)，比如有一些冷土豆或熱土豆的路由策略。

第二個原因，有可能運(yùn)營商今天晚上要做一個設(shè)備升級，需要運(yùn)維人員操作一些配置變更，而配置變更過程中有可能出現(xiàn)人為出錯造成鏈路故障，還有可能就是這些區(qū)域有一個熱門事件，可能會造成擁塞。

為了解決這個問題，我們決定對網(wǎng)絡(luò)層進(jìn)行增強(qiáng)，這里我們主要有2個技術(shù)手段；一個是underlay，一個是overlay。

1）首先是underlay，我們通過華為云全球網(wǎng)絡(luò)基礎(chǔ)設(shè)施，改善網(wǎng)絡(luò)的接入和互聯(lián)質(zhì)量，一旦進(jìn)入我們的underlay網(wǎng)絡(luò)就可以避免和互聯(lián)網(wǎng)其他流量競爭帶寬，既改善了質(zhì)量，又保障了安全性。

2）其次是overlay部分，我們除了自建骨干網(wǎng)，還會部署一些overlay的節(jié)點(diǎn)，實(shí)現(xiàn)基于不同Qos目標(biāo)優(yōu)化報文傳輸路徑和高效轉(zhuǎn)發(fā)，而不是讓報文任意轉(zhuǎn)發(fā)。我們在網(wǎng)絡(luò)層的設(shè)計原則也是非常經(jīng)典的控制面與數(shù)據(jù)面分離的設(shè)計思想，簡單來說，控制面負(fù)責(zé)路由，控制整個網(wǎng)絡(luò)的運(yùn)行，數(shù)據(jù)面負(fù)責(zé)轉(zhuǎn)發(fā)。

我們?yōu)榱俗寯?shù)據(jù)轉(zhuǎn)發(fā)能夠更加簡單，也采用了網(wǎng)絡(luò)中非常經(jīng)典的一個設(shè)計思想：源路由算法的思想，核心目的也是為了降低轉(zhuǎn)發(fā)設(shè)備的復(fù)雜度。具體來說，就是當(dāng)一個報文進(jìn)入我們網(wǎng)路的第一轉(zhuǎn)發(fā)節(jié)點(diǎn)的時候，系統(tǒng)就會把報文要經(jīng)過的所有轉(zhuǎn)發(fā)節(jié)點(diǎn)信息，包括目的節(jié)點(diǎn)都封裝在報文頭中，這樣每個轉(zhuǎn)發(fā)節(jié)點(diǎn)收到報文后，只需要解析報文頭，就知道下一跳要發(fā)送到哪里，這樣可以大大降低轉(zhuǎn)發(fā)設(shè)備的復(fù)雜度。

另外還有1個非常重要的設(shè)計原則，就是我們對網(wǎng)絡(luò)層不做可靠性承諾要求，雖然我們不保障可靠性，但是我們依舊會利用冗余糾錯、多路徑傳輸?shù)燃夹g(shù)改善報文轉(zhuǎn)發(fā)的時延和到達(dá)率。這也是我們?yōu)槭裁窗堰@層叫做網(wǎng)絡(luò)層的原因，他依舊關(guān)注的是路由和轉(zhuǎn)發(fā)。只是做了一些增強(qiáng)。

2.7 架構(gòu)分層設(shè)計-End to End layer

網(wǎng)絡(luò)層的增強(qiáng)能夠幫助我們?nèi)?shí)現(xiàn)更低時延的轉(zhuǎn)發(fā)以及更高的到達(dá)率。再往上是我們的End to End layer，這里大家可以先思考一個問題，前文提到互聯(lián)網(wǎng)有這么多固有屬性，丟包，亂序，重傳，看上去對開發(fā)者非常不友好。但是互聯(lián)網(wǎng)的發(fā)展卻非常的繁榮，有一代代互聯(lián)網(wǎng)的應(yīng)用email、web、IM、audio、video各類業(yè)務(wù)出現(xiàn)，這又是什么原因？

這里分享下我的思考，非常重要的一點(diǎn)就是協(xié)議，在End to End Layer出現(xiàn)了很多重要的協(xié)議，大大降低了我們應(yīng)用開發(fā)者的技術(shù)的門檻，比如我們從TCP到HTTP到QUIC等，每一代的互聯(lián)網(wǎng)的應(yīng)用發(fā)展背后都有一個協(xié)議的出現(xiàn)。End to End layer核心設(shè)計目標(biāo)就是要定義一個好的協(xié)議和開發(fā)框架，讓應(yīng)用開發(fā)變得簡單。

怎么做到這一點(diǎn)呢？可以看到左邊這個圖，中間部分是我們的自研實(shí)時傳輸協(xié)議大致的功能圖，我們會在它的北向提供一個統(tǒng)一的接口。通過這一套北向接口可以讓我們既能夠開發(fā)實(shí)時音視頻業(yè)務(wù)，又能開發(fā)可靠的消息類的業(yè)務(wù)，同時我們再看一下它的南向，通過協(xié)議棧屏蔽了底層使用UDP或是ADNP協(xié)議的差異性，這樣應(yīng)用開發(fā)也會變得更加簡單。

協(xié)議棧設(shè)計的目的是為了讓應(yīng)用開發(fā)變得簡單。所以我們還抽象了兩個模塊，NQE和QOS，通過這兩個模塊提供回調(diào)的方法把網(wǎng)絡(luò)的信息能夠快速反饋給上層應(yīng)用，比如編碼模塊。編碼模塊就可以快速的自適應(yīng)網(wǎng)絡(luò)的條件，來調(diào)整它的編碼參數(shù)。

另外一個非常重要的設(shè)計原則就是高效。因?yàn)槲覀冎溃懊嫣岬搅嗽谖磥碛泻芏嗟亩耸?a href="http://wenjunhu.com/tags/iot/" target="_blank">IoT端，IoT端有一個很大的特性，就是對功耗的要求非常高，我們希望在協(xié)議棧設(shè)計之初就要考慮這個問題。所以我們不希望輕易的在這一層去增加額外的一些沒必要的拷貝，這里遵循的是ALF的設(shè)計原則，這個原則也是非常經(jīng)典的。RTP當(dāng)時設(shè)計的時候也是遵循了這個設(shè)計原則。

另外，我們的協(xié)議棧設(shè)計也參考了quic的設(shè)計思想。支持多路復(fù)用、網(wǎng)絡(luò)多路徑、華為LinkTurbo、優(yōu)先級管理等功能。這里分享一下我們的一個小經(jīng)驗(yàn)，就是在開發(fā)自由視角和VR這類業(yè)務(wù)，對帶寬的要求非常高，這個時候我們就會開啟多路徑的功能，可以獲得比較大的體驗(yàn)上的改進(jìn)。

2.8 華為云原生媒體網(wǎng)絡(luò)目標(biāo)架構(gòu)

最后我對整個媒體網(wǎng)絡(luò)的目標(biāo)架構(gòu)做一個簡單的總結(jié)。

1）簡單來講就是把復(fù)雜問題簡單化，分而治之，通過分層的設(shè)計來讓每一層能夠相互解耦，快速演進(jìn)；

2）每一個Edge services都是獨(dú)立自治的，來提高整個服務(wù)的可用性；

3）通過把Edge services按照微服務(wù)進(jìn)行劃分，能夠讓到我們更加靈活的去適應(yīng)客戶的需求，實(shí)現(xiàn)按照微服務(wù)級別的快速上線。

#03

實(shí)時音視頻服務(wù)質(zhì)量保障實(shí)踐

第三部分我會分享一下我們在實(shí)時音視頻服務(wù)質(zhì)量保障上的一些實(shí)踐，這里主要是一些算法設(shè)計上的思考，前文主要是架構(gòu)上的一些思考。

3.1 視頻、音頻、網(wǎng)絡(luò)是影響體驗(yàn)的關(guān)鍵系統(tǒng)因素

如上圖所示，我們做了一個影響體驗(yàn)的相關(guān)維度的分析。從客觀指標(biāo)到主觀指標(biāo)，再到QoE的關(guān)系做了一個簡單的映射圖。我們通過分析，發(fā)現(xiàn)影響實(shí)時音視頻服務(wù)體驗(yàn)質(zhì)量核心的三個系統(tǒng)性因素是視頻，音頻和網(wǎng)絡(luò)，接下來我就分別針對這三部分的算法實(shí)踐進(jìn)行介紹。

3.2 視頻編碼技術(shù)

首先我們來看一下視頻編碼。我們把視頻編碼技術(shù)按照設(shè)計目標(biāo)進(jìn)行了一個簡單的分類，第一類，它的設(shè)計目標(biāo)是如何科學(xué)的減少視頻編碼的冗余，降低編碼失真對人眼主觀感受造成影響。因?yàn)槲覀兊膶?shí)時音視頻業(yè)務(wù)還是主要面向人的，所以有一些非常經(jīng)典的優(yōu)化思路，比如：從人出發(fā)，分析人眼的視覺特點(diǎn)，基于這些特點(diǎn)來優(yōu)化編碼算法，圖中簡單列了幾大類和編碼相關(guān)度比較高的人眼視覺特點(diǎn)。

還有一種優(yōu)化思路，就是從源出發(fā)，也就是從內(nèi)容出發(fā)，我們會分析不同場景內(nèi)容的特點(diǎn)優(yōu)化編碼算法，比如計算機(jī)生成圖像的特點(diǎn)有低噪、大平坦區(qū)域等等。

第二個設(shè)計目標(biāo)是如何科學(xué)的增加冗余來抵抗弱網(wǎng)傳輸對人員主觀感知的影響。這邊簡單列了幾類增加冗余的編碼，比如極端的全I(xiàn)幀編碼、幀內(nèi)刷新的模式以及長期參考幀和SVC編碼。

在一些空間視頻的業(yè)務(wù)里面，我們?yōu)榱烁纳圃诳臻g定位的時延，會使用一些全I(xiàn)幀編碼結(jié)合一些普通編碼來使用，減少空間定位的時延。我們在云游戲里為了減少大I幀的突發(fā)，會采用幀內(nèi)刷新的編碼方式。在實(shí)時音視頻服務(wù)中，長期參考幀和SVC是比較常見的編碼方式。

3.3 PVC感知編碼

下面介紹一下我們具體的一些編碼技術(shù)。我們云視頻團(tuán)隊(duì)聯(lián)合華為2012中央媒體技術(shù)院，從分析人眼視覺系統(tǒng)出發(fā)，改進(jìn)了PVC感知編碼算法。我們的算法經(jīng)歷了幾輪迭代。最新的感知編碼2.0算法實(shí)現(xiàn)了1Mbps碼率提供了1080P 30幀高清畫質(zhì)的體驗(yàn)；

算法的主要改進(jìn)思路是：首先通過預(yù)分析和編碼反饋信息，對場景和區(qū)域進(jìn)行區(qū)分，實(shí)時通話場景主要的高敏感區(qū)域包括：人臉區(qū)域和靜態(tài)區(qū)域。針對不同場景和區(qū)域，采用不同的編碼參數(shù)和碼率分配策略，例如非高敏感區(qū)域分配較低的碼率；

2.0算法在1.0的基礎(chǔ)上，我們在碼控方面加入了AI的技術(shù)，相較于之前，固定的碼率和分辨率組合，新的方法，我們基于AI的感知碼控，獲取不同場景下最優(yōu)的碼率和分辨率組合，達(dá)到低帶寬下更優(yōu)的主觀效果。

3.4 SCC編碼

第二編碼技術(shù)是SCC編碼，它主要應(yīng)用于計算機(jī)生成圖像的編碼，比如在教育或者會議里的屏幕共享場景，我們的算法相較于x265 ultrafast檔位，它編碼的壓縮性能提升了65%，在相同的計算資源的情況下，我們的編碼速度提升了50%。

針對屏幕共享的場景，我們也解決了它特有的一些問題。在共享的時候，經(jīng)常會共享一些圖文，比如word或者ppt。這一類相對是比較靜止的，這個時候編碼參數(shù)一般會采用低幀率，盡量保證它畫質(zhì)的編碼方式，但很多時候共享圖文之后會切換到共享視頻。如果不能很好的去感知這一點(diǎn)，我們觀看視頻的體驗(yàn)就是不連續(xù)的畫面，類似于gif。

為了解決這一問題，我們采用了基于視頻時空域的復(fù)雜度分析，來自適應(yīng)視頻編碼幀率的辦法。這樣在靜態(tài)的圖文畫面下能夠有一個高品質(zhì)的圖像，切換到視頻共享時，也能夠保證流暢性。

我們解決的第二個問題是從YUV444下采樣到Y(jié)UV420場景帶來的色彩度的失真問題，因?yàn)槲覀冎篮芏鄷r候屏幕共享靜態(tài)的圖文，對色彩度的要求是比較高的。

但是把它從YUV444下采樣到Y(jié)UV420的時候，UV域的信號會出現(xiàn)很大的衰減，左圖是沒有使用新算法之前的效果，右圖是應(yīng)用了新算法之后的效果，明顯可以看到右圖字體會更加清晰，色彩度的失真會更加小，這里的核心是使用了低復(fù)雜度色彩校正的算法。

3.5 自適應(yīng)長期參考幀編碼

前面兩個編碼技術(shù)是降冗余，而自適應(yīng)長期參考幀編碼技術(shù)是科學(xué)的提升冗余。為了更好的理解，我們先把復(fù)雜問題簡單化，理解一下什么是固定長期參考幀，我們看到左邊上面的圖，紅色的是I幀，綠色是長期參考幀，藍(lán)色是正常的P幀。

通過這樣的一個參考幀的方式，打斷了原來正常的Ipppp前向參考的依賴關(guān)系，這樣當(dāng)它的P2或者P3丟失的時候，后面P5的解碼是不會受影響的，還是可以繼續(xù)解碼，這就會改善它的流暢性。

但是還是有不足的，比如這種綠色的長期參考幀P5丟失了，因?yàn)橹蟮腜幀都依賴它，所以都無法解碼。第二個問題就是固定，因?yàn)殚L參考幀的關(guān)系，它會帶來一定的冗余，就會導(dǎo)致相同帶寬下的質(zhì)量會有所下降，所以我們希望在網(wǎng)絡(luò)好的時候，能夠盡量讓冗余變小一點(diǎn)，來改善畫質(zhì)，所以我們就提出了自適應(yīng)長期參考幀的辦法。

自適應(yīng)長期參考幀的核心思路就是兩點(diǎn)，第一個是增加反饋機(jī)制，在解碼端增加一個反饋機(jī)制，告訴編碼端這個長期參考幀我收到了，編碼端知道這個幀收到之后，后面就參考這幀進(jìn)行編碼。第二個是增加一個動態(tài)mark長期參考幀的機(jī)制，也就是我會根據(jù)網(wǎng)絡(luò)的QOS情況去動態(tài)優(yōu)化長期參考幀編碼的步長，在網(wǎng)絡(luò)好的時候步長調(diào)短一點(diǎn)，網(wǎng)絡(luò)差的時候調(diào)長一點(diǎn)。

但是在增加反饋機(jī)制之后會帶來一個問題，當(dāng)在一些網(wǎng)絡(luò)模型RTT比較長的時候，我的反饋周期會比較長。而且反饋報文還可能會丟失，需要再次反饋，這樣就會導(dǎo)致長期參考幀的步長變得非常長。

一旦步長變長之后，它的編碼質(zhì)量就會進(jìn)行下降，甚至?xí)陆档綐I(yè)務(wù)無法接受的地步，在我們優(yōu)化算法的時候也考慮到這一點(diǎn)，當(dāng)長期參考幀的步長太長，我們會強(qiáng)制P幀去參考離它最近的長期參考幀，而不會完全去依靠反饋機(jī)制。這樣做會帶來兩個比較好的優(yōu)化效果，一個是在突發(fā)丟包場景下它的畫面流暢性變好了，同時它有一個比較好的網(wǎng)絡(luò)自適應(yīng)的能力，能夠兼顧流暢性和畫質(zhì)。

3.6 網(wǎng)絡(luò)傳輸技術(shù)：求互動性與質(zhì)量的最優(yōu)解

前面是視頻編碼技術(shù)的一些分享，接下來看一下我們在網(wǎng)絡(luò)傳輸上的實(shí)踐。我們對網(wǎng)絡(luò)傳輸?shù)亩x，核心目標(biāo)就是要求互動性和質(zhì)量的最優(yōu)解。我們知道網(wǎng)絡(luò)傳輸技術(shù)，主要抵抗丟包，抵抗時延，抵抗抖動。常見的技術(shù)比如ARQ、FEC、不對等保護(hù)，還有抖動估計、緩存伸縮等等。

除了做到抗抖動抗丟包，還需要有擁塞控制，擁塞控制的核心目的就是讓 “發(fā)送速率”盡可能去逼近“可用速率“，同時盡可能保持低延遲，如果發(fā)送速率和網(wǎng)絡(luò)可用帶寬不匹配，會造成丟包、抖動或者帶寬利用率低。

還有一個非常重要的就是信源信道聯(lián)動，我們前面看到的動態(tài)長期參考幀就是通過信道的信息動態(tài)調(diào)整編碼參數(shù)的一種實(shí)現(xiàn)方式，基于這個聯(lián)動，才能夠更好的去改善我們的體驗(yàn)。

3.7 基于強(qiáng)化學(xué)習(xí)，提升帶寬預(yù)測精度，改進(jìn)QoE體驗(yàn)質(zhì)量

無論是擁塞控制，還是信源信道聯(lián)動，在這個過程中帶寬預(yù)測的算法都是非常重要的。傳統(tǒng)的做法是利用人工的經(jīng)驗(yàn)，通過一些決策樹算法，針對不同網(wǎng)絡(luò)模型下的帶寬做一些預(yù)測，但是在復(fù)雜場景下，這種做法的效果不是特別理想，所以我們希望通過強(qiáng)化學(xué)習(xí)的方式來改進(jìn)這一點(diǎn)。

主要思路是基于接收端反饋的網(wǎng)絡(luò)QoS，主要反饋四個信息：接收速率、發(fā)送速率、丟包率和時延抖動，基于這些信息，通過強(qiáng)化學(xué)習(xí)的方法來提高帶寬的預(yù)測準(zhǔn)確率。算法優(yōu)化后，我們的高清占比得到了30%的提升，卡頓率下降了20%。

3.8 音頻3A技術(shù)：改善音頻清晰度

最后我會分享一下在音頻方面的技術(shù)實(shí)踐。好的3A算法對于語音清晰度體驗(yàn)至關(guān)重要。我們把AI技術(shù)應(yīng)用到3A算法中來改善語音的體驗(yàn)。

首先，我們把AI應(yīng)用在回聲消除上，回聲消除是整個3A里非常重要的一個步驟。傳統(tǒng)算法在穩(wěn)態(tài)的環(huán)境下做的回聲消除，已經(jīng)比較成熟，一般都處理的比較好。

但是當(dāng)環(huán)境出現(xiàn)一些變化，比如我拿著手機(jī)免提打電話，在家里，從房間走到陽臺，這個時候環(huán)境出現(xiàn)了變化，回聲消除就會遇到很多挑戰(zhàn)，通過AI的方式能夠比較好的處理這些問題。特別是針對雙講的場景，我們新的算法很好的解決了漏回聲和丟字的問題。

其次就是降噪，傳統(tǒng)的噪聲，比如像風(fēng)扇、空調(diào)這種穩(wěn)態(tài)的噪聲，相對來說比較好抑制，而我們基于AI的降噪算法不僅能較好的處理平穩(wěn)噪聲，在應(yīng)對例如鍵盤、鼠標(biāo)敲擊的聲音或者是喝水、咳嗽這種突發(fā)的噪聲的場景下，我們也可以快速的進(jìn)行噪聲抑制。

另外一個3A中比較重要的環(huán)節(jié)就是自動增益，在通話場景下，自動增益主要是通過基于對人聲的識別來進(jìn)行增益。這個時候，對人聲的檢測VAD是非常重要的，這一塊我們也是通過AI的技術(shù)來提升了人聲檢測的精確度，改善自動增益的效果。

3.9 音頻丟包恢復(fù)技術(shù)：降低丟包對音頻體驗(yàn)的影響

另一個和視頻技術(shù)有些差異的是音頻的丟包恢復(fù)的技術(shù)，左邊這個圖也是一個比較經(jīng)典的丟包恢復(fù)的技術(shù)地圖，它主要分為兩類，一類是基于主動的丟包恢復(fù)，一類是基于被動的丟包恢復(fù)。

主動丟包恢復(fù)技術(shù)主要包括常見的FEC、ARQ等。被動恢復(fù)主要有三種方法，插值法，插入法還有重新生成法。算法優(yōu)化思路和視頻一樣，都是從研究人出發(fā)，視頻是研究人眼到視覺特點(diǎn)，那么音頻是研究人的發(fā)聲機(jī)制，基頻的信息一定程度反映了聲帶的振動頻率情況。

而包絡(luò)的信息，則一定程度反映了嘴型的情況，基于這兩個信息結(jié)合AI的聲碼器技術(shù)可以做到100毫秒左右的音頻報文丟失的恢復(fù)水平。我們知道一個中文字的發(fā)聲一般是150毫秒到200毫秒，傳統(tǒng)的PLC基于信號的恢復(fù)方式，一般可以做到50ms音頻信號的恢復(fù)，現(xiàn)在我們基于AI的方式是可以做到100ms音頻信號的恢復(fù)。

3.10 案例1：華為暢連，全球首款全場景音視頻通話產(chǎn)品

最后分享兩個案例。我們的產(chǎn)品不僅要服務(wù)外部客戶，也要對內(nèi)支撐華為很多其他的產(chǎn)品服務(wù)。我一直開玩笑說，支持內(nèi)部客戶其實(shí)是更難的，而且比支持內(nèi)部客戶更難的是支持華為的內(nèi)部客戶，他們的要求是非常高的。

現(xiàn)在我們支持了華為手機(jī)的暢連服務(wù)，暢連是全球首款全場景（除了支持手機(jī)，還會支持華為的大屏、華為的平板、華為的筆記本、手表、手環(huán)的通信）的實(shí)時音視頻通話類產(chǎn)品，我們幫助暢連實(shí)現(xiàn)了在1Mbps碼率條件下，提供高品質(zhì)1080p30幀的通話效果。

3.11 案例2：網(wǎng)絡(luò)研討會：會議+直播融合體驗(yàn)，開大會更簡單

比支持一個華為內(nèi)部客戶更難的是支持兩個。我們支持的第二個內(nèi)部客戶就是華為云會議，華為云會議的網(wǎng)絡(luò)研討會的場景也是基于我們的實(shí)時音視頻服務(wù)開發(fā)的，我們現(xiàn)在可以做到的單場網(wǎng)絡(luò)研討會同時支持三千方的觀眾，其中有一百方是互動的，在今年下半年我們的云會議產(chǎn)品會做到單場網(wǎng)絡(luò)研討會同時支持一萬方的觀眾，五百方互動。

#04

總結(jié)

最后我對今天分享的內(nèi)容做一個總結(jié)。首先，我們可以明顯的看到視頻業(yè)務(wù)正在驅(qū)動整個互聯(lián)網(wǎng)技術(shù)發(fā)展，包括音視頻編碼/傳輸技術(shù)，以及邊緣計算和邊緣網(wǎng)絡(luò)等技術(shù)。所以我們需要一個服務(wù)或者系統(tǒng)來彌補(bǔ)互聯(lián)網(wǎng)基礎(chǔ)設(shè)施（供給側(cè)）和快速發(fā)展的視頻業(yè)務(wù)（需求側(cè)）之間的鴻溝。

第二點(diǎn)，今天的分享僅僅只是開始，隨著實(shí)時音視頻技術(shù)應(yīng)用場景的增加，數(shù)據(jù)的驅(qū)動，會使得我們的云原生媒體網(wǎng)絡(luò)架構(gòu)和各類算法持續(xù)優(yōu)化。

最后，希望華為云原生視頻服務(wù)能夠和大家一起，攜手走進(jìn)視頻“新時代”。

謝謝大家。

編輯：jq