互動場景下的低延遲編碼技術(shù)

本文由上海交通大學教授宋利在LiveVideoStackCon2020線上峰會的演講內(nèi)容整理而成，從分析視頻傳輸系統(tǒng)延遲入手，詳細介紹視頻編碼延遲的產(chǎn)生機制，總結(jié)優(yōu)化編碼延遲的技術(shù)手段和業(yè)界典型的低延遲編碼方案，討論不同場景的延遲要求，并對后續(xù)技術(shù)演進發(fā)展方向進行展望。

本次分享的主題是互動場景下的低延遲編碼技術(shù)，內(nèi)容分為四個方面：一是互動媒體服務；二是低延遲視頻編碼技術(shù)；三是低延遲編碼方案；四是應用場景和發(fā)展趨勢。

01 PART 互動媒體服務

1.1 視頻媒體形態(tài)

如圖所示，我們將現(xiàn)有典型的視頻相關(guān)服務按照高通量、強交互兩個維度進行劃分，其中橫坐標表示高通量，縱坐標表示強交互，一些典型的視頻映射到圖中分布于不同的位置。 左下角部分可以稱為基本視頻，它涵蓋了當前的一些主流應用，包括TV、視頻監(jiān)控、視頻會議以及多人視頻游戲等，其特點是以二維視頻為主，同時交互形式包括單項、雙項和多人交互。 如果從這個區(qū)域往外擴展，外面一層是可以稱之為增強視頻，沿高通量維度由高清向超高清、自由視、點云、光場過渡，交互維度包括仿真訓練、電競，兩者都演進的方向是VR、AR，最后演進到全觸感，也就是視頻媒體形態(tài)正在由基本視頻向增強視頻演進，這兩個維度某種程度和現(xiàn)在5G中兩個維度很契合，高通量對應大帶寬，強交互對應低延遲。

這張圖顯示了流媒體視頻的典型服務場景，流媒體服務經(jīng)過多年的發(fā)展，現(xiàn)在已經(jīng)形成一個比較完整的技術(shù)和生態(tài)鏈，從源端、云端、邊端到終端，包括背后的技術(shù)體系也相對比較趨同?，F(xiàn)在經(jīng)常使用的是以RTMP代表加H.264進行源端的推流，到CDN邊緣上通過265，包括下行的HLS協(xié)議轉(zhuǎn)換，形成流媒體服務的基本流，然后用戶側(cè)通過播放器從源端進行拉流，獲得流媒體直播的體驗。這套架構(gòu)基本上比較成熟和完善，各家公司的競爭點主要體現(xiàn)在用不同的編碼器進行替換，不同上下行協(xié)議的改造，以及CDN資源的部署，以此獲得競爭優(yōu)勢。從整個媒體服務形態(tài)變化的角度看，大部分的努力是針對前面提到的通量這個維度。

圖中展示了流媒體實時交互演進的一個典型示例，在直播場景下，通過手機小屏發(fā)出交互指令，可以在大屏播放時產(chǎn)生交互的反饋，獲得一些個性化的體驗；比如在下行過程中發(fā)起用戶指令，疊加符合正在播放內(nèi)容的、個性化渲染特效。在這種場景下，整個流媒體架構(gòu)就會發(fā)生變化。在此之前是在云端、邊端進行處理，與終端并沒有太多交互，技術(shù)要素變化不大；但是增加互動維度后，在邊緣側(cè)就可以引入很多新的要素。

1.2 系統(tǒng)組成要素

構(gòu)建一套實時的流媒體系統(tǒng)需要對系統(tǒng)中多個方面進行改進，除了視頻編碼標準外，媒體傳送協(xié)議和視頻渲染技術(shù)都需要實時化和低延遲處理。視頻編碼方面，低延遲編碼技術(shù)可以和多種編碼標準進行結(jié)合。 1.3 互動媒體服務系統(tǒng)的權(quán)衡

互動媒體服務系統(tǒng)與單點技術(shù)不同，需要考慮多方面因素的權(quán)衡。首先要滿足低延遲，否則影響互動效果。其次是高體驗，互動媒體是在現(xiàn)有媒體上疊加的效果，所以體驗是也應該是疊加式的，不能因為互動而使原有基礎(chǔ)視頻的畫質(zhì)下降。最后是用戶的大規(guī)模，與視頻會議系統(tǒng)不同，一場會議很少會出現(xiàn)超過千人級的規(guī)模，但在互動流媒體場景下，由于接近直播流媒體，它的用戶數(shù)量會比較多。

02 PART 低延遲視頻編碼技術(shù)

2.1 視頻編解碼

第二部分介紹了低延遲視頻編碼的共性技術(shù)，這些技術(shù)可能會用在不同的編碼方案中。視頻編碼器有幾大陣營，在分發(fā)域有：H.264/HEVC/VVC、AVS2/AVS3、VP9/AV1，在分發(fā)域中壓縮性能是它的主要驅(qū)動力。在制作域有：TICO/JPEG-XS、JP2K、LLVC、XAVC、ProRes，這些編碼器雖然是應用于視頻中，但從技術(shù)角度來說更多是圖像編碼器。

將兩大類編碼器放在一起，更容易看出彼此之間的差異性，圖中展示了五個維度，分別是：高壓縮比、低延遲、低復雜度、高質(zhì)量、平臺友好性。將五個維度進行比較，分發(fā)域的編碼如圖所示，它的特點是高壓縮比，但延遲和復雜度比較大，質(zhì)量沒有制作域那么高，相對來說壓縮比就比較大。

幀內(nèi)標準如JEPG、JPEG2K、XAVC、WebP，在延遲性和復雜度方面要好些，但代價是壓縮比要差些，因為它應用的是專業(yè)領(lǐng)域場景，所以質(zhì)量和碼率比較高。

JPEG XS 是JPEG陣營過去兩年推出的一個標準，強調(diào)復雜度和速度，它的性能在低延遲、低復雜度方面表現(xiàn)比較優(yōu)秀，但壓縮比較差。由圖可知，要根據(jù)不同應用場景做出均衡性選擇。

2.2 編碼延遲的構(gòu)成

編碼延遲是指從視頻單元（通常是幀）采集到編碼完成生成碼流所消耗的時間。公式中的max是表示以編碼單元中花費時間最大的模塊為延遲時間。

編碼延遲的來源主要包括三部分：一是視頻幀參考關(guān)系，二是編碼流水線的設計，三是編碼模塊的復雜度。

2.2.1 低延遲參考結(jié)構(gòu)

左圖展示的是HEVC RA模式，典型的編碼器一般使用雙向B幀，在提高壓縮率的同時會帶來幀重排序延遲，在HEVC的典型RA模式中，雙向參考關(guān)系額外引入了3幀延遲。 右圖展示的是HEVC的LDP模式，如果只考慮延遲，HEVC的LDP模式只使用P幀，適用于低延遲場景，其單向參考關(guān)系不引入額外的延遲，但是帶來了9%~42%的編碼性能損失。 2.2.2 低延遲編碼幀結(jié)構(gòu)

周期性幀內(nèi)刷新（PIR）編碼結(jié)構(gòu)是在LDP模式的基礎(chǔ)上進一步降低延遲，被很多商業(yè)編碼器所支持，被稱為超低延遲的編碼配置。 如圖所示，它的原理是將一幀切成四個縱向的條塊，每隔四幀就可刷新一遍。 它的特點主要有：一是常用的超低延遲配置模式，輸出碼率平緩，緩沖區(qū)溢出概率小。二是可以確保在一個刷新周期內(nèi)完全恢復錯誤。三是刷新的頻率方向，可以根據(jù)視頻內(nèi)容進一步優(yōu)化。 2.2.3 編碼流水線優(yōu)化

編碼器的整體架構(gòu)決定了編碼器的延遲和并行度，主要分為三種：幀處理、塊處理、條處理。

幀處理是指對每個運動估計進行預測，編碼器處理的模塊是以幀為單元的，它會將整幀運動估計處理完，再進行運動補償，在MPEG2這種比較簡易的編碼器中經(jīng)常使用這種結(jié)構(gòu)。

塊處理相當于單線程參考編碼器中的小邏輯，將每個CTU或每個宏塊逐步推送到運動估計、預測等部分，X-循環(huán)是指每個塊里會進行不同模式的選擇，是不同模式的循環(huán)。Y-循環(huán)是指所有的塊可以再循環(huán)一遍。其中每塊中的宏塊可以獨立輸出，不需要等整個幀處理完，所以它的好處是輸出粒度小。但如果將塊級的編程變成高并發(fā)、流水化結(jié)構(gòu)就比較困難，因為粒度小，想做到流水化結(jié)構(gòu)，處理單元要足夠多。需要說明，編解碼上下文很關(guān)鍵，切斷上下文則編碼預測性能會受到大的影響。

條處理是基于兩者之間的處理，每一個內(nèi)循環(huán)的粒度是以條塊為基礎(chǔ)，外循環(huán)是不同條塊之間流水化推進。同時，運動估計和運動補償耦合比較好適合于整體計算，可以將運動估計和預測放到一個計算單元上，其余的部分組合到另一個上，這樣可以增加多級流水的處理。 這三種處理方式屬于任務級分解，也是并發(fā)、并行化操作。此外，還有數(shù)據(jù)級分解，就是數(shù)據(jù)被切割并分配給不同的處理器。右圖是在處理4K時可以切成多個高清進行處理，可以用到四種方案：幀級并行、slice級并行、tile級并行、波前并行處理。在實際的編碼中，并發(fā)、并行化操作中任務級分解和數(shù)據(jù)級分解是混合使用的。 2.2.4 低延遲并行碼率控制

一旦變成并行流水化，除了各個基本模塊的調(diào)度，還要涉及整體碼率控制的調(diào)整。碼流的平穩(wěn)程度是影響編碼緩沖區(qū)延遲的重要因素，緩沖區(qū)上溢會造成數(shù)據(jù)丟失；緩沖區(qū)下溢會造成編碼器無法得到數(shù)據(jù)，進而使得視頻卡頓。在條/塊級并行編碼方案中，碼率控制模型需要重新優(yōu)化設計。 2.2.5 編碼模式快速預測

第三個方面涉及編碼中各個模塊的復雜度，當代編碼器的編碼模式比較多，組合量比較大，即使每種編碼模式足夠快也不行，核心在于如何快速的在眾多候選模式中選出準確的哪個，這就需要根據(jù)某種屬性快速做出決策。這時深度學習的方法可以發(fā)揮作用，近期我們的一個工作中，采用基于深度學習預測CU劃分和基于統(tǒng)計學習預測PU模式組合，替換高復雜度的遞歸編碼探索，實現(xiàn)在性能基本保持不變前提下實現(xiàn)復雜度的顯著降低。

03 PART 低延遲編碼方案

3.1 SVT構(gòu)架

這部分介紹一些典型的系統(tǒng)編碼方案，首先是英特爾開源的SVT架構(gòu)，它支持了前面所提到的很多要素，設計比較不錯。 SVT構(gòu)架細節(jié)

SVT架構(gòu)是基于軟件的視頻編碼優(yōu)化框架，通過聯(lián)合前處理-編碼內(nèi)部算法，實現(xiàn)性能-延遲-質(zhì)量的三維優(yōu)化，并針對Xeon處理器進行優(yōu)化。 之所以稱SVT為三維并行架構(gòu)，因為它解耦視頻分析、模式選擇與編碼，實現(xiàn)進程級并行；分層GOP內(nèi)的幀級并行；將一幀圖像分為不同條塊，實現(xiàn)條塊級并行。 SVT也照顧到速度和碼率的主觀質(zhì)量優(yōu)化，對于速度方面的主觀質(zhì)量優(yōu)化有：首先根據(jù)整體復雜度目標，設置搜索的劃分模式集合；其次根據(jù)塊的HVS重要性進行區(qū)分；對于碼率方面的主觀質(zhì)量優(yōu)化有：一是根據(jù)HVS重要性調(diào)整QP偏置；二是降低人眼不敏感區(qū)域變換域高頻分量。 3.2 H.265低延遲方案

SVT支持很多個編碼器，以SVT-HEVC為例，它支持了13個preset（M0~M12），在速度和視覺質(zhì)量之間實現(xiàn)了較好的權(quán)衡。其次，采用客觀質(zhì)量模式（默認）用于權(quán)衡速度和客觀質(zhì)量的關(guān)系，性能和速度優(yōu)于x265。而且，最快檔次的延遲在百毫秒級別，壓縮比在300：1左右，配合其他低延遲技術(shù)可以降為小幾十毫秒級別。

這部分介紹了H.265低延遲方案的硬件編碼器，首先，NETINT基于自研芯片設計了Codensity T408視頻轉(zhuǎn)碼器，在ASIC中進行復雜的編解碼算法處理，從而最小化主機CPU的使用率，編碼延遲約為5ms。 其次，NVIDA基于GPU設計了NVENC編碼器，可以大幅度釋放CPU和內(nèi)存的負載壓力，編碼延遲約為3-10ms。 3.3 H.264低延遲方案

前面的兩個方案主要面向云端的轉(zhuǎn)碼、流媒體服務等，還有一類是面向移動終端的，除了低延遲之外，對功耗、復雜度要求更嚴格，在這種場景下使用比較多的方案是基于H.264。H.264標準已經(jīng)被工業(yè)界廣泛認可和應用，其作為H.265的上一代標準，本身的編碼復雜度相對較低，現(xiàn)有低延遲方案大都基于硬件設計。 左圖是TPCast方案，它使用CAST公司的H.264-E-BPF IP核編碼器，基于H.264 Baseline Profile設計。而且采用CAVLC選項降低熵編碼復雜度，并采用幀內(nèi)刷新技術(shù)降低比特率峰。它的編碼延遲為10ms級別，壓縮率為50：1。 右圖是HHI方案，它基于H.264 Baseline Profile設計，采用Intra（16×16和4×4）和VLC編碼（不使用CABAC），編碼延遲為宏塊行級，壓縮率為10：1~20：1。兩種方案應用的場景不同。 3.4 JPEG-XS低延遲方案

JPEG-XS低延遲方案是更低延遲的方案，它支持Main、Light、Light-subline、High這4種配置編碼延遲為毫秒甚至微秒級，視覺無損情況下的壓縮率為2：1~6：1，是一個簡化的幀內(nèi)壓縮技術(shù)。 它的編碼過程有：樣本拉伸、DC偏移量去除、可逆顏色變換、小波變換、預量化、常規(guī)量化、熵編碼。JPEG-XS主要是由IntoPIX公司推動的。 3.5 新型的低復雜度/低延遲編碼方案

以V-Nova為代表介紹一下新型的低復雜度/低延遲編碼方案，V-Nova P+立項的MPEG5-LCEVC標準，為內(nèi)容分發(fā)域提供高壓縮率、低復雜度方案。

左圖所展示的編碼結(jié)構(gòu)類似于可伸縮編碼SVC，分為基本層和增加層，網(wǎng)絡帶寬的適應性不是其考慮重點，而是考慮終端的兼容性以及復雜度，面向內(nèi)容分發(fā)域?？梢詰玫膱鼍叭绠斒謾C上有一塊硬解碼能力的芯片，支持264 HD，如果傳來一個4K的內(nèi)容，利用這種方案可以進行分層，基本層利用264 HD，增強層用HEVC 4K編碼，這樣基本層可以使用手機的硬解碼264 HD能力，而增強層可以使用復雜度比較低的軟件能力，將其進一步增強解碼提升到4K。

除此之外，V-Nova公司也正在SMPTE的制作域中推VC-6，主要用于專業(yè)的內(nèi)容制作和影像應用。它的賣點是結(jié)合了機器學習技術(shù)和優(yōu)化的碼率控制，使用intra-only配置，編碼延遲為80ms，編碼的HD流為60Mbps。

04 PART 應用場景和發(fā)展趨勢

4.1 應用場景

圖中展示的是不同延遲量級對應的應用場景的劃分，低延遲要與不同場景進行耦合，不同場景對延遲量的要求不同。圖中橫軸表示編碼延遲，根據(jù)延遲時間將場景分為四種，縱軸表示壓縮比。

秒級延遲場景以賽事直播為例，它對編碼延遲要求并不高，之前一般采用H.264實時編碼，對4K或8K視頻開始使用H.265或AVS2編碼標準實時編碼。 百毫秒級延遲場景如視頻通信、無線投屏，視頻通信可接受的端到端延遲為~200ms。以ZOOM為例，它采用了H.264標準編碼，編碼延遲為11ms（720p），端到端延遲要求低于150ms。無線投屏以Miracast為例，它認證的無線設備端到端延遲不超過250ms，使用H.264和H.265（可選）標準，編碼延遲約10~100ms。

十到一百毫秒級別稱之為十毫秒級延遲場景，以云VR、云游戲為例，一般端到端延遲低于100ms時才能獲得良好的體驗。 NVIDA GeForce Now使用NVENC硬件編解碼器可實現(xiàn)3-10ms的編碼（H.265）和解碼延遲，端到端延遲約75ms。 Google Stadia采用H.264和VP9編碼標準，端到端延遲約130ms。

毫秒級延遲大多數(shù)場景不超過10毫秒，應用領(lǐng)域涵蓋遠程制作、數(shù)字孿生、高級XR等，往往同時需要非常高的視頻質(zhì)量和超低延遲，需要TSN/TTE（時間敏感/觸發(fā)）類的基礎(chǔ)網(wǎng)絡架構(gòu)支持，目前可選擇的有JPEG-XS、SMPTE無壓縮的解決方案，壓縮效果還不太好，所以高壓縮比下的超低延遲編解碼仍然存在巨大技術(shù)挑戰(zhàn)。 4.2 發(fā)展趨勢

近期在多視角、自由視方面，華為、優(yōu)酷、咪咕都做過一些示范應用，即將原先導播切換的自由度傳送到用戶側(cè)，由用戶進行發(fā)送，用戶在觀看流媒體視頻中可以根據(jù)自己的喜歡進行視角的切換，以實現(xiàn)媒體服務的個性化。

以游戲類和遠程操控類為代表的場景，以往觀看流媒體是被動接收，現(xiàn)在大小屏都可以進行實時性交互，因此互動體驗增強，這也是互動媒體發(fā)展的趨勢。

本次分享主要介紹了低延遲互動媒體服務中的低延遲視頻編解碼環(huán)節(jié)的相關(guān)技術(shù)。要做到較好的低延遲互動媒體服務，還需要低延遲傳送協(xié)議、實時圖像渲染以及基礎(chǔ)ICT網(wǎng)絡技術(shù)整體的演進。就編碼而言，需要結(jié)合平臺特性重構(gòu)編碼實現(xiàn)架構(gòu)，細化編碼各工具性能與延遲關(guān)系。 比較理想的做法是面向不同延遲的彈性編碼方案，如右圖所示，將RD曲線按照延遲-壓縮比的關(guān)系，形成一套根據(jù)場景需求進行彈性配置的編碼框架，這是近期低延遲編碼努力的方向。