手淘H265編解碼算法與工程優(yōu)化

手淘的產(chǎn)品目前已經(jīng)拓展到直播、短視頻等領(lǐng)域，業(yè)務(wù)中存在著大量的圖片和視頻；自2015年起，圖片和視頻的數(shù)量呈指數(shù)級(jí)別高速增長(zhǎng)；并且隨著網(wǎng)絡(luò)技術(shù)的發(fā)展與消費(fèi)升級(jí)，用戶對(duì)圖片和視頻清晰度的要求也不斷提升，從最早的360P到現(xiàn)在的4k甚至8k，這些都帶來(lái)了寬帶成本與存儲(chǔ)成本的大規(guī)模提升，這也就是為什么我們希望借助H265技術(shù)支持音視頻業(yè)務(wù)的良性發(fā)展。

2、H.265介紹

2.1 成本效益

借助H265技術(shù)我們可以實(shí)現(xiàn)大規(guī)模并發(fā)場(chǎng)景下音視頻業(yè)務(wù)的有效成本控制。帶寬與存儲(chǔ)成本不容小覷，與H264相比，以典型4K場(chǎng)景中使用H265技術(shù)為例，可在保持畫(huà)質(zhì)不變的同時(shí)節(jié)省達(dá)50%的帶寬，而以720P直播為例使用H265則可節(jié)省30%流量?，F(xiàn)在的流量有90%以上都來(lái)自移動(dòng)端（手機(jī)）而非傳統(tǒng)意義的PC、服務(wù)器、Pad等；而對(duì)手機(jī)端尤其是Android設(shè)備而言，碎片化帶來(lái)的計(jì)算能力受限、性能層次不齊等問(wèn)題使得H265上的很多優(yōu)化與功能受到限制。如果我們直接將H265應(yīng)用于手機(jī)端則會(huì)在解碼時(shí)出現(xiàn)發(fā)熱大、能耗高、實(shí)時(shí)編碼無(wú)法正常進(jìn)行等現(xiàn)象；與此同時(shí)，也缺少快速、高效且成熟的端上編碼方案，這些都是亟待我們解決的問(wèn)題。

2.2 編碼框架

接下來(lái)介紹下H265的編碼框架。H265編碼框架由四個(gè)模塊組成：輸入一段視頻的連續(xù)多幀，首先需要經(jīng)過(guò)的是包含幀內(nèi)預(yù)測(cè)、幀間預(yù)測(cè)兩個(gè)操作的預(yù)測(cè)模塊；隨后進(jìn)行變換量化模塊也就是針對(duì)原始圖像塊與預(yù)測(cè)圖像塊的差值進(jìn)行DCT和量化；接下來(lái)解碼模塊會(huì)將圖像解碼以便用于下一幀的預(yù)測(cè)；最后的熵編碼模塊將針對(duì)預(yù)測(cè)信息和殘差系數(shù)進(jìn)行算數(shù)編碼從而進(jìn)一步消除編碼冗余。

2.3 技術(shù)亮點(diǎn)

H265主要有哪些技術(shù)亮點(diǎn)？首先H265具有靈活的編碼結(jié)構(gòu)，擁有CUPUN、CTUN等多個(gè)細(xì)分編碼單元；其次H265的塊大小也非常靈活，包括4×4、8×8等更多塊劃分方式；除此之外，H265的Sample Adaptive Offset（SAO）技術(shù)相對(duì)于Deblock和ALF具有更高性價(jià)比；最后在整個(gè)H265中包含了并行化設(shè)計(jì)，使得H265的優(yōu)勢(shì)更加明顯。

除了以上技術(shù)亮點(diǎn)，H265相比于H264 在插值、MV預(yù)測(cè)、幀內(nèi)預(yù)測(cè)、變換、去塊濾波等方面進(jìn)行了大量改進(jìn)與優(yōu)化。上圖右側(cè)表展示的是H.265相對(duì)于H.264在多方面帶來(lái)提升的量化數(shù)據(jù)。

2.4 改進(jìn)代價(jià)

H.265為音視頻帶來(lái)了技術(shù)提升，與此同時(shí)也帶來(lái)了不容忽視的改進(jìn)代價(jià)。碼流的節(jié)省意味著計(jì)算復(fù)雜度的提升，從上圖右側(cè)的統(tǒng)計(jì)表中我們可以看出，相對(duì)于H264，H265的編碼復(fù)雜程度增加了約3到4倍，解碼復(fù)雜程度也增加了近50%。這就意味著傳統(tǒng)的針對(duì)H.264的軟硬件解決方案處理H.265會(huì)明顯感到力不從心，我們需要妥善解決因方案升級(jí)帶來(lái)的諸多技術(shù)挑戰(zhàn)。

3、H.265高效編解碼器的實(shí)現(xiàn)

即便如此，H.265的優(yōu)勢(shì)也不容忽視。上圖展示的是我們?cè)?017年開(kāi)展的一項(xiàng)調(diào)研，以當(dāng)時(shí)比較成熟的金山HEVC解碼器為例，對(duì)比標(biāo)準(zhǔn)H.265解碼器，無(wú)論是在解碼速度還是解碼質(zhì)量上金山的HEVC解碼器都有很大優(yōu)勢(shì)，這項(xiàng)調(diào)研結(jié)果也讓我們對(duì)H.265的未來(lái)發(fā)展更加充滿信心。

3.1 RDO優(yōu)化

手淘在H.265編解碼領(lǐng)域作出了哪些探索？我們的優(yōu)化探索主要分為兩部分：算法優(yōu)化與工程優(yōu)化，而算法優(yōu)化主要集中在RDO方向。由于HEVC支持不同的CTU/CU/PU/TU組合模式，可選編碼模式激增；搜尋最優(yōu)編碼模式時(shí)，隨著編碼模式數(shù)量的增加，率失真計(jì)算會(huì)成為編碼過(guò)程的計(jì)算瓶頸，這主要是由于傳統(tǒng)H.264中基于SATD的率失真優(yōu)化不可在H.265中使用，需要精度更高的失真代價(jià)計(jì)算。為了優(yōu)化RDO以實(shí)現(xiàn)更高效的處理效果，我們進(jìn)行了以下7項(xiàng)改進(jìn)：

高效預(yù)判CU層次。

采用基于紋理信息等內(nèi)容的CU遍歷提前終止策略。

基于卷積神經(jīng)網(wǎng)絡(luò)解決圖像分塊的非線性問(wèn)題。

提前預(yù)判殘差A(yù)ZB塊，從而減少D與R的計(jì)算。

使用量化誤差D和殘差比特?cái)?shù)R的快速計(jì)算模型。

采用基于單調(diào)性的ME快速計(jì)算模型。

在35中模式中快速選擇合適的幀內(nèi)預(yù)測(cè)模式。

1）模式劃分CTU/CU/PU/TU

以PU為例，H.264有7種劃分模式，而H.265則有24種劃分模式。

如果統(tǒng)計(jì)H.265中一個(gè)圖像可以選擇的所有劃分模式，一個(gè)塊有高達(dá)384種可選擇的劃分模式。只有計(jì)算完成所有選擇后才能確定最佳劃分方案，如何縮短計(jì)算如此多選擇所需要的時(shí)間？

2）RDO優(yōu)化

快速模式?jīng)Q策——深度預(yù)估

首先，由于每塊的劃分層級(jí)與劃分深度和當(dāng)前塊的參考幀塊之間有很強(qiáng)的相關(guān)性，利用時(shí)間和空間的相關(guān)性，我們可從參考?jí)K的深度預(yù)估本塊的深度范圍并得到Min-depth與Max-depth；其次，即使本塊與上一塊或參考?jí)K有相關(guān)關(guān)系，本塊也有一些自己獨(dú)有的信息可被利用，我們可通過(guò)結(jié)合本塊的運(yùn)動(dòng)與紋理信息界定深度的精度范圍，確定具體劃分深度的精度范圍。

快速模式?jīng)Q策——紋理Corner檢測(cè)

通過(guò)對(duì)圖像紋理的檢測(cè)我們可快速選擇最優(yōu)的劃分模式。迅速識(shí)別平坦或?qū)Ρ榷容^強(qiáng)的紋理，提升劃分效率。

快速模式?jīng)Q策——CNN分類

應(yīng)對(duì)帶Corner的紋理時(shí)，可通過(guò)按照強(qiáng)度判決是否繼續(xù)劃分來(lái)實(shí)現(xiàn)快速選擇，這對(duì)線性變化的處理效果較好，而在實(shí)際應(yīng)用中我們需要面對(duì)很多非線性變化的應(yīng)用場(chǎng)景，此時(shí)就需要CNN卷積神經(jīng)網(wǎng)絡(luò)+深度學(xué)習(xí)的模型對(duì)非線性變化進(jìn)行紋理分類與快速模式選擇，這里的線性分析與非線性分析是分開(kāi)進(jìn)行的。

快速模式?jīng)Q策——AZB決策

AZB（All Zero Block）是量化后系數(shù)為全0的塊，通過(guò)AZB提前判別決策可對(duì)塊進(jìn)行快速歸類，從而減少D與R的計(jì)算。

Distortion&Bits估計(jì)

縱覽整個(gè)劣勢(shì)幀的計(jì)算過(guò)程 ，計(jì)算Dp需原圖到重建圖像間的SSE，也就是完成編碼模式P的預(yù)測(cè)、變換、量化、反量化、反變換、重建等。為避免這樣冗長(zhǎng)而復(fù)雜的計(jì)算過(guò)程，我們可以在變換與量化后在頻域計(jì)算殘差能量；而碼率統(tǒng)計(jì) 則是通過(guò)一次熵編碼實(shí)現(xiàn)，為了提高計(jì)算效率我們可以對(duì)殘差數(shù)據(jù)的碼率統(tǒng)計(jì)建立線性估計(jì)模型并根據(jù)NxN變換矩陣量化后的特征估計(jì)其碼率，可減少近50%的計(jì)算量。

FME最優(yōu)搜索位置估計(jì)

這里我們主要進(jìn)行的優(yōu)化是，通過(guò)整像素點(diǎn)及1/2像素點(diǎn)的SAD值和其坐標(biāo)來(lái)估算出最優(yōu)1/4像素點(diǎn)，從而加速整個(gè)搜索過(guò)程。

快速幀率預(yù)測(cè)方法

我們采用了基于貝葉斯模型開(kāi)發(fā)的一套幀內(nèi)預(yù)測(cè)快速?zèng)Q策方法，可為幀內(nèi)預(yù)測(cè)速度帶來(lái)一倍的提升并將損失降低到0.01dB。

3）碼率控制優(yōu)化

我們使用以下策略對(duì)碼率控制與Lookahead進(jìn)行優(yōu)化，首先是基于CuTree的信息傳遞來(lái)調(diào)整CUQP，其次是基于rates和復(fù)雜度的IBP FrameQP，最后是·基于參考強(qiáng)度的Slice Type Decision，這一部分內(nèi)容我會(huì)在LiveVideoStackCon 2018上作出更加詳細(xì)描述 。

4）參考幀優(yōu)化——長(zhǎng)期參考幀

我們知道，參考幀大都在一個(gè)GOP范圍內(nèi)，往往有更好的編碼質(zhì)量，參考幀有助于提高被參考幀的質(zhì)量，而長(zhǎng)期參考幀可能源于多個(gè)GOP。這就使得對(duì)于背景很少發(fā)生變化的直播場(chǎng)景，長(zhǎng)期參考幀可有效減少信息經(jīng)過(guò)多幀傳遞帶來(lái)的損失，引用長(zhǎng)期參考幀可將平均EV提高大概0.25dB，

上圖展示的是各模塊計(jì)算量占比，以上就是我們圍繞RDO領(lǐng)域進(jìn)行的多項(xiàng)探索。

3.2 工程化優(yōu)化方法

基于工程方面我們也進(jìn)行了多項(xiàng)優(yōu)化，首先是針對(duì)一些特殊函數(shù)的匯編計(jì)算優(yōu)化，我們通過(guò)采用NEON指令集優(yōu)化，為典型計(jì)算性能帶來(lái)2～4倍的提升，如RDO（SSE、SAD）模塊、運(yùn)動(dòng)搜索模塊、幀內(nèi)預(yù)測(cè)模塊等均提升兩倍以上；其次，針對(duì)現(xiàn)在移動(dòng)端廣泛使用的多核處理器，我們優(yōu)化多核并行計(jì)算并適應(yīng)現(xiàn)代處理器的架構(gòu)；除此之外，我們也優(yōu)化bottleneck的指令和訪存，從而進(jìn)一步提升整體性能。

3.3 優(yōu)化成果

1）軟件編碼

經(jīng)過(guò)算法與工程兩個(gè)層次上的優(yōu)化，我們?yōu)镠EVC編解碼帶來(lái)了明顯的性能提升。就編碼速度而言，手淘比X.265 17年初的版本提升3倍以上并可在iPhone6上實(shí)現(xiàn)720P&30幀的實(shí)時(shí)編碼；若想實(shí)現(xiàn)相同的編碼質(zhì)量，手淘的編碼碼率相對(duì)于X.265降低了至少15%，上圖展示的便是具體的測(cè)試結(jié)果。

2）軟件解碼

軟解優(yōu)化更多集中在工程方面也就是NEON指令集部分，較少在算法層面進(jìn)行調(diào)整。通過(guò)對(duì)NEON指令集的優(yōu)化與一些邏輯上的改寫(xiě)，手淘可實(shí)現(xiàn)相對(duì)于FFmpeg提升150%以上的視頻解碼速度，例如將1Mbps 720P H.265的測(cè)試用例用于小米5手機(jī)進(jìn)行解碼測(cè)試，其解碼速度可達(dá)兩百幀以上，而CPU的占用率也控制在20%以下；在處理圖片方面，例如對(duì)H.265的標(biāo)準(zhǔn)I幀處理上我們也做出了不少優(yōu)化和改進(jìn)，APG的圖片解碼速度相對(duì)于FFmpeg提升70%以上。

4、總結(jié)與未來(lái)展望

這里我們對(duì)視頻編碼標(biāo)準(zhǔn)的未來(lái)進(jìn)行簡(jiǎn)單的展望。過(guò)去10年大家都是按照H.264、H.265的標(biāo)準(zhǔn)；而在流媒體漸成趨勢(shì)的未來(lái)，Google提出的VP8、VP9、VP10，還有H.266、AV1等標(biāo)準(zhǔn)將推動(dòng)音視頻行業(yè)向更光明的未來(lái)發(fā)展。技術(shù)的進(jìn)步為我們實(shí)現(xiàn)更多更新潮的效果打下基礎(chǔ)，助力消費(fèi)升級(jí)與用戶體驗(yàn)的日漸完善。

如果簡(jiǎn)單對(duì)比H.266與AV1我們可以看到，因?yàn)镠.266引入了更多的四叉樹(shù)二叉樹(shù)結(jié)構(gòu)（QTBT），整體的BD-Rate提升近4%；但H.266對(duì)比H.265，在保持畫(huà)質(zhì)不變的情況下碼流降低了近1倍而整體編碼時(shí)間卻增加了2倍左右，整體解碼時(shí)間則增加近1倍。基于之前的調(diào)研我們發(fā)現(xiàn)，AV1的時(shí)間復(fù)雜度是X.265的2000～3000倍，這說(shuō)明AV1未來(lái)的改進(jìn)與優(yōu)化任重而道遠(yuǎn)。

Q&A

Q：VP9在將來(lái)會(huì)大面積普及嗎？

A：我認(rèn)為VP9當(dāng)前存在最大的妨礙其普遍推行的問(wèn)題是兼容性，因?yàn)楝F(xiàn)在很多設(shè)備都采用向下兼容的策略，而VP9在諸多設(shè)備上的普及率不高；如果大家在直播等領(lǐng)域使用VP9進(jìn)行編碼則必須經(jīng)過(guò)轉(zhuǎn)碼之后才能通過(guò)CDN分享，隨后重新轉(zhuǎn)成H.264或H.265再播放，這樣勢(shì)必會(huì)帶來(lái)很多麻煩。

Q：能否在客戶端實(shí)現(xiàn)硬編？

A：現(xiàn)在的一些高端手機(jī)已經(jīng)可以實(shí)現(xiàn)性能穩(wěn)定的硬編H.265，例如對(duì)iOS而言，iPhone7以上的機(jī)型都可穩(wěn)定實(shí)現(xiàn)。但在較為碎片化的安卓機(jī)型上，由于安卓機(jī)型解碼時(shí)對(duì)多種協(xié)議的支持力度不統(tǒng)一，加上不同檔次的手機(jī)性能差距過(guò)大，編碼性能受到很大影響。手淘上主播的機(jī)型主要是ios，所以在淘寶上我們主要采用硬編方案；而對(duì)于直播環(huán)境，因?yàn)樾枰狢DN進(jìn)行內(nèi)容分發(fā)，而CDN重點(diǎn)支持的鏈路基本屬于H.264，編碼方式受限于整個(gè)直播的鏈路環(huán)境。