視頻編碼器的對(duì)比和選擇

本文來自Hulu全球高級(jí)研發(fā)經(jīng)理、視頻編解碼與傳輸領(lǐng)域資深專家傅德良在LiveVideoStackCon 2018熱身分享，并由LiveVideoStack整理而成。在分享中，傅德良以 Hulu實(shí)踐為基礎(chǔ)，介紹了視頻編解碼標(biāo)準(zhǔn)與視頻編碼器間的紛爭(zhēng)以及視頻編碼器對(duì)比中的常見誤區(qū)。

大家好，我是傅德良，在Hulu主要負(fù)責(zé)的團(tuán)隊(duì)是在做音視頻編解碼和傳輸相關(guān)的一些優(yōu)化和開發(fā)的工作，很高興跟大家聊一聊對(duì)于視頻編碼器的對(duì)比和選擇。

主要內(nèi)容分為以下三個(gè)方面：

1，紛爭(zhēng)的視頻標(biāo)準(zhǔn)與視頻編碼器

2，視頻編碼器對(duì)比中的常見誤區(qū)

3，選擇最合適的視頻編碼器

由于今天的熱身分享時(shí)間相對(duì)比較有限，所以今天主要會(huì)講常見誤區(qū)這一塊，關(guān)于選擇最合適的視頻編解碼器這個(gè)領(lǐng)域，更多的會(huì)在10月份的LiveVideoStackCon 2018正式分享中進(jìn)行介紹。

前言

關(guān)于Hulu

Hulu是美國(guó)的一家在線流媒體服務(wù)公司，在中國(guó)并沒有業(yè)務(wù)，主要服務(wù)的是美國(guó)的用戶。Hulu是由美國(guó)最大的幾家傳統(tǒng)的媒體公司合資創(chuàng)辦的，它的使命是為了重新定義電視這一行業(yè)。大家也知道電視這一行當(dāng)已經(jīng)出現(xiàn)很久了，不過一直到現(xiàn)在，它在每個(gè)人的生活中仍然具有相當(dāng)重要的地位。在Hulu上既有點(diǎn)播，也有直播的內(nèi)容，我們站上的這些視頻大部分都是高質(zhì)量的視頻，主要是一些美劇，還有一些電影，同時(shí)也有一些自制劇，Hulu近幾年自制劇上面也有一些比較多的好劇出來。

上圖是一個(gè)由第三方的數(shù)據(jù)公司做的美國(guó)比較主流的幾個(gè)在線流媒體服務(wù)公司的一些數(shù)據(jù)統(tǒng)計(jì)，第一列的大概意思就是說，如果一個(gè)人從來沒有用過有線電視，他直接就開始在電視上使用在線流媒體服務(wù)的情況，我們稱之為Cordless，Hulu在這幾家公司里面是最高的。而且Total OTT Viewing Hours和Viewing Days也是最高的，也就是說對(duì)于Hulu來講，用戶在站上的黏性是非常高的。Hulu的商業(yè)模式是付費(fèi)加廣告的一種模型，也就是說首先需要付費(fèi)成為付費(fèi)玩家才能夠真正的在我們的站上觀看視頻，在此基礎(chǔ)之上，還可以選擇去廣告或者是有廣告。在這種模式下，為了提供比較優(yōu)質(zhì)的內(nèi)容，視頻質(zhì)量對(duì)于我們的這種服務(wù)來講是非常重要的，因此，不斷地提高視頻的傳輸和壓縮的水平是非常重要的。所以，Hulu經(jīng)常會(huì)做一些不同的編碼器，不同的技術(shù)之間的一些選型，在這方面我們也積攢了一些相關(guān)的經(jīng)驗(yàn)。

紛爭(zhēng)的視頻標(biāo)準(zhǔn)與視頻編碼器

1，視頻編解碼標(biāo)準(zhǔn)

視頻編解碼標(biāo)準(zhǔn)一般是由一些標(biāo)準(zhǔn)化組織去組織創(chuàng)辦和制訂的一種規(guī)范，它主要規(guī)定了我們?cè)?a target="_blank">網(wǎng)絡(luò)上傳輸視頻的碼流格式，從碼流格式中也相應(yīng)的規(guī)定了音視頻編解碼的基本流程。從流程上來講，編解碼標(biāo)準(zhǔn)主要統(tǒng)一的是編碼器和解碼器的接口，它通過規(guī)定了碼流的格式，也就規(guī)定了在編碼標(biāo)準(zhǔn)中可以使用的一些編解碼工具的集合，也就能夠保證音視頻的壓縮效率。

上圖是目前最常見的混合編碼框架的基本流程圖，這里就不細(xì)講了，整個(gè)視頻編碼的基本原理就是通過一系列的方法去除冗余，最終達(dá)到降低碼率，但是同時(shí)又能夠恢復(fù)原始圖像的目的。另外，編解碼標(biāo)準(zhǔn)只是對(duì)碼流進(jìn)行了一系列的規(guī)定，事實(shí)上它并沒有去具體的規(guī)定編碼是怎樣做的，如果你去看標(biāo)準(zhǔn)文檔，它其實(shí)規(guī)定的是整個(gè)解碼的流程。

2，視頻編碼器

視頻編碼器實(shí)際上跟視頻編解碼標(biāo)準(zhǔn)是有很大不同的，視頻編碼器是視頻編解碼標(biāo)準(zhǔn)的一種代碼實(shí)現(xiàn)，但是同一套算法的不同的實(shí)現(xiàn)，性能和效率的差別都是很顯著的。視頻編碼器之間的主要差異分為以下幾個(gè)方面：

1）視頻編解碼標(biāo)準(zhǔn)中壓縮工具的支持情況

2）針對(duì)視頻編碼速度的優(yōu)化

3）針對(duì)視頻編碼質(zhì)量的優(yōu)化

4）功能和代碼的可擴(kuò)展性

5）商用 vs. 免費(fèi)

舉個(gè)例子，有人認(rèn)為HEVC編碼器一定比H.264的編碼器要強(qiáng)，但是我們知道在HEVC中有很多種不同的預(yù)測(cè)方向，如果我設(shè)計(jì)一種編碼器不使用幀間預(yù)測(cè)，只使用幀內(nèi)預(yù)測(cè)，而且不管內(nèi)容是怎樣的，都使用這一個(gè)固定的模式來進(jìn)行編碼，那么這樣編出來的碼流可想而知，它的預(yù)測(cè)的效果是很差的，壓縮的效率會(huì)非常的低。雖然碼率很高，質(zhì)量很差，但是這個(gè)碼流仍然可能是符合HEVC標(biāo)準(zhǔn)的。相對(duì)來說，如果用H.264的來做編碼，但是整個(gè)編碼器的優(yōu)化做得非常的好，整個(gè)的碼率控制都優(yōu)化到了非常優(yōu)秀的程度，那么這個(gè)H.264編碼器編出來的視頻碼流的質(zhì)量完全可以比HEVC編碼器編出來的效果更好。在視頻編解碼領(lǐng)域，新的標(biāo)準(zhǔn)剛剛出來的時(shí)候，大家不會(huì)很快的去采用這種新標(biāo)準(zhǔn)的編碼方案，原因就是在于編碼器端的優(yōu)化還沒有做到位，所以說單純?cè)诳紤]編碼器的性能和它對(duì)這種標(biāo)準(zhǔn)的支持是非常片面的一種做法。因此，在實(shí)際的工作中，選擇編碼器一定不要盲目的相信H.265的編碼器就一定比H.264的編碼器好，這個(gè)是不一定的，甚至有些時(shí)候一些比較Low的標(biāo)準(zhǔn)也可以做得很好。因此，在選擇編碼器的時(shí)候，要從上述的視頻編碼器之間的差異出發(fā)來選擇。

3，紛爭(zhēng)的編解碼標(biāo)準(zhǔn)與編碼器

在整個(gè)編碼器對(duì)比的過程中，經(jīng)常遇到的一個(gè)非常大的誤區(qū)就是把視頻編解碼標(biāo)準(zhǔn)和視頻編碼器混為一談。

上面簡(jiǎn)單羅列一下目前市面上的很多種不同的編解碼標(biāo)準(zhǔn)以及不同標(biāo)準(zhǔn)的編碼器，在實(shí)際生產(chǎn)中，作為一個(gè)在線視頻提供方，如果希望自己去做視頻的壓縮，那么在編碼器的選擇上，毫無疑問是一個(gè)大問題。并不是說，市面上只有那么幾款編碼器直接用就行了，并不是那么的簡(jiǎn)單，在很多的場(chǎng)景中，我們都會(huì)遇到如何去對(duì)比不同的音視頻編碼器來選擇適合的編解碼器的課題。

視頻編碼器對(duì)比中的常見誤區(qū)

1，誤區(qū)一：脫離速度評(píng)價(jià)質(zhì)量

從視頻編解碼標(biāo)準(zhǔn)的發(fā)展歷史來講，整體來說是復(fù)雜度越來越高，效率越來越高。在很多場(chǎng)景下，視頻編碼中速度和質(zhì)量在一定范圍內(nèi)是可以相互轉(zhuǎn)換的，也就是說可以犧牲質(zhì)量來加快速度。因此，如果只是單純考慮質(zhì)量維度，但不考慮速度，就會(huì)有很大的誤差；此外，即使同一編碼器的不同的速度檔次之間的質(zhì)量差距也可以非常的巨大。

上圖是我們內(nèi)部對(duì)開源的HEVC編碼器的測(cè)試圖，可以看出對(duì)于同一編碼器，在不同的速度檔次下，質(zhì)量是有差距的；在相同碼率下，速度越快，質(zhì)量也相對(duì)較低。因此，我們?cè)趯?duì)比不同編碼器的編碼質(zhì)量時(shí)，一定要在同一速度下比較編碼質(zhì)量才有意義。

2，誤區(qū)二: 速度對(duì)比中環(huán)境不一致

為了達(dá)成準(zhǔn)確的視頻編碼器對(duì)比，需要使得編碼器速度一致再進(jìn)行對(duì)比，在這個(gè)過程中，有的時(shí)候會(huì)有一個(gè)問題即對(duì)比的環(huán)境不一致。當(dāng)編碼器放在不同的這種軟硬件環(huán)境下進(jìn)行測(cè)試時(shí)，對(duì)比結(jié)果可能有很多的誤差。由于優(yōu)化和實(shí)現(xiàn)上的區(qū)別，各編碼器在不同運(yùn)行環(huán)境下速度差別顯著。在對(duì)比不同編碼器的過程中，我們需要考慮到CPU線程數(shù)量，硬件加速環(huán)境和開關(guān)，CPU指令集支持情況和內(nèi)存容量、帶寬等因素。要在相同的測(cè)試環(huán)境下對(duì)比，不一致或不合理的測(cè)試環(huán)境會(huì)導(dǎo)致編碼器對(duì)比結(jié)果不正確。

3，誤區(qū)三: 脫離碼率范圍對(duì)比質(zhì)量

在視頻編碼的過程中，視頻編碼質(zhì)量通常與視頻編碼碼率成正相關(guān)，但并非線性相關(guān)。在大的碼率范圍內(nèi)，隨著碼率的進(jìn)一步增加，質(zhì)量的增加是慢慢的衰減的，這也就意味著說，各個(gè)編碼器在不同的碼率范圍的性能表現(xiàn)可能是很不一致的。在實(shí)際生產(chǎn)中，視頻編碼碼率潛在范圍非常寬廣，例如，同樣都是720P的AVC的編碼器，有的用5000kbps，有的用500kbps。對(duì)于一些硬件編碼器，在低碼率的情況下，速度很快，編碼質(zhì)量也還可以，它的編碼效果就比一些軟件編碼器要好。但在高碼率的情況下，硬件編碼器可能由于它的編碼工具實(shí)現(xiàn)的不夠完善導(dǎo)致質(zhì)量上不去，這時(shí)候軟件編碼器就會(huì)表現(xiàn)的更好。因此，在對(duì)比編碼器的時(shí)候，一定要在它合適的碼率范圍內(nèi)來比較性能，脫離碼率范圍對(duì)比編碼質(zhì)量很容易導(dǎo)致錯(cuò)誤結(jié)論。

4，誤區(qū)四: 僅依賴小規(guī)模公開測(cè)試序列進(jìn)行測(cè)試

在視頻編碼的過程中，視頻編碼效率與視頻內(nèi)容高度相關(guān)的，同一視頻編碼器在不同類型內(nèi)容上的表現(xiàn)經(jīng)常是不一致的。此外，還有一部分編碼工具主要針對(duì)某一類視頻有效，它主要針對(duì)某一特定場(chǎng)景有效，如果你的測(cè)試場(chǎng)景并不包含它，這個(gè)測(cè)試的結(jié)果就不會(huì)好。因此在測(cè)試過程中，最好能夠針對(duì)你的業(yè)務(wù)需求由真正的應(yīng)用場(chǎng)景去設(shè)計(jì)比較大規(guī)模的測(cè)試集，僅僅依賴小規(guī)模公開測(cè)試序列測(cè)試容易引入誤差。測(cè)試群規(guī)模小就不能夠涵蓋產(chǎn)品中的所有情況，而且公開測(cè)試序列不能體現(xiàn)業(yè)務(wù)特點(diǎn)與需求，此外還有部分編碼器針對(duì)公開測(cè)試序列進(jìn)行了過擬合的調(diào)優(yōu)，這些都會(huì)導(dǎo)致測(cè)試結(jié)果誤差較大。

5，誤區(qū)五: 僅使用PSNR評(píng)價(jià)質(zhì)量

PSNR為視頻編碼領(lǐng)域經(jīng)典指標(biāo)，至今被廣泛應(yīng)用，它是純客觀指標(biāo)，單純體現(xiàn)編碼后視頻與原始視頻差異程度。但是像PSNR這樣子的純客觀指標(biāo)是有一定的局限性的，在很多情況下并不能正確反映視頻主觀質(zhì)量。

上面兩幅圖如果用PSNR來衡量，與原圖相比較它們的PSNR的大小是一樣的。但是我們很明顯的可以看到，右邊的圖它有一些噪音在里面，在主觀上來看，左邊的圖比右邊的圖質(zhì)量要好。因此，如果單純使用PSNR評(píng)價(jià)質(zhì)量可能會(huì)使的我們進(jìn)入一些誤區(qū)，而且近些年，很多的編碼器里都會(huì)有基于主觀質(zhì)量進(jìn)行的優(yōu)化。

選擇最合適的視頻編碼器

當(dāng)我們避開上面的誤區(qū)時(shí)，選擇的編碼器一般是相對(duì)靠譜的。在選擇編碼器的過程中，我們要充分考察業(yè)務(wù)需求，選定必要功能，還要詳細(xì)考察運(yùn)行環(huán)境，并相應(yīng)制定測(cè)試環(huán)境。在測(cè)試的過程中，要明確定義測(cè)試目標(biāo)，要注意編碼速度和碼率范圍。此外，如果是你只是想做個(gè)學(xué)術(shù)的研究，只用公開的序列就足夠，對(duì)于工業(yè)實(shí)踐還要根據(jù)自己的業(yè)務(wù)需求定制特定的測(cè)試序列，而且測(cè)試序列規(guī)模應(yīng)當(dāng)足夠大。最后評(píng)價(jià)編碼器的編碼質(zhì)量要主觀質(zhì)量和客觀質(zhì)量結(jié)合起來，不可僅僅從單一方面評(píng)價(jià)好壞。

Q&A

Q1: 請(qǐng)問有沒有公開大量數(shù)據(jù)集的計(jì)劃？

A:如果你關(guān)注的話，你會(huì)發(fā)現(xiàn)在業(yè)界對(duì)于數(shù)據(jù)集的公布，成本是比較高的，因?yàn)樗伺臄z還有一個(gè)處理的過程，還有包括一些版權(quán)，這些相對(duì)來講還是比較復(fù)雜的，我們目前暫時(shí)沒有公布測(cè)試數(shù)據(jù)集的一種行為。在業(yè)界有一些公司其實(shí)是能夠找到一些的，但是數(shù)量坦白的說也并不是非常的大，個(gè)人建議就是說還是在自己的業(yè)務(wù)場(chǎng)景里邊根據(jù)自己的需求去做，像這樣相對(duì)來講比較靠譜一些。

Q2: 數(shù)字水印有什么好的測(cè)量方法呢？

A:這塊沒有太多涉及，在我們的業(yè)務(wù)中比較少涉及到數(shù)字水印，不同的水印原理也不一樣，據(jù)我所知在美國(guó)市場(chǎng)上有一些這種數(shù)字水印，它并不一定是加在視頻上的，有的時(shí)候是加在音頻上的，據(jù)我所知，尼爾森有一些這種數(shù)字水印的技術(shù)，它的原理是把它加在人耳不容易感知到的頻段上，再使用相關(guān)的設(shè)備進(jìn)行相關(guān)的提取。視頻上面的話，沒有接觸過。

Q3: X264除了參數(shù)調(diào)優(yōu)以外提升質(zhì)量還有哪些的優(yōu)化？

A:X264這個(gè)編碼器本身的優(yōu)化做得已經(jīng)比較好了，如果說參數(shù)調(diào)優(yōu)不考慮在內(nèi)的話，這個(gè)也要看你的業(yè)務(wù)場(chǎng)景，如果說你的業(yè)務(wù)場(chǎng)景是這種對(duì)編碼速度要求很高的情況的話，你可以考慮對(duì)它的這種原有的這些速度級(jí)別進(jìn)行有針對(duì)性的一些篩選，比方說它原來給你提供了大概八九個(gè)不同的速度的級(jí)別，但是如果你需要一個(gè)比較快的檔次的話，你可以自己對(duì)這些工具進(jìn)行定制化的改動(dòng)。其他的話，就是比較外圍的，很多都是跟參數(shù)調(diào)優(yōu)相關(guān)的。