第一個將Palette Mode引入VVC，阿里云在JVET會議上引起關注

摘要：?本文作者阿里云視頻云高級技術專家?？氯缡钦f：阿里云在屏幕視頻編碼技術和應用上有世界領先的團隊。6月中國AVS會議中，阿里云提出提案分析屏幕視頻編碼的應用需求，引起AVS組織關注，采納阿里云的提案成為下一代AVS3的需求。

從應用需求出發(fā)，幫助標準組織制定出更貼近云端業(yè)務需求的標準

視頻壓縮標準是一個重要且深具挑戰(zhàn)的研究方向。從過去的存儲到當前的網(wǎng)絡帶寬，視頻標準每一代的更新進步對科技應用都有很大的影響。但同時隨著幾十年來的發(fā)展，視頻壓縮標準的效率提升也變的越來越困難。為了能夠持續(xù)推進視頻壓縮標準的進步，在國際視頻標準組織中，各公司的專家通過不斷研究和貢獻，使得每一代新的標準都能在同樣視頻質量下達到50%左右的碼率降低?？梢哉f現(xiàn)今互聯(lián)網(wǎng)上能夠有這么多影響每一個人生活的視頻應用，背后都是因為視頻標準組織中這些專家們的付出。

現(xiàn)今視頻標準組織主要有三個：

(1) 由ISO／IEC的MPEG和ITU-T的VCEG專家共同組成的JVET，目前正在制定備受矚目的下一代國際視頻編解碼標準VVC（未來的H.266）。
(2) 國內的視頻標準組織AVS，由中國最強的視頻編解碼技術專家團隊組成，同時該標準也被輸出為國際標準IEEE1857。
(3) 世界上第一個由工業(yè)界主導并完全不收取專利費用的視頻標準組織AOM。

一個視頻標準的成功需要具備很多因素：貼近市場需求、先進的技術、以及合理的授權制度。阿里巴巴加入標準會議后，除了貢獻技術提案外，更希望從應用需求出發(fā)，幫助標準組織制定出更貼近云端業(yè)務需求的標準，進而幫助未來標準能在云計算產(chǎn)業(yè)順利落地。阿里云具有最全面的視頻應用場景，包含直播、點播、轉碼、音視頻通信、短視頻等。不同的應用場景具有不同的需求和技術難點，尤其是隨著互聯(lián)網(wǎng)不斷的發(fā)展，很多新的應用有與傳統(tǒng)視頻編解碼不一樣的需求。阿里云服務眾多的互聯(lián)網(wǎng)客戶，希望能夠幫助客戶將這些需求納入到標準組織中，使得下一代視頻編解碼標準在互聯(lián)網(wǎng)上能有更廣泛的應用場景，解決客戶實際痛點。

1.屏幕編碼的應用與挑戰(zhàn)

在現(xiàn)在的互聯(lián)網(wǎng)應用中，有很多新的應用正在變得越來越重要，如屏幕視頻編碼。在線上會議中的屏幕共享和共同編輯、線上教育、線上游戲直播、無線投屏以及云端桌面等應用，都需要屏幕視頻編碼的技術支持。

圖1: 屏幕視頻的例子

屏幕視頻和傳統(tǒng)自然視頻的特性很不相同，因而在壓縮上會面臨到非常不一樣的挑戰(zhàn)。圖1是兩個屏幕視頻的例子。在屏幕視頻中，因為畫面是電腦渲染出來的，所以包含了很多銳利的物體邊界，這些銳利邊界含有大量的高頻成分，傳統(tǒng)的編碼工具很難達到有效的壓縮。同時，人類視覺對這些銳利邊界是非常敏感的，輕微失真所造成的模糊就能很容易被使用者感知到。以互聯(lián)網(wǎng)屏幕共享的應用作為例子，在這類系統(tǒng)（線上教育和線上會議）中很常遇到的挑戰(zhàn)是：當使用者在共享屏幕時，可能同時會有攝像頭視頻和報告屏幕內容的共享，在有限的網(wǎng)絡環(huán)境下，使用者的帶寬是有限的，攝像頭視頻或許可以透過降低畫面品質來提供穩(wěn)定的服務，但是一旦加大報告屏幕內容的壓縮率，失真會馬上導致字體的清晰度下降，這樣的用戶體驗是不能容忍的。

此外，在屏幕共享系統(tǒng)設計中，也會有很多挑戰(zhàn)：線上會議中，不斷會有使用者隨機加入會議，一但有使用者加入會議，系統(tǒng)必須要重新編碼幀內編碼圖像作為視頻的起始點，同時考慮到屏幕視頻中，幀內編碼圖像和幀間編碼圖像的碼率差距會非常大，這就造成系統(tǒng)中碼率控制設計上的困難。另外，由于屏幕圖像渲染的特性和屏幕視頻系統(tǒng)的互動要求（如線上游戲和云端桌面），屏幕視頻往往需要非常高的幀率（大于30fps），這也更增加了系統(tǒng)設計的挑戰(zhàn)。

2.屏幕視頻編碼的歷史

屏幕視頻編碼研究可以追溯到90年代，ITU-T曾提出Mixed Raster Content (MRC)編碼標準。它采用分層編碼的方式來解決屏幕視頻編碼的問題。這樣的做法需要配合圖像分割的技術，因而增加了系統(tǒng)設計的復雜度。相較之下，另一種較簡易的做法是如同H.264／AVC和HEVC／H.265一般，采用以區(qū)塊為基礎的編碼方式，針對屏幕視頻設計新的編碼工具。然而在H.264／AVC制定過程中，屏幕視頻編碼并沒有引起足夠的重視，當然這也和當時相關的應用沒有大規(guī)模興起有關。

在HEVC／H.265 Main Profile中，針對屏幕內容設計了一種新的編碼模式：變換跳過模式(Transform Skip)。這個模式就是針對屏幕視頻中銳利的物體邊界而設計的。這樣的內容經(jīng)過變換后，在頻域引入的大量高頻信息反而無法得到有效的壓縮，因此變換跳過模式是一種簡單而有效的解決方法。在Main Profile的算法框架下，并沒有引入太多的復雜度。

HEVC／H.265初版定稿后，針對屏幕視頻編碼制定了一個標準擴展（HEVC SCC Extension）。在這個標準擴展中采納了更多屏幕視頻編碼的技術。其中有兩個重要的技術分別是：同幀參考（Current Picture Referencing)和調色盤模式（Palette Mode）。

同幀參考在概念上只是單純的把幀間預測擴展到可以參考當前幀內已經(jīng)解碼的區(qū)域。雖然概念非常簡單，但是卻能有效的降低碼率。因為在屏幕視頻中常常會出現(xiàn)重復的內容（例如：英文字母），例如圖2。這樣的內容在同一幀中可以找到很好的預測，能夠有效降低碼率。

圖2: 同幀參考

屏幕編碼另一個重要的新技術是調色盤模式，這個工具能夠有效的描述屏幕視頻中主要的顏色，并利用這些顏色來編碼像素。特別的是，調色盤模式除了可以增進客觀質量外，對主觀質量也非常有幫助，如之前所介紹的屏幕視頻中對字體邊界的銳利度的主觀要求就非常嚴。調色盤模式是一個對壓縮字體或銳利物體非常有效的工具。圖3是簡單舉例了調色盤模式，左上角是一個需要壓縮的屏幕內容。右上角是屏幕像素的統(tǒng)計圖，橫軸是像素值，縱軸是像素數(shù)量。從統(tǒng)計圖中可以看到屏幕內容只有三種主要的顏色：藍、紅和淺藍。我們可以把這三種主要顏色編碼入調色盤(圖3右下角)，并且給每一個主要顏色一個索引值。然后我們利用這些顏色索引值去描述像素。在解碼端，解碼器先解出調色盤得到三個主要顏色，然后解出每個像素的顏色索引值，最后利用索引值去找到主要顏色來重建像素。研究發(fā)現(xiàn)這樣的編碼工具對屏幕視頻編碼相當有幫助。

圖3: 調色盤(Palette Mode)

3.屏幕視頻編碼在下一代視頻標準中的研究

盡管屏幕編碼在過去標準中已經(jīng)有相關技術支持，但還是有很多技術值得進一步研究。例如：在HEVC SCC定稿后，阿里云視頻云高級技術專家?？略?jīng)發(fā)表過一篇期刊論文，在論文中提出數(shù)個技術改進HEVC SCC的調色盤模式和同幀參考，可以在不增加解碼復雜度的情況下更進一步降低碼率。另外還有一些非常有潛力的研究，例如字串復制（string copy），雖然在上一代標準沒有被采納，但是還是值得繼續(xù)深入研究。這些技術都有可能為下一代的標準進一步提升屏幕編碼的效率。

阿里云在屏幕視頻編碼技術和應用上有世界領先的團隊。由于屏幕視頻編碼的重要性，阿里云在加入標準組織后，首先積極推動屏幕視頻編碼的進展。

在今年4月第10次JVET會議時，標準組織成立屏幕視頻編碼工作組，阿里云擔任工作組聯(lián)席主席。6月中國AVS會議中，阿里云提出提案分析屏幕視頻編碼的應用需求，引起AVS組織關注，采納阿里云的提案成為下一代AVS3的需求。7月第11次JVET會議時，阿里云是世界上第一個將Palette Mode引進VVC（未來的H.266）的技術團隊，會議中引起廣泛關注，JVET標準組織決定成了一個Palette Mode工作組，下次會議專門討論這個議題，阿里云也擔任這個工作組的主席。

隨著國際視頻標準會議對屏幕編碼的關注逐漸增加，相信未來通過各公司專家組的共同努力，下一代標準可以對屏幕編碼有更好的技術支持，進而創(chuàng)造出互聯(lián)網(wǎng)和云端上更多應用，讓使用者有更好更方便的體驗。

原文鏈接

本文為云棲社區(qū)原創(chuàng)內容，未經(jīng)允許不得轉載。