當我們談論視頻技術時,超高清視頻(Ultra High Definition,簡稱UHD)無疑是當今最令人興奮的領域之一。前幾期,我們在高清視頻方面分別介紹了超高清視頻的各項技術,包括:HDR、編解碼、三維聲、超分技術、數(shù)字版權、虛擬演播室和云端視頻制作,今天我們來展開談一下國內(nèi)高清視頻的標準HDR Vivid。
關聯(lián)回顧
全圖說電視的發(fā)展歷史
全圖說視頻編解碼的發(fā)展歷史
由淺入深說高清——聊聊高動態(tài)范圍(HDR)
由淺入深說高清——HDR的標準之爭
由淺入深說高清——HDR的適配性與流程化的挑戰(zhàn)由淺入深說高清——讓人眼花繚亂的超高清視頻編解碼格式由淺入深說高清——超高清視頻的三維聲技術由淺入深說高清——基于深度學習的超分技術由淺入深說高清——超高清視頻的數(shù)字版權管理由淺入深說高清——沉浸式的虛擬演播室技術由淺入深說高清——高效的云端視頻制作技術1.前言
我們前面用了9期來談超高清視頻相關的各種技術,相信大家應該已有了深刻的認知。超高清絕對不是4K/8K分辨率這么簡單。只有更高的視頻刷新幀率、高動態(tài)范圍、更廣的色域,更廣的視角,更好的HEVC編解碼技術、三維聲,終端顯示畫面能力、以及以5G、Wi-Fi、光傳輸和CDN為代表的通信技術等配搭,才促成了超高清視頻時代的來臨。才會給用戶帶來了更為清晰的視頻畫面、更廣闊的視野、更逼真的色彩、更流暢的畫面,更具臨場感的沉浸式音視聽視頻體驗全面升級。
當然,超高清視頻的產(chǎn)業(yè)升級,不僅僅是消費領域拉動的。航空航天、醫(yī)療影像和安防監(jiān)控領域,都依仗著超高清技術的加持,才能讓天文學家探索更遙遠的茫茫宇宙,才能幫助醫(yī)生更精準地診斷病患和完成復雜手術,才能營造一個安全和諧的社會。
超高清視頻的產(chǎn)業(yè)升級和生態(tài)繁榮,一定離不開標準規(guī)范的加持。從前幾期的介紹我們也看到了,超高清視頻很多相關技術領域都存在標準共存,相互角力的狀況,高動態(tài)范圍(HDR)也不例外。
2. 為什么需要HDR Vivid?超高清視頻不僅是用戶高質(zhì)量視聽體驗的剛需和趨勢所在,也已成為全球范圍內(nèi)視頻產(chǎn)業(yè)競爭的重要賽道之一。
前面幾期有介紹,在2015年8月27日發(fā)布的高動態(tài)范圍標準HDR10是靜態(tài)HDR標準技術,盡管它是全球開放免費的。但是靜態(tài)元數(shù)據(jù),意味著整個視頻使用單一的元數(shù)據(jù)來控制所有畫面的色彩和細節(jié)。不能動態(tài)適應不同場景、不同亮度的視頻片段和終端形態(tài)。這種元數(shù)據(jù)無法充分展露HDR的最大表現(xiàn)力。
杜比視界(Dolby Vision)和HDR10+盡管都支持動態(tài)元數(shù)據(jù),但它們都是針對場景的動態(tài)元數(shù)據(jù)調(diào)整。這意味著元數(shù)據(jù)可以優(yōu)化每個單獨場景的亮度、對比度和顏色,從而更準確、更逼真地呈現(xiàn)內(nèi)容。這可以帶來更一致的跨場景觀看體驗,尤其是在從一個場景到另一個場景的照明或顏色發(fā)生顯著變化的情況下。但是,在單個場景中亮度、對比度和顏色快速變化的情況下,此方法可能效果不佳,因為元數(shù)據(jù)可能無法跟上變化。產(chǎn)業(yè)需要逐幀都動態(tài)調(diào)整標準。
另外,我國是全球最大的電視市場,市場對HDR技術的需求很高。然而,HDR技術最初是由歐美公司主導的,他們在HDR技術標準上持有著較大的話語權,且收取高額的專利費。我國也是高清視頻產(chǎn)業(yè)設備生產(chǎn)大國,整個價值鏈的高成本和有限的設備支持阻礙了生態(tài)系統(tǒng)的發(fā)展。因此自主研發(fā)HDR技術標準有助于打破對歐美公司的依賴。
也正是基于這種背景,HDR Vivid應運而生。
3. HDR Vivid標準發(fā)展歷史
世界超高清視頻產(chǎn)業(yè)聯(lián)盟(UWA)突破技術瓶頸,正式發(fā)布了HDR Vivid (菁彩)高動態(tài)范圍視頻團體標準,成為動態(tài)HDR視頻標準領域的新勢力。HDR Vivid的誕生與發(fā)布,不僅填補國內(nèi)關鍵技術空白,更是超高清產(chǎn)業(yè)生態(tài)中特別是在內(nèi)容制作及內(nèi)容生產(chǎn)力工具上的又一次革新與顛覆。
HDR Vivid標準工作組在2019年12月份成立。經(jīng)過CUVA(中國超高清視頻產(chǎn)業(yè)聯(lián)盟,UWA的前身)成員與主要視頻企業(yè)的多次磋商,2020年5月份,HDR Vivid標準第一稿制定完成,并在次月對外公開征求意見。HDR Vivid的第一部分:《高動態(tài)范圍(HDR)視頻技術第1 部分: 元數(shù)據(jù)及適配》,在2020年7月份發(fā)布。如今HDR Vivid標準已經(jīng)延展到系統(tǒng)集成、后期制作、顯示播放設備、軟件、編解碼等等領域:
-
-
《高動態(tài)范圍(HDR)視頻技術 第1部分 元數(shù)據(jù)及適配》
-
《高動態(tài)范圍(HDR)視頻技術 第2-1部分:應用指南 系統(tǒng)集成》
-
《高動態(tài)范圍(HDR)視頻技術 第2-2部分:應用指南 后期制作》
-
《高動態(tài)范圍(HDR)視頻技術 第3-1部分:技術要求和測試方法 顯示設備》
-
《高動態(tài)范圍(HDR)視頻技術 第3-2部分:技術要求和測試方法 便攜式顯示設備》
-
《高動態(tài)范圍(HDR)視頻技術 第3-3部分:技術要求和測試方法 播放設備》
-
《高動態(tài)范圍(HDR)視頻技術 第3-4部分:技術要求和測試方法 播放軟件》
-
《高動態(tài)范圍(HDR)視頻技術第3-5部分:技術要求和測試方法 實時編碼設備》
-
《高動態(tài)范圍(HDR)視頻技術 第3-6部分_技術要求和測試方法 播放軟件用設備》
-
從概念的提出到形成草案,再到實施和部分落地僅用了兩年多,可以說HDR Vivid的發(fā)展速度非???。據(jù)了解,目前包括采集、制作、編碼、傳輸、播放、解碼、顯示等產(chǎn)業(yè)鏈各環(huán)節(jié)都已做好HDR Vivid商用化的準備。HDR Vivid將迎來全面商用化,屆時消費者可以能夠通過大多數(shù)顯示設備看到更加豐富的色彩與畫面細節(jié)。
4. HDR Vivid的優(yōu)勢HDR Vivid和其他的HDR標準相比,綜合優(yōu)勢是非常明顯的:
HDR10 | HDR10+ | Dolby Vision | HDR Vivid | |
標準開發(fā)者 | CTA | 三星 | 杜比 | UWB |
開放性 | 免費 |
內(nèi)容免費 設備制造商年費 |
私有 | 免費 |
亮度曲線 | PQ | PQ | PQ/HLG | PG/HLG |
位深 | 10bit | 10bit或以上 | 10/12bit | 10/12bit |
亮度峰值 | 4,000 nits | 4,000nits | 10,000nits | 10,000nits |
色彩空間 | Rec. 2020/P3-D65 | Rec. 2020/P3-D65 | Rec. 2020/P3-D65 | Rec. 2020/P3-D65 |
元數(shù)據(jù) | 靜態(tài) | 靜態(tài)+動態(tài) | 靜態(tài)+動態(tài) | 靜態(tài)+動態(tài) |
調(diào)節(jié)細節(jié) | 無 | 基于場景 | 基于場景 | 基于場景或逐幀調(diào)節(jié) |
后相兼容 | 不兼容 | HDR10 | 相對較高 | 相對較高 |
相較于傳統(tǒng)的SDR(標準動態(tài)范圍)技術,HDR Vivid的制作域高光亮度已經(jīng)是其40倍,最大亮度支持10000nit,并且支持10/12bit色深、P3到BT.2020色域。這使得HDR Vivid能夠通過增強明暗對比,建立更加鮮明的層次感和立體維度,更好地還原內(nèi)容創(chuàng)作者的初衷,給予調(diào)色師更多的可能性,從而使得用戶能夠通過每一幀畫面感受到更加豐富的光影世界。
此外,HDR Vivid還能夠借助動態(tài)元數(shù)據(jù)和智能映射,根據(jù)每個場景的亮度和色彩信息動態(tài)調(diào)整顯示效果,從而在終端設備上呈現(xiàn)最優(yōu)的觀看效果,確保消費者能夠獲得極致的視覺體驗。這使得HDR Vivid成為了一種極具潛力的高動態(tài)范圍技術,能夠進一步提升視頻的表現(xiàn)力和視覺效果,讓觀眾們能夠更好地享受高質(zhì)量的視頻內(nèi)容。
4.2 還原創(chuàng)作者真實意圖,用技術打造廣闊創(chuàng)作空間
HDR10+ 和杜比視界中使用的逐場景動態(tài)元數(shù)據(jù)調(diào)整允許在每個場景的基礎上進行逐幀調(diào)整。這意味著元數(shù)據(jù)可以優(yōu)化每個單獨場景的亮度、對比度、色調(diào)和顏色,從而更準確、更逼真地呈現(xiàn)內(nèi)容。這可以帶來更一致的跨場景觀看體驗,尤其是在從一個場景到另一個場景的照明或顏色發(fā)生顯著變化的情況下。但是,在單個場景中亮度、對比度和顏色快速變化的情況下,此方法可能效果不佳,因為元數(shù)據(jù)可能無法跟上變化。
HDR Vivid 中使用的逐幀動態(tài)元數(shù)據(jù)調(diào)整允許在每幀的基礎上進行調(diào)整。這意味著元數(shù)據(jù)可以優(yōu)化每個單獨幀的圖像,從而更精確和細致地呈現(xiàn)內(nèi)容。這可以帶來更逼真和更詳細的觀看體驗,尤其是在場景中照明或顏色快速變化的情況下。然而,這種方法可能需要更多的處理能力,并可能導致計算量更大的觀看體驗,這可能不適用于所有設備。但從執(zhí)行效果來看,與Dolby Vision和HDR10+相比,HDR Vivid標準在色彩重現(xiàn)和明暗細節(jié)處理方面更加突出,可以更好地適應中國市場的特殊需求。
HDR Vivid技術可根據(jù)不同場景逐幀或逐鏡頭自動分析動態(tài)元數(shù)據(jù),并且創(chuàng)作者還可以根據(jù)創(chuàng)作意圖手動調(diào)節(jié)元數(shù)據(jù),從而使創(chuàng)作具有更多的靈活性。在實際調(diào)色中,HDR Vivid支持幀級動態(tài)元數(shù)據(jù)調(diào)節(jié)功能的應用可以讓制作人員和創(chuàng)作者更直接地觀察到畫面變化。在專業(yè)內(nèi)容制作中,HDR Vivid的高動態(tài)范圍和寬色域?qū)傩詫⒆畲蟪潭鹊剡€原創(chuàng)作者的意圖,從畫面細節(jié)、層次和色彩方面呈現(xiàn)更多細膩和真實的效果。然而,不同的題材和場景需要進行美術、攝影、場景、燈光等的設計,因此,調(diào)色不能僅僅是“一鍵生成”,實際的效果和實用功能方向也會有所不同。
4.3 智能計算+個性化適配,實現(xiàn)多端統(tǒng)一
HDR Vivid動態(tài)元數(shù)據(jù)技術為視頻源每一幀圖像提供了亮度和色調(diào)信息,使每一幀畫面都能保留完整的亮度和色調(diào),但不同產(chǎn)品類型、顯示技術的顯示終端硬件規(guī)格差異較大,畫面呈現(xiàn)也就千差萬別。所以,相同的信號如何在不同規(guī)格的終端上呈現(xiàn)出最佳且統(tǒng)一的畫質(zhì)是HDR需要重點解決的關鍵技術問題。
針對顯示模塊環(huán)節(jié)的智能計算方案是HDR Vivid 在多終端顯示一致性的關鍵所在。HDR Vivid 的智能計算方案,是通過智能實時分析視頻源元數(shù)據(jù)和終端參數(shù),自動適配最佳映射方案,使不同終端設備都能還原HDR 的優(yōu)質(zhì)畫面。
可見HDR Vivid這一技術與藝術相結合的標準,很大程度保證了實際到戶的效果。因此,HDR Vivid標準在統(tǒng)一終端呈現(xiàn)效果方面發(fā)揮了特別大的作用。
4.4端到端媒體系統(tǒng)標準
HDR Vivid 標準提供了公開、完善、先進的全鏈路端到端技術方案,技術內(nèi)容包括HDR 前處理、編碼傳輸、解碼、HDR/SDR 顯示模塊,每個環(huán)節(jié)都提供了具體的算法和解決方案,完善和開放程度超過了國內(nèi)外任何一種HDR標準。
現(xiàn)有UHD HDR視頻可平滑升級為HDR Vivid視頻,降低技術實現(xiàn)門檻。來自 HDR 源的動態(tài)元數(shù)據(jù)在前端制作階段被提取和編碼,并且在傳輸過程中不需要修改。自適應是基于設備端的動態(tài)元數(shù)據(jù)執(zhí)行的。
4.5更好的本地化和定制能力
HDR Vivid標準的研發(fā)是由中國科學院電子學研究所和國內(nèi)多家知名企業(yè)聯(lián)合開發(fā)的,這意味著中國在HDR技術領域擁有了更多的話語權和產(chǎn)業(yè)鏈布局的優(yōu)勢。更好地適應中國市場的特殊需求,促進本土產(chǎn)業(yè)的發(fā)展,有助于增強超高清視頻技術在中國市場的競爭力。HDR Vivid標準的出現(xiàn),可以提高超高清視頻的視覺效果和觀感體驗,有助于增強超高清視頻技術在中國市場的競爭力。
5. HDR Vivid的關鍵技術5.1HDR Vivid元數(shù)據(jù)結構
動態(tài)元數(shù)據(jù)定義 | 描述符 |
hdr_dynamic_metadata ( ) { | |
system_start_code u(8) | u(8) |
if(system_start_code==0x01|| system_start_code==0x02|| system_start_code==0x03||system_start_code==0x04||system_start_code==0x05||system_start_code==0x06||system_start_code==0x07){ | |
num_windows=1 | |
for( w = 0;w < num_windows;w++ ) { | |
minimum_maxrgb_pq[w] | u(12) |
average_maxrgb_pq[w] | u(12) |
variance_maxrgb_pq[w] | u(12) |
maximum_maxrgb_pq[w] | u(12) |
} | |
for(w = 0;w < num_windows;w++ ) { | |
tone_mapping_enable_mode_flag[w] | u(1) |
if( tone_mapping_enable_mode_flag [w]==1){ |
|
tone_mapping_param_enable_num [w] |
u(1) |
tone_mapping_param_num [w]++ |
|
for(i=0;i< tone_mapping_param_num [w];i++ ){ |
|
targeted_system_display_maximum_luminance_ pq[i][w] |
u(12) |
base _enable_flag[i][w] |
u(1) |
if(base _enable_flag[i][w]){ |
|
base_param_m_p[i][w] |
u(14) |
base_param_m_m[i][w] |
u(6) |
base_param_m_a[i][w] |
u(10) |
base_param_m_b[i][w] |
u(10) |
base_param_m_n[i][w] |
u(6) |
base_param_K1[i][w] |
u(2) |
base_param_K2[i][w] |
u(2) |
base_param_K3[i][w] |
u(4) |
base_param_Delta_enable_mode[i][w] |
u(3) |
base_param_enable_Delta[i][w] |
u(7) |
} |
|
3Spline _enable_flag[i][w] |
u(1) |
if(3Spline_enable_flag[i][w]){ |
|
3Spline_enable_num[i][w] |
u(1) |
3Spline _num++; |
|
for(j = 0;j < 3Spline _num;j ++ ) { |
|
3Spline_TH_enable_mode[j] [i][w] |
u(2) |
if((3Spline_TH_mode[j][i] [w]==0)||(3Spline_TH_mode[j][i][w]==2)){ |
|
3Spline_TH_enable_MB [j][i][w] | f(8) |
} | |
3Spline_TH_enable[j][i][w] | f(12) |
3Spline_TH_enable_Delta1 [j][i][w] | f(10) |
3Spline_TH_enable_Delta2 [j][i][w] | f(10) |
3Spline_enable_Strength[j][i][w] |
f(8) |
} |
|
} | |
} | |
} | |
color_saturation_mapping_ enable_flag[w] u(1) | u(1) |
if(color_saturation_mapping_flag[w]) { | |
color_saturation_ enable_num[w] | u(3) |
for(i = 0;i< color_saturation_num [w];i++ ) { | |
color_saturation_ enable_gain[i][w] | u(8) |
} | |
} | |
} | |
} | |
} |
元數(shù)據(jù)中的參數(shù)如下:
-
-
系統(tǒng)起始碼system_start_code,8位無符號整數(shù)。表示系統(tǒng)版本號。
-
RGB 分量最大值中的最小值minimum_maxrgb_pq[w],12位無符號整數(shù),表示顯示內(nèi)容的最小亮度。
-
RGB 分量最大值中的平均值average_maxrgb_pq[w],12位無符號整數(shù),表示顯示內(nèi)容的平均亮度。
-
RGB 分量最大值中的變化范圍variance_maxrgb_pq[w],12位無符號整數(shù),表示顯示內(nèi)容的變化范圍。
-
RGB 分量最大值中的最大值maximum_maxrgb_pq[w],12位無符號整數(shù),表示顯示內(nèi)容的最大亮度。
-
色調(diào)映射標識tone_mapping_enable_mode_flag[w],1位無符號整數(shù),表示傳送色調(diào)映射的標識。
-
色調(diào)映射參數(shù)數(shù)目tone_mapping_param_enable_num[w],1 位無符號整數(shù), 表示當前色調(diào)映射參數(shù)組的數(shù)目減1 。
-
參考目標顯示器最高亮度targeted_system_display_maximum_luminance_pq[I][w],12位無符號整數(shù),表示元數(shù)據(jù)對應的參考顯示器的最高亮度。
-
基礎曲線標識base_enable_flag[I][w],1 位無符號整數(shù), 表示傳送基礎曲線的標識。
-
基礎曲線參數(shù)m_p base_param_m_p[I][w],14 位無符號整數(shù), 表示基礎曲線參數(shù)。
-
基礎曲線參數(shù)m_m base_param_m_m[I][w],6 位無符號整數(shù), 表示基礎曲線參數(shù)。
-
基礎曲線參數(shù)m_a base_param_m_a[I][w],10 位無符號整數(shù), 表示基礎曲線參數(shù)。
-
基礎曲線參數(shù)m_b base_param_m_b[I][w],10 位無符號整數(shù), 表示基礎曲線參數(shù)。
-
基礎曲線參數(shù)m_n base_param_m_n[I][w],6 位無符號整數(shù), 表示基礎曲線參數(shù)。
-
基礎曲線參數(shù)K1 base_param_K1[I][w],2位無符號整數(shù),表示基礎曲線參數(shù)。
-
基礎曲線參數(shù)K2 base_param_K2[I][w],2位無符號整數(shù),表示基礎曲線參數(shù)。
-
基礎曲線參數(shù)K3 base_param_K3[I][w],4位無符號整數(shù),表示基礎曲線參數(shù)。
-
基礎曲線調(diào)整模式base_param_Delta_enable_mode[I][w],3位無符號整數(shù),表示當前基礎曲線映射參數(shù)的調(diào)整系數(shù)模式。
-
基礎曲線調(diào)整系數(shù)base_param_enable_Delta[I][w],7 位無符號整數(shù), 表示當前基礎曲線映射參數(shù)的調(diào)整系數(shù)值。
-
三次樣條標識3Spline_enable_flag[I][w],二值變量。值為‘1’表示應傳輸三次樣條參數(shù)。值為‘0’表示不應傳輸三次樣條參數(shù)。
-
三次樣條區(qū)間組數(shù)量3Spline_enable_num[i][w],1位無符號整數(shù),指示色調(diào)映射使用的三次樣條區(qū)間組數(shù)量。
-
三次樣條區(qū)間模式標識3Spline_TH_enable_mode[j][I][w],2位無符號整數(shù),指示色調(diào)映射的三次樣條模式。該值的范圍為0-3。
-
三次樣條區(qū)間斜率和暗區(qū)偏移量標識3Spline_TH_enable_MB[j][I][w],8位無符號整數(shù),指示色調(diào)映射的三次樣條區(qū)間參數(shù)的斜率和暗區(qū)偏移量。
-
三次樣條區(qū)間參數(shù)3Spline_TH_enable[j][I][w],12 位無符號整數(shù), 指示色調(diào)映射的三次樣條區(qū)間參數(shù)。
-
三次樣條區(qū)間2 偏移量3Spline_TH_enable_Delta2[j][I][w],10位無符號整數(shù),指示色調(diào)映射的三次樣條區(qū)間參數(shù)偏移量。
-
三次樣條區(qū)間調(diào)整強度3Spline_enable_Strength[j][I][w],8位無符號整數(shù),指示色調(diào)映射的三次樣條區(qū)間的修正幅度參數(shù)。
-
顏色校正標識color_saturation_mapping_enable_flag[w],二值變量。值為‘1’表示應傳輸顏色校正參數(shù),值為‘0’表示不應傳輸顏色校正參數(shù)。
-
顏色校正數(shù)目color_saturation_enable_num[w],3 位無符號整數(shù), 指示顏色校正數(shù)目參數(shù)。
-
顏色校正強度color_saturation_enable_gain[I][w],8 位無符號整數(shù), 指示顏色校正強度參數(shù)。
-
5.2基礎曲線和三次樣條曲線
從上面元數(shù)據(jù)的參數(shù)中,我們看到了大量提到兩個關鍵詞:基礎曲線和三次樣條曲線。這兩個曲線在HDR Vivid色調(diào)映射(Tone Mapping)中發(fā)揮關鍵作用。
基礎曲線通常是根據(jù)人眼視覺感知模型來設計的,以確保圖像在不同亮度級別下具有合理的對比度和飽和度,并使其在不同的HDR顯示設備上具有一致的外觀。而三次樣條曲線則可以根據(jù)特定設備的響應特征進行優(yōu)化,以最大程度地保留圖像的細節(jié)和動態(tài)范圍。三次樣條曲線由多個小段組成,每個小段都是一條三次多項式曲線。這些小段通過節(jié)點進行連接,并且可以根據(jù)實際需要進行調(diào)整。三次樣條曲線比基礎曲線更加平滑和精確,因此可以更好地適應各種顯示設備的響應特征。
在Tone Mapping過程中,基礎曲線通常被用作初始曲線,它定義了將輸入信號映射到輸出信號的基本方式。三次樣條曲線則被用來進一步優(yōu)化這個過程,以使得圖像在不同亮度級別下具有更好的細節(jié)和對比度。通過一次樣條和低亮區(qū)三次樣條,可以保護暗部細節(jié),并防止這些細節(jié)被壓得過暗。而通過高亮區(qū)三次樣條,可以最大化地保留高亮細節(jié),并避免這些細節(jié)被過度壓縮。這樣就可以使圖像在各種不同的HDR顯示設備上呈現(xiàn)出最佳的外觀效果。
5.3 飽和度調(diào)節(jié)(Saturation Adjustment)
我們在動態(tài)元數(shù)據(jù)參數(shù)定義的最后,還看到了顏色校正,這個其實說的就是飽和度調(diào)節(jié)。
亮度改變帶來的最大問題就是會同時造成飽和度的改變。因此,HDR Vivid 技術在進行色調(diào)映射后,還會進行顏色校正即飽和度調(diào)節(jié),保證其色彩與映射前的源主觀效果一致。當涉及到HDR Vivid的飽和度調(diào)節(jié)時,一般會有兩個主要考慮因素:人眼對顏色的感知和顯示設備的響應特性。
對于人眼對顏色的感知,需要考慮到顏色的飽和度與亮度之間的相互作用。當亮度較低時,飽和度可能會變得更難以感知,而在高亮度下則可能更容易感知。因此,在進行HDR Vivid飽和度調(diào)節(jié)時,需要根據(jù)顯示設備的亮度范圍,對不同亮度下的飽和度進行適當?shù)恼{(diào)整,以確保飽和度的變化在不同亮度范圍內(nèi)都能夠被人眼準確感知。
此外,對于顯示設備的響應特性,需要考慮到不同設備的顏色響應曲線可能存在差異。因此,針對不同的HDR顯示設備,可能需要使用不同的飽和度調(diào)節(jié)曲線,以適應不同的設備響應特性。這可以通過對HDR Vivid飽和度曲線進行調(diào)整來實現(xiàn)。
6. HDR Vivid的E2E方案HDR Vivid標準體系已經(jīng)完成端到端技術規(guī)范、應用集成規(guī)范、認證測試規(guī)范等,并持續(xù)進行標準演進,以實現(xiàn)快速、可持續(xù)、高質(zhì)量的發(fā)展。為了保證最優(yōu)的顯示效果,準確地把握每一個環(huán)節(jié)的要點與要求,HDR Vivid 構筑了端到端解決方案。首先,源端輸入為PQ/HLG 格式的HDR 視頻;前處理模塊可以基于HDR 視頻進行分析,生成靜態(tài)元數(shù)據(jù)與動態(tài)元數(shù)據(jù);編碼傳輸模塊可以將HDR 視頻與元數(shù)據(jù)進行編碼封裝,輸出HDR Vivid 碼流;解碼模塊可以對碼流進行解碼分析,得到HDR解碼視頻與元數(shù)據(jù);HDR 和SDR 顯示模塊會結合元數(shù)據(jù)與目標顯示終端參數(shù),對HDR視頻進行相應的顯示適配處理,并在顯示終端上正確顯示。
下面將分別介紹內(nèi)容制作端、內(nèi)容分發(fā)與終端處理方案。
6.1 內(nèi)容制作端方案
制作HDR Vivid圖像需要使用一系列的后期制作技術和軟件工具。通過合理的處理和優(yōu)化,可以實現(xiàn)最佳的圖像效果,并最大化地保留圖像的細節(jié)和動態(tài)范圍。在制作HDR Vivid圖像時,需要采用一系列的后期制作技術來達到最佳效果。
-
-
色彩校正和匹配:在制作HDR Vivid圖像之前,需要對拍攝的RAW文件進行基本的色彩校正和匹配,以確保不同攝影機拍攝的圖像色彩一致性。這可以通過使用專業(yè)的色彩校正軟件和調(diào)色板來完成。
-
色調(diào)映射:制作HDR Vivid圖像的關鍵步驟之一是色調(diào)映射。色調(diào)映射是將高動態(tài)范圍圖像轉換為低動態(tài)范圍圖像的過程。在這個過程中,需要使用適當?shù)乃惴▉硖幚韴D像的亮度和飽和度,并確保在不同的顯示設備上呈現(xiàn)出最佳的圖像效果。
-
色彩分級和修飾:在制作HDR Vivid圖像時,需要對圖像進行適當?shù)纳史旨壓托揎?。這可以通過使用專業(yè)的調(diào)色軟件來實現(xiàn)。通過對圖像的色彩進行微調(diào)和修飾,可以進一步增強圖像的色彩和對比度,并增加圖像的深度和細節(jié)。
-
噪聲和銳化:在HDR Vivid圖像制作的過程中,噪聲和銳化也是需要考慮的因素之一。在這個過程中,需要使用適當?shù)能浖ぞ邅斫档驮肼暡⒃黾訄D像的銳度和清晰度。這可以提高圖像的質(zhì)量和視覺效果。
-
輸出和呈現(xiàn):在HDR Vivid圖像制作完成后,需要對圖像進行適當?shù)妮敵龊统尸F(xiàn)。這可以通過使用專業(yè)的HDR顯示設備來實現(xiàn)。使用HDR顯示設備可以確保圖像在不同的光線環(huán)境下都具有一致的色彩和亮度,并最大化地保留圖像的細節(jié)和動態(tài)范圍。
-
隨著HDR Vivid標準的發(fā)布和越來越多的HDR Vivid視頻內(nèi)容的需求,相關視頻后期制作廠商確實在第一時間重視并積極跟進。主流的后期編輯系統(tǒng),如索貝EditMax提供了對HDR Vivid標準的全面支持,這使得視頻后期制作的流程更加高效和便捷。
作為國內(nèi)主流影視后期制作工具,索貝在 HDR Vivid 問世之初就參與相應的調(diào)研和研究,并將其與各種算法效果對比,對相關規(guī)則進行了調(diào)整和修改。在算法成型后就進行了相應的設計研發(fā)。開發(fā)的成果也同時拿到內(nèi)容制作方進行驗證。用戶的反饋表明基于理論層面上設計的東西,基本上都可以進行相應的調(diào)整、預覽,并有了初步可接受的處理效率,無論前期的試驗效果還是后來的大規(guī)模使用,基本都達到了預期。
HDR Vivid標準發(fā)布后,也得到了海外制作工具廠商和專業(yè)的調(diào)光調(diào)色軟件的認可與支持,例如Blackmagic Design DaVinci Resolve Studio和FilmLight Baselight等。
2022 年4月,Blackmagic Design發(fā)布了DaVinci Resolve 18,新版本在Windows、Mac和Linux三大平臺支持了HDR Vivid 標準的功能。DaVinci Resolve 18 提供了包括HDR Vivid在內(nèi)的元數(shù)據(jù)設置面板、HDR 模式節(jié)點調(diào)整、支持ST.2084和HLG HDR色彩映射的色彩空間變換、支持HDR監(jiān)看的內(nèi)建示波器。DaVinci Resolve 18 還加入了一個全新的下一代HDR 一級調(diào)色面板,支持自定義區(qū)域曝光和調(diào)色控制,以及感知色彩一致圖像處理,讓用戶可以對HDR 調(diào)色進行全面控制。
FilmLight 公司對 HDR Vivid 標準的發(fā)布和應用同樣高度重視,認為 HDR Vivid 將會成為未來一個具有強技術性、且被影視行業(yè)高度認可和接受的新的HDR 標準。因此,早在 2021 年中,F(xiàn)ilmLight 公司就開始積極探討支持 HDR Vivid 的可行性。經(jīng)過半年時間的對接商討,最終決定首先讓 FilmLight 的 Baselight調(diào)色完成系統(tǒng)集成 HDR Vivid。FilmLight 在高端市場始終擁有穩(wěn)定的客戶群體,其 Baselight 調(diào)色系統(tǒng)于 2007 年引進中國,很快就成為數(shù)字中間片行業(yè)首選的調(diào)色系統(tǒng)。
隨著越來越多的專業(yè)軟件支持HDR Vivid標準,相關的視頻后期制作技術也得到了快速的發(fā)展和普及,這使得HDR Vivid視頻的制作成本逐漸降低,而制作速度也得到了大幅提升。這將進一步推動HDR Vivid技術的普及和應用,為觀眾帶來更加真實、震撼的視覺體驗。
6.2 內(nèi)容分發(fā)方案
在內(nèi)容分發(fā)階段,其中很關鍵的一環(huán)是云端轉碼方案。云端智能處理場景是利用云端算力,對HDR Vivid 視頻進行轉碼處理,以及自動化生成HDR Vivid的重要手段。目前云端已具備帶有將HDR Vivid 元數(shù)據(jù)進行解析和透傳的能力。云端轉碼的處理流程包括對輸入文件格式的解析、解碼、處理、編碼、輸出文件格式生成等步驟。
端到端的自動化云端HDR 媒資生產(chǎn)過程主要有:
元數(shù)據(jù)修改后直接透傳。先將元數(shù)據(jù)解析成文本格式(如XML 或者JSON 格式),進一步修改后,再根據(jù)標準嵌入到媒體流中。通過元數(shù)據(jù)的直接透傳,可將原視頻的元數(shù)據(jù)信息直接寫入轉碼后的視頻,保證原始作者的創(chuàng)作意圖。
非HDR Vivid 視頻轉換后修改再透傳。如果輸入的原始視頻是不帶有HDR Vivid元數(shù)據(jù)的HDR 視頻,那么可以根據(jù)標準自動生成元數(shù)據(jù)并嵌入視頻流。
對于輸入源視頻為SDR 視頻的情況,可先將SDR 視頻轉換為HDR 視頻,轉換方式可采用傳統(tǒng)逆色調(diào)映射(Inverse Tone Mapping)或者基于AI 技術進行轉換,轉換后對原始畫質(zhì)進行提升重建,然后進行元數(shù)據(jù)的自動化生成和寫入。
6.3終端處理方案
接收端播放設備在接收到HDR Vivid碼流后,需要先進行視頻解碼,分析出其中的動態(tài)元數(shù)據(jù)并基于此進行HDR 渲染,最終呈現(xiàn)出高質(zhì)量的畫面內(nèi)容。這里的HDR Vivid 碼流可以是經(jīng)過后期制作的精品內(nèi)容,也可以是直播場景中的實時碼流等。具體實現(xiàn)基本流程如下圖顯示:
一般可以將解碼方式分為兩種:硬件解碼和軟件解碼。
6.3.1 硬件解碼
硬件解碼播放是指終端顯示設備利用自身具備的硬件解碼能力,從HDR Vivid碼流中解析出動態(tài)元數(shù)據(jù)并根據(jù)元數(shù)據(jù)進行動態(tài)映射及色彩校正,最終在設備上正確顯示的過程。目前,支持硬件解碼播放HDR Vivid 的設備日趨多元化,包括且不限于相應品牌電視、手機、平板電腦等。即使是尚不具備硬件解碼能力的顯示設備,也可能通過支持軟件解碼播放的APP、播放器等,觀看到HDR Vivid內(nèi)容。若以上解碼能力皆不具備,終端顯示設備會將元數(shù)據(jù)丟棄,按原始碼流格式正常播放(HDR10/HLG),這也體現(xiàn)了HDR Vivid良好的后向兼容性。
6.3.2 軟件解碼
軟件解碼播放是指依靠軟件解碼能力將動態(tài)元數(shù)據(jù)從HDR Vivid碼流中解析出來,并基于此在終端設備上進行動態(tài)映射及色彩校正并正確顯示的過程。目前,應用的具體形式包括且不限于智能手機、平板電腦、智能電視上的APP 以及PC 上的視頻播放器等。由于該方案不受硬件設備支持的限制,一定程度上對大范圍地推廣優(yōu)質(zhì)HDR Vivid 內(nèi)容有著積極的影響,有利于促進HDR Vivid 產(chǎn)業(yè)鏈的形成與發(fā)展,也可以看作對硬件解碼播放場景一個較好的補充。
7. HDR Vivid的發(fā)展建議7.1當前的進展
HDR Vivid標準發(fā)布兩年以來,在內(nèi)容供給、制作工具、服務平臺、編碼傳輸、芯片、終端設備等產(chǎn)業(yè)鏈各環(huán)節(jié)均取得了一系列突破。該標準的核心技術已實現(xiàn)在超高清視頻內(nèi)容制作、編碼、接收、解碼、顯示等端到端的全產(chǎn)業(yè)鏈布局,率先應用于北京冬奧會、冬殘奧會的相關轉播活動。
截至到2022 年10 月,電信運營商IPTV 用戶超過3.7 億,4K/8K 智能機頂盒支持HDR Vivid,會為用戶提供更真實的HDR Vivid超高清視頻體驗。根據(jù)電信運營商IPTV 業(yè)務規(guī)劃和集采要求,中國電信4K 智能機頂盒、移動魔百和均支持HDR Vivid。
在百城千屏等大屏應用方面,眾多屏幕廠家積極參與UWA 聯(lián)盟相關標準制定工作。通過HDR Vivid 技術加持為戶外大屏能夠帶來超高清晰度、超高亮度、超高對比度、高刷新率和廣視角、廣電級超高清畫面顯示。
在2022 年11 月卡塔爾足球世界杯, 中國移動攜手世界超高清視頻產(chǎn)業(yè)聯(lián)盟共同推動HDR Vivid、Audio Vivid 商用落地,打造纖毫畢現(xiàn)、聲臨其境的視聽盛宴。這也是我國自主超高清音視頻標準首次用于世界杯直播,國產(chǎn)超高清音視頻標準進入“移動端規(guī)?;逃谩睍r代。
另外,在短視頻、網(wǎng)絡直播、VR/XR、游戲、微信視頻以及在工業(yè)、農(nóng)業(yè)、醫(yī)療健康行業(yè)應用領域,產(chǎn)業(yè)伙伴都在積極應用創(chuàng)新技術,HDR Vivid 也在各種業(yè)務場景得到探索和實踐。
7.2 未來發(fā)展建議
作為一項新興的技術標準,HDR Vivid在未來的發(fā)展中仍有很大的潛力和機會。以下是對HDR Vivid未來發(fā)展的幾條建議:
-
-
推廣宣傳:為了推廣HDR Vivid技術,需要更多的推廣宣傳??梢栽诟鞣N媒體上進行宣傳,如互聯(lián)網(wǎng)、電視廣告、影院宣傳等,以吸引更多的觀眾和生產(chǎn)者。同時也可以在專業(yè)的行業(yè)展覽上進行宣傳,以向?qū)I(yè)人士展示HDR Vivid的潛力和優(yōu)勢。
-
開發(fā)專業(yè)設備:隨著HDR Vivid的普及,需要更多的專業(yè)設備來支持它的應用。例如,HDR Vivid顯示器、攝像機、投影儀等,這些設備需要滿足HDR Vivid的高要求,并且需要與HDR Vivid標準兼容。
-
增強后期制作技術:HDR Vivid標準需要更高水平的后期制作技術來支持,因此需要繼續(xù)開發(fā)和完善相關的后期制作技術,以滿足制作的需求。例如,更高效的調(diào)色調(diào)光工具、更高精度的色彩映射算法等。
-
促進開放合作:吸引世界范圍優(yōu)質(zhì)產(chǎn)業(yè)資源加入到標準體系的產(chǎn)業(yè)生態(tài)構建中,加快技術標準在廣播電視、新媒體、影視娛樂等方面的應用推廣。構建端到端產(chǎn)業(yè)鏈,推動上下游深入合作,促進標準的規(guī)模應用。
-
拓展應用領域:以重大賽事、活動推動標準應用與普及。推動在文娛、工業(yè)制造等領域的應用,打造標桿案例。以體育、娛樂等重大活動賽事為抓手,推動標準先行先試,以具體落地案例促進產(chǎn)業(yè)鏈上下游的深度合作,提升觀眾認知。除了影視制作領域,HDR Vivid技術還可以應用于其他領域,如游戲、虛擬現(xiàn)實、衛(wèi)星地圖等。因此,需要拓展HDR Vivid的應用領域,以創(chuàng)造更多的商業(yè)機會。
-
總之,HDR Vivid技術在未來的發(fā)展中需要不斷推廣和完善,才能更好地服務于影視制作行業(yè),并在其他領域得到更廣泛的應用。面向未來2-3 年,通過加快部署面向個人、家庭、車載、影院、行業(yè)的應用,鼓勵內(nèi)容制作行業(yè),分發(fā)平臺加快內(nèi)容制作和分發(fā),加速產(chǎn)業(yè)鏈構筑,推進行業(yè)演進,構筑未來超高清視音頻產(chǎn)業(yè)的技術和人才基礎。
好了,十期的超高清視頻系列本期就是最后一期了,下次,我們將挖新坑,再帶著大家探索其他的技術領域。對超高清視頻有興趣的同學,可以點擊下面的往期回顧,進一步理解整個系列的全貌。
————<超高清視頻系列完>————
-
開源技術
+關注
關注
0文章
389瀏覽量
7937 -
OpenHarmony
+關注
關注
25文章
3722瀏覽量
16323
原文標題:河套IT TALK 71: (原創(chuàng)) 一文讀懂中國高動態(tài)范圍視頻標準HDR Vivid(萬字長文)
文章出處:【微信號:開源技術服務中心,微信公眾號:共熵服務中心】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
相關推薦
評論