XR虛擬演播廳的技術(shù)詳解

有別于傳統(tǒng)的實景演播廳和依靠摳像的虛擬演播廳，XR演播廳是通過專門的LED主體屏幕構(gòu)成一個可視化的三維顯示空間內(nèi)實現(xiàn)節(jié)目制作。

結(jié)合擴展現(xiàn)實技術(shù)呈現(xiàn)出虛實融合的演播廳效果，節(jié)目制作省去了演播廳實景裝修、虛擬摳像、后期合成等環(huán)節(jié)，在節(jié)目制作過程中做到了所見即所得的制作效能，不但提高了內(nèi)容制作的工作效率，而且在場景還原方面有更加顯著的優(yōu)勢，廣泛應(yīng)用于廣播電視、影視拍攝、新媒體制作、教育傳播、主題場館、虛擬仿真、工業(yè)設(shè)計、展覽展示等 多種領(lǐng)域。

XR演播廳搭建主要包含：舞臺設(shè)計、實時渲染引擎、播控系統(tǒng)、跟蹤方式、導(dǎo)播臺、音頻系統(tǒng)、虛擬制作系統(tǒng)組成，當(dāng)然這里有一些是和傳統(tǒng)演播廳共用的技術(shù)，XR演播廳需要在傳統(tǒng)的技術(shù)上進行增強。

舞臺設(shè)計

XR全景演播廳采用由兩到三個立面LED屏幕與一個地面LED屏幕拼接組成的顯示空間，并在這個空間內(nèi)展示出立體的虛擬環(huán)境，拍攝到的立體虛擬空間是一種基于真實環(huán)境疊加虛擬空間的全景顯示融合技術(shù)。

渲染引擎

設(shè)計師根據(jù)節(jié)目需求在設(shè)計軟件中，按照演播廳情況設(shè)計三維虛擬場景，通過實時渲染引擎將內(nèi)容傳到大屏上，同時可以在虛擬或虛擬植入應(yīng)用中，實時渲染各種前景和背景三維模型、圖片、動畫和文字效果。同時，引擎內(nèi)置了軟件色鍵功能，利用該功能管理員可以極方便地實現(xiàn)對虛擬演播廳或虛擬植入演播中的取色和色鍵處理，從而更為高效地節(jié)省了用戶成本?？刂迫藛T可以對三維物體、三維文字、三維圖片、三維曲線進行實時渲染，并可以通過演播廳控制端在播出中進行實時更改變換，能夠在攝像機運動的情況下，保證場景渲染的平滑、穩(wěn)定、無鋸齒。渲染引擎支持全場景實時抗鋸齒，具備硬件加速能力，采用32位真彩色，支持像素級光源。幾何處理能力高達(dá)每秒3億個三角形，每秒處理像素數(shù)量300億。XR系統(tǒng)中大屏顯示渲染引擎和虛擬渲染引擎是同樣的渲染引擎。

播控系統(tǒng)

播控系統(tǒng)在這個演播廳環(huán)節(jié)中起到節(jié)目預(yù)設(shè)的作用，一般是在節(jié)目錄制前會錄制編排單根據(jù)編排單來自動控制AR、多機位等系統(tǒng)，播出人員在PLAYER(播控)控制機上準(zhǔn)備和播出串聯(lián)單。字幕播控人員建立一個預(yù)先設(shè)置好播放順序的串聯(lián)單，從而按照預(yù)定順序進行播出。串聯(lián)單和播放列表通常都由字幕播控人員進行手動觸發(fā)，每一個播放列表中的圖形元素都有一個對應(yīng)的串聯(lián)單號，操作員可以在任何時間觸發(fā)這些元素。PLAYER客戶端在系統(tǒng)中顯示了一串可用的串聯(lián)單號碼，這些號碼可以在文件夾中被事先安排好。

跟蹤方式

跟蹤方式是系統(tǒng)配置中最重要的一步。作為一個開放式的系統(tǒng)，能夠支持包括紅外跟蹤，超聲波跟蹤，機械跟蹤，搖臂跟蹤，移動云臺跟蹤等多種跟蹤方式。通過該系統(tǒng)可以追蹤、獲取現(xiàn)場攝像機、物體和道具等的定位數(shù)據(jù)，并實時將數(shù)據(jù)傳輸至虛擬系統(tǒng)。其具有定位精度高，延遲低的優(yōu)勢特性。跟蹤方式建議采用全機械的跟蹤方式，可以保障系統(tǒng)的跟蹤精度和跟蹤可靠性。

導(dǎo)播臺

導(dǎo)播臺是對多路電視信號剪輯組合的裝置?，F(xiàn)場制作時，多臺攝像機的視頻信號全都送到這里，在這里即時進行剪輯。導(dǎo)播切換臺實際是一個電子開關(guān)組合，它可以通過按鍵控制各視頻信號電路的通斷，通者輸出，斷者截止。導(dǎo)播切換臺也可以由特技信號發(fā)生器代替。導(dǎo)播臺至少應(yīng)當(dāng)有5—6臺監(jiān)視器。1—4號監(jiān)視器叫做訊道監(jiān)視器，專門用來顯示各信號源圖像，供導(dǎo)播監(jiān)視用。導(dǎo)播臺的節(jié)目輸出信號一方面輸出，另一方面顯示在輸出監(jiān)視器上供導(dǎo)播監(jiān)視。

音頻系統(tǒng)

音頻系統(tǒng)在演播廳中又稱調(diào)音臺，它將多路輸入信號進行放大、混合、分配、音質(zhì)修飾和音響效果加工，之后再通過母線(Master)輸出。主要功能包含：對節(jié)目信號進行放大。第二個功能是分別對各種信號進行頻率調(diào)整(即調(diào)音)。第三個功能是信號的合并。第四個功能是分配功能。

調(diào)音臺除了立體聲的主輸出外，還能提供兩路以上的輔助輸出信號，這類信號有兩種用途，一是音響廳監(jiān)聽或舞臺返聽;二是做效果器的激勵信號用。

制作系統(tǒng)

制作系統(tǒng)主要是對前期設(shè)計的場景和內(nèi)容進行三維重建，大部分系統(tǒng)會使用3Dmax、maya、C4d等制作工具，制作系統(tǒng)可實時地修改和制作場景中三維物體的位置、紋理、材質(zhì)、燈光、特效等屬性，支持材質(zhì)反光特效，不同材質(zhì)如金屬、玻璃、陶瓷等三維物體具備特有的材質(zhì)反光，支持高級粒子特效的制作，能方便地實時生成如雨、霧和火焰等效果，支持眩光特效，能方便地根據(jù)虛擬光源實時生成各種自定義的眩光動畫。

XR演播廳生產(chǎn)流程

XR是一種新生虛擬拍攝模式，不同于以往的虛擬制作，基于XR的創(chuàng)作不再局限于小小的舞臺，為設(shè)計師提供無限想象空間，讓導(dǎo)演所見即所得，讓制作團隊后期前置，讓藝人、嘉賓更加身臨其境地在現(xiàn)場表演。

設(shè)計師根據(jù)節(jié)目需求在設(shè)計軟件中，按照演播廳情況設(shè)計三維虛擬場景。

如果節(jié)目需要，設(shè)計師或者技術(shù)人員為場景添加互動功能或設(shè)置與外部數(shù)據(jù)的接口。

操作員在中，對攝像機跟蹤進行調(diào)整，使之與三維虛擬場景中的攝像機相對應(yīng)。

審核后，將場景導(dǎo)入到渲染引擎中。

節(jié)目播出時，通過攝像機的傳感器將跟蹤信息傳遞給渲染引擎來進行位置跟蹤，并輸出合成好畫面，最后反饋給監(jiān)視器，由導(dǎo)播來切換不同機位的鏡頭完成錄制。

播控人員在播出控制端中進行場景切換和互動元素的控制，在需要更新數(shù)據(jù)的情況下，或者手動輸入，或者鏈接到外部數(shù)據(jù)源自動更新。

審核編輯：湯梓紅