帶你一文看懂XR虛擬演播廳的技術支持及拍攝流程

XR虛擬制作技術支持

擴展現(xiàn)實（Extended Reality，簡稱XR），是指通過計算機等多種硬件設備的手段將真實與虛擬相結合，打造一個可人機交互的虛擬環(huán)境，這也是AR（增強現(xiàn)實）/VR（虛擬現(xiàn)實）/MR（混合現(xiàn)實）等多種技術的統(tǒng)稱。

其中VR又叫虛擬現(xiàn)實（Virtual Reality），即假現(xiàn)實。具體指的是利用電腦模擬三維空間，通過感官模擬一種沉浸感和臨場感，就像把人帶到一個虛擬的仿真世界。

至于AR增強現(xiàn)實（Augmented Reality），則是現(xiàn)實世界的Pro版。說簡單點，就是在真實空間里植入虛假內容，把虛擬信息（物體、圖片、視頻、聲音等）映射在現(xiàn)實環(huán)境中。很明顯，VR是帶你精神穿越，AR則是高樓林立的現(xiàn)實中，再現(xiàn)海市蜃樓。

MR，混合現(xiàn)實（MediatedReality），倒可以直接看作是VR/AR結合體，因為它指的是合并現(xiàn)實和虛擬世界后產生的新可視化環(huán)境。舉個簡單的例子，下班回家的你，戴上MR設備看暴力美劇，施瓦辛格會跳出傳統(tǒng)屏幕，在你眼前吹胡子瞪眼，甭管你移動到哪，他都只對著你演。

簡單點說，虛擬現(xiàn)實技術是利用頭戴設備模擬真實世界的3D互動環(huán)境；增強現(xiàn)實則是通過電子設備（如手機、平板、眼鏡等）將各種信息和影像疊加到現(xiàn)實世界中；混合現(xiàn)實介于VR和AR之間，在虛擬世界、現(xiàn)實世界和用戶之間，利用數(shù)字技術實現(xiàn)實時交互的復雜環(huán)境。

XR虛擬演播廳拍攝流程

包含設備：LED屏幕系統(tǒng)、燈光音響、攝像機系統(tǒng)、攝像機追蹤系統(tǒng)、控制服務器、內容渲染等服務器。如果需要更高級還可加入虛擬人動作捕捉系統(tǒng)。

優(yōu)化拍攝方式和提高拍攝質量：加入虛擬影棚機器人精準控制攝像機

增加舞臺互動：舞臺追蹤系統(tǒng)（將燈光和聲音追蹤加入到虛擬舞臺中來）

具體拍攝流程則是先通過專業(yè)技術人員制作出虛擬場景，將其存儲在（內容引擎中）視頻源，包含通過圖像引擎渲染出來的虛擬視頻內容，然后通過發(fā)送卡（控制服務器）將其展示在LED屏幕上（背景層），這對于LED屏幕的大小并沒有特別要求，LED屏幕可以只顯示虛擬場景中的部分場景，攝像機追蹤系統(tǒng)可以通過移動攝像機，移動虛擬場景在LED屏幕上的展示內容，并通過基本透視原理，使LED畫面具有正確的空間關系，再通過將攝像機拍攝的LED屏幕背景、人物及道具（人物層道具層）傳輸?shù)奖O(jiān)視器及記錄拍攝內容的服務器中，使其與虛擬制作出的場景實時合成，補全LED屏幕之外的場景內容，即拓展現(xiàn)實VR，實現(xiàn)所見即所得的虛擬拍攝。若有需要，還可在此基礎上增加AR前景特效，并通過畫面?zhèn)鬏攲⑺袌鼍皩崟r合成，形成LED屏幕展示內容、虛擬拓展內容、AR渲染內容及人物道具四合一的合成圖像，并實時傳輸?shù)浆F(xiàn)場監(jiān)視器設備和存儲設備中，實現(xiàn)所拍既所得。

XR虛擬演播廳拍攝效果

UE（Unreal Engine）內容引擎中制作的內容是三維并且具有正確透視和空間感的，添加一個虛擬攝像機就可以看到引擎空間中的物體。燈光、材質等，就像第一視角的3D游戲，通過將引擎中的虛擬攝像機與拍攝場地中的真實物理攝像機的物理位置、攝像機參數(shù)等完全匹配，讓真實的物理相機去驅動引擎中的虛擬相機，那么他們看到的空間是完全一致的，這需要用光學攝像機跟蹤系統(tǒng)實時將數(shù)據傳輸給控制服務器和內容引擎，目前主流的光學攝像機追蹤系統(tǒng)誤差在2mm左右。足以保障虛擬場景的真實感。

審核編輯 黃昊宇