LED虛擬拍攝中的跟蹤系統(tǒng)詳解

在跟蹤設(shè)備與其他三維渲染系統(tǒng)集成方面，根據(jù)跟蹤數(shù)據(jù)使用的場(chǎng)景或階段不同，可以將系統(tǒng)管線分為實(shí)時(shí)和后期兩個(gè)階段。在實(shí)時(shí)階段，跟蹤設(shè)備軟件端可以通過(guò)插件與第三方DCC（Digital Content Creation，數(shù)字內(nèi)容創(chuàng)作）軟件或?qū)崟r(shí)渲染引擎進(jìn)行通信，將攝影機(jī)的外參（6DOF的位姿變換數(shù)據(jù)）以及鏡頭內(nèi)參（焦點(diǎn)、焦距、鏡頭畸變等）參數(shù)實(shí)時(shí)地傳輸給引擎中的虛擬攝影機(jī)，最終渲染出位置、透視、視場(chǎng)等顯示正確的畫(huà)面；在后期階段，經(jīng)過(guò)前期跟蹤數(shù)據(jù)的實(shí)時(shí)傳輸與錄制，后期部門(mén)可以選擇對(duì)跟蹤數(shù)據(jù)進(jìn)行清洗修正再利用，減少攝影機(jī)反求操作，可以極大地提高后期工作效率。
目前LED虛擬化制作技術(shù)從原理上可以看作是增強(qiáng)現(xiàn)實(shí)技術(shù)在影視行業(yè)的應(yīng)用，該技術(shù)被廣泛地應(yīng)用于影視制作、大型演出直轉(zhuǎn)播等泛娛樂(lè)行業(yè)，不同的應(yīng)用場(chǎng)景對(duì)于跟蹤系統(tǒng)提出了新的不同需求。由于LED顯示屏幕的廣泛參與，實(shí)時(shí)渲染的虛擬背景直接顯示并且被攝影機(jī)同步記錄下來(lái)，這使得虛擬場(chǎng)景與真實(shí)場(chǎng)景之間的坐標(biāo)系匹配更為重要。動(dòng)態(tài)畫(huà)面和復(fù)雜閃爍的光環(huán)境變化也給跟蹤技術(shù)帶來(lái)了新的挑戰(zhàn)。
對(duì)于跟蹤系統(tǒng)而言最重要的系統(tǒng)屬性是跟蹤的精度、穩(wěn)定性及魯棒性。
在電影虛擬化制作發(fā)展的歷史中，攝影機(jī)跟蹤方式伴隨著科技的發(fā)展、日漸更新的創(chuàng)作需求也在一步步發(fā)生變換，從最原始的機(jī)械跟蹤，到體系龐大場(chǎng)地限制的由外向內(nèi)跟蹤，再到目前應(yīng)用廣泛的由內(nèi)向外跟蹤，這些技術(shù)的發(fā)展無(wú)一不是為影視創(chuàng)作提供更大的自由。但目前最廣為人知的劇集《曼達(dá)洛人》等影片則回溯了技術(shù)發(fā)展歷程，選擇了曾經(jīng)被虛擬化制作“淘汰”的由外向內(nèi)跟蹤技術(shù)OptiTrack動(dòng)作捕捉系統(tǒng)。針對(duì)此現(xiàn)象，當(dāng)前LED虛擬化制作技術(shù)對(duì)跟蹤系統(tǒng)的需求，只有由外向內(nèi)跟蹤的設(shè)備更能滿足。
除了精確度、穩(wěn)定性與魯棒性，實(shí)時(shí)性作為跟蹤系統(tǒng)的另一重要性能也需要考慮，即跟蹤系統(tǒng)數(shù)據(jù)實(shí)時(shí)處理及傳輸速度。這個(gè)在此處是指從攝影機(jī)產(chǎn)生運(yùn)動(dòng)到運(yùn)動(dòng)捕捉軟件得到剛體的運(yùn)動(dòng)數(shù)據(jù)，再經(jīng)過(guò)算法處理優(yōu)化，傳遞到第三方DCC或?qū)崟r(shí)渲染引擎的時(shí)間。LED虛擬化制作技術(shù)的核心概念是攝影機(jī)內(nèi)視效拍攝,即攝影機(jī)直接拍攝得到真實(shí)畫(huà)面與虛擬背景的合成結(jié)果。在LED屏上,我們使用相對(duì)固定的外視錐形成的光照環(huán)境，來(lái)模擬真實(shí)的光照與色彩匹配，使用內(nèi)視錐作為攝影機(jī)直接拍攝的背景，內(nèi)外視錐的渲染要分別單獨(dú)進(jìn)行。由于硬件計(jì)算能力的限制，從攝影機(jī)產(chǎn)生運(yùn)動(dòng)到對(duì)跟蹤數(shù)據(jù)進(jìn)行捕捉、解算、傳輸，再到引擎渲染生成畫(huà)面，該過(guò)程還無(wú)法完全實(shí)時(shí)完成。運(yùn)動(dòng)速度較大時(shí)，前景內(nèi)容與LED屏幕顯示的畫(huà)面內(nèi)容將會(huì)產(chǎn)生漂移，人對(duì)前后景撕裂的變化非常敏感，因此在渲染端及信號(hào)傳輸端硬件限制的前提下，建議盡可能選擇處理算法數(shù)據(jù)傳輸高效的攝影機(jī)跟蹤系統(tǒng)。

審核編輯黃宇