未來蘋果硬件可從平面視頻中合成VR/AR場景

蘋果公司正在開發(fā)一種系統(tǒng)，可以從平面視頻內(nèi)容生成混合現(xiàn)實或虛擬現(xiàn)實環(huán)境，讓用戶在原本只能是二維的片段中穿行和探索。周四由美國專利和商標(biāo)局公布了名為“用于生成平面視頻內(nèi)容合成現(xiàn)實重建的方法和設(shè)備”的蘋果專利。該專利開宗明義地將合成現(xiàn)實（synthesized reality）或SR定義為數(shù)字生成的物體和環(huán)境。SR本質(zhì)上是一個廣泛的類別，蘋果表示包括虛擬現(xiàn)實、增強現(xiàn)實和混合現(xiàn)實。

用戶可以在設(shè)備上參與SR體驗，無論是iPhone或iPad這樣的手持設(shè)備，還是傳聞中的 “蘋果眼鏡 ”這樣的頭戴式設(shè)備。他們可以通過一種或多種感官，包括視覺、味覺、嗅覺和觸覺，與SR環(huán)境進行互動。然而，該專利的大部分內(nèi)容集中在一個可以從平面視頻內(nèi)容中生成SR角色、物體和環(huán)境的系統(tǒng)上。換句話說，它可以將電視節(jié)目變成一個用戶可以用上述設(shè)備探索的VR環(huán)境。

正如蘋果公司所指出的那樣，大多數(shù)SR內(nèi)容都是提前精心制作，然而，該專利描述了一種通過 “利用數(shù)字資產(chǎn) ”生成視頻內(nèi)容的按需SR重構(gòu)方法，以無縫、快速地將平面內(nèi)容移植到SR體驗中。該系統(tǒng)工作原理是識別場景中的 “情節(jié)執(zhí)行者”，合成場景描述，并通過根據(jù)場景描述驅(qū)動與第一情節(jié)執(zhí)行者相關(guān)聯(lián)的第一數(shù)字資產(chǎn)生成場景重建。

雖然系統(tǒng)可以根據(jù)視頻內(nèi)容生成SR重建，但它也可以從相關(guān)文本內(nèi)容和外部數(shù)據(jù)中獲取信息。那可能是視頻片段中演員的照片、演員的身高和尺寸、場景的各種視圖以及其他數(shù)據(jù)。在一些實施例中，數(shù)字資產(chǎn)至少部分地基于視頻內(nèi)容和與視頻內(nèi)容相關(guān)聯(lián)的外部數(shù)據(jù)而即時生成。有趣的是，蘋果還指出，類似的SR生成系統(tǒng)可以基于音頻和相關(guān)內(nèi)容，包括有聲讀物、廣播劇和其他純音頻內(nèi)容建交互式場景。

蘋果每周都會提交大量的專利申請，但是無法保證其中所描述的技術(shù)能夠進入市場。同樣，專利申請也沒有給出任何跡象表明蘋果何時會發(fā)布搭載該技術(shù)的新產(chǎn)品。

責(zé)編AJX