蘋果和FaceBook的AR眼鏡資料下載

就像對ARKit的3D模型（usdz）所做的那樣，Apple正在開發(fā)一種新的音頻格式，即使在用戶移動，戴著“ Apple Glass ”或其他AR設備時，也可以更輕松沉浸式地在用戶周圍放置“3d聲音”。 以前已經(jīng)證明Apple在為AR制作高分辨率視頻圖像，現(xiàn)在它也致力于與之配套產(chǎn)生高質量的音頻。在新的專利申請中，該公司正在研究與空間音頻有關的工作。 具體來說，Apple希望建立一種音頻格式，例如.MP3或.AAC，并結合了AR所需的額外空間信息。該格式不僅需要包含實際的音頻，而且還遠遠超出在立體聲圖片的左側還是右側播放元素的范圍。蘋果以前曾與皮克斯合作開發(fā)一種名為USDZ的格式，該格式用于將音頻放置在用戶周圍的3D空間中。 “在增強現(xiàn)實（AR），虛擬現(xiàn)實（VR）和混合現(xiàn)實（MR）應用程序中產(chǎn)生三維（3D）聲音效果是具有挑戰(zhàn)性的……因為現(xiàn)有的音頻格式最初是為在物理環(huán)境中產(chǎn)生3D聲音而設計的具有固定的揚聲器位置和固定的聽眾?！? 蘋果將AR，VR和MR統(tǒng)稱為“模擬現(xiàn)實”（SR），并表示希望在許多現(xiàn)有3D音頻格式的基礎上發(fā)展。例如，旨在產(chǎn)生3D聲音的空間音頻格式包括MPEG-H 3D音頻標準，HOA空間音頻技術和DOLBY ATMOS環(huán)繞聲技術。 問題既與觀眾感知聲音的位置有關，也與創(chuàng)作者可以選擇放置效果或音樂的地方有關。蘋果公司說：“在SR環(huán)境中產(chǎn)生3D聲音效果的一種替代方法是操縱音頻對象中包含的各個離散聲音，這些聲音實際上可以位于3D環(huán)境中的任何位置?！? 蘋果公司提出的解決方案是創(chuàng)建一種格式，該格式類似于.m4v和.mp4是將不同元素組合在一起的格式。對于蘋果公司對空間音頻的新要求，該公司建議創(chuàng)建一個音頻資產(chǎn)庫，其中包括資產(chǎn)元數(shù)據(jù)，使模擬現(xiàn)實（SR）應用程序開發(fā)人員能夠為SR應用程序編寫聲音?！? 蘋果公司說：“音頻經(jīng)過了格式化，包括音頻數(shù)據(jù)，這些數(shù)據(jù)編碼了能夠被編入SR應用程序的聲音，以及資產(chǎn)元數(shù)據(jù)，不僅描述了聲音的編碼方式，而且還描述了SR環(huán)境中聽眾的感受。 另外Facebook Reality Labs研究小組最近也分享了一些關于AR的音頻項目。該小組的目標是將技術融入到AR眼鏡中，通過在嘈雜的環(huán)境中輕松隔離對話聲音，增強你的聽力，并能夠重現(xiàn)虛擬聲音，讓它們看起來像是來自你周圍的真實世界。自定義的HRTF是提供這種體驗的關鍵，它是每個人根據(jù)頭部和耳朵形狀聽到聲音的獨特方式的數(shù)字版本，但這個過程既耗時又昂貴。該團隊正在研究一種可擴展的解決方案，可以從你的耳朵的一張簡單照片生成精確的HRTF。 Facebook Reality Labs（簡稱FRL)是Facebook最新采用的名稱，該團隊致力于開發(fā)沉浸式技術(包括Oculus眼鏡)。