當音頻遇上vr時鐘什么體驗

VR可以說是當下最火熱的科技趨勢之一，但VR音頻技術(shù)卻從沒有在專業(yè)音頻領(lǐng)域獲得熱捧。雖然音頻技術(shù)幾乎是和視頻服務(wù)一起進入市場，但在VR游戲、VR電影等中的表現(xiàn)卻遠不如畫面更“吸睛”。

這么久以來，VR音頻這個概念一直都不溫不火。無論是CD、SACD音樂、黑膠唱片還是流媒體音樂服務(wù)使用的都是較為傳統(tǒng)的立體聲音頻技術(shù)。這幾年，盡管有類似純音頻藍光環(huán)繞技術(shù)、雙聲道錄制技術(shù)、宣稱能真實還原家庭影院級的環(huán)繞聲體驗等的不斷出現(xiàn)，但并不能讓大眾發(fā)現(xiàn)其在技術(shù)上有什么較大的突破。

雖然早在2010年，配備Realiser A8處理器的耳機確實有著強大的空間定位能力，并能做出令人震撼的聲音效果，但遺憾的是，其生產(chǎn)商已經(jīng)不再生產(chǎn)這一產(chǎn)品。

如此一來，VR音頻的身影也變得越發(fā)莫測了起來，仿佛越來越?jīng)]了存在感。難道說，VR音頻就要這樣涼涼了么？

斯坦福研發(fā)全息聲音合成系統(tǒng)，自動渲染動畫聲音

而就在近日，斯坦福新開發(fā)出的一項有關(guān)聲音的新技術(shù)，又將VR音頻帶回了大家眼前。斯坦福研究人員通過計算快速移動和震動表面所產(chǎn)生的壓力波，開發(fā)出了一款全息聲音合成系統(tǒng)。斯坦福方面宣稱該系統(tǒng)可以自動為計算機動畫渲染逼真的聲音。

對于這個新系統(tǒng)，斯坦福大學(xué)計算機科學(xué)系的Doug James教授說道：“我們可以用物理和計算機圖形為場景制作動畫。在此之前，行業(yè)內(nèi)的技術(shù)無法為復(fù)雜的動畫內(nèi)容生成逼真又同步的聲音，比如說濺水或碰撞物體。而此時，該系統(tǒng)填補了技術(shù)上的這一空白。”

通過幾何和物理運動，系統(tǒng)可以計算出每個對象的振動，以及如何像揚聲器那樣通過振動來激發(fā)聲波。其能計算由快速移動和震動表面拋出的壓力波，但不能復(fù)制室內(nèi)聲學(xué)。因此，盡管不能在宏偉的大教堂中重現(xiàn)回聲，但該系統(tǒng)可以實現(xiàn)各種其他情況下的聲音。例如，鈸相撞、顛倒的碗旋轉(zhuǎn)到停止、往杯子里倒?jié)M水、虛擬人物用擴音器說話等。

由此方法產(chǎn)生的模擬聲音將非常的逼真。該系統(tǒng)顧及到了動畫中每個對象所產(chǎn)生的聲波，同時還能預(yù)測這些聲波，在場景中與其他對象和聲波相互作用，將會產(chǎn)生什么樣的彎曲、反彈或削弱的效果。斯坦福方面表示，許多的測試都表明了該系統(tǒng)生成的聲音都十分讓人震撼。

但這項系統(tǒng)也有令人遺憾的地方。其仍難以逼真的模擬出，那些復(fù)雜對象間相互作用所發(fā)出的聲音。對此，斯坦福研究小組也坦言，這需要他們繼續(xù)投入研究來找到應(yīng)對的解決方案。

VR音頻對于VR來說究竟重不重要？

其實相較于視覺，人們在聽覺上并沒有那么敏感。很多時候，在畫面與聲音同步進行的情況下，人們更容易在畫面中獲取到較多的信息，從而忽略了一些聲音上的細節(jié)。那么，是不是說明VR音頻就不重要了呢？

答案顯然是否定的。對于VR中的音頻處理，小編認為大家需要用一種新的思考方式。過于逼真的聲音確實不適合所有的承載模式。比如在影院中，當觀眾面對著2D視頻，然而聲音卻從四面八法而來，這確實會分散觀眾的注意力，并讓其產(chǎn)生對視頻內(nèi)容的不解。

但是，VR頭顯的出現(xiàn)，改變了這一切。研究顯示，逼真的音頻是在VR中建立臨場感的重要先決條件。通過VR頭顯，用戶可以轉(zhuǎn)向任何方向，并看到一個連續(xù)的視覺場景。視覺上連續(xù)的場景與環(huán)繞式聲音，兩者共同構(gòu)建了一個VR系統(tǒng)。也正因此，才有望為用戶提供一個更接近現(xiàn)實的臨場感。

而為了追求好的臨場感、現(xiàn)場感，其必不可少的就是交互性。當用戶佩戴上頭顯，其至少轉(zhuǎn)頭會看到不同的全景內(nèi)容，聲音也隨之變化。類似于在游戲里邊，玩家從一個房間進入到另外一個房間，聽到從同一個點發(fā)出的聲音都應(yīng)該是不一樣的。這和視覺的變化其實差不多。正是由于這些交互特性的引入使得真實性的提升，也證明了VR音頻的存在是很有必要的。

VR音頻就是需要通過交互來給用戶一個更好的臨場感。另外很重要的一點，開發(fā)者通過VR音頻可以更方便的展現(xiàn)自己的意圖。用戶還可以通過聲音來更好地理解開發(fā)者想表達的意思。相反，如果沒有聲音的提示，那么觀眾在觀看的時候是完全按照自己的喜好，邊看視頻邊猜測視頻到底在表達什么。

很顯然，這是非常沒有效率的。而但凡是國外那些拍得非常好的VR作品，無一例外其聲音效果都做得非常棒。依賴于VR音頻，這些視頻將更有目的性的去引導(dǎo)觀眾觀看內(nèi)容。這樣一來，也讓視頻作品更具有了節(jié)奏感。

各大廠商來研發(fā)，VR音頻都有了哪些解決方案？

在VR中，用戶處于場景中心，可以自主選擇觀看的方向和角度。用戶想要通過頭顯加耳機的方式感受VR體驗，就需要在雙聲道立體聲輸出的耳機上聽到來自各個方向的聲音。另一方面，用戶時常需要來回轉(zhuǎn)動頭部或有大幅度的身體運動，因此還要考慮身體結(jié)構(gòu)對于聲音的影響。如此一來，就需要解決兩個關(guān)鍵的問題，一個是怎么放，另一個是怎么聽。

首先，聲音怎么放？開發(fā)者在VR中制作聲音時，就要以用戶為中心，在整個球形的區(qū)域內(nèi)安排聲音位置。當其確定某一方向為基準后，畫面內(nèi)容與用戶位置也就相對確定了。以此來定位的話，既有水平方向的環(huán)繞聲，也有了垂直方向上的聲音。通過水平轉(zhuǎn)動和垂直轉(zhuǎn)動這兩個參數(shù)，開發(fā)者就能控制視角在360度球形范圍的朝向，以及隨時與畫面配合的聲音的變化。

另一方面，用戶只有一副耳機，該如何實現(xiàn)電影院里杜比全景聲的效果呢？這里面用到一項技術(shù)叫做HRTF（Head-related Transfer Function，頭部傳送函數(shù)），該技術(shù)能夠計算并模擬出聲音從某一方向傳來以及移動變化時的效果，有點類似于一個濾波器。其對原始聲音進行頻段上的調(diào)整，使其能更接近人耳接收到的聽感效果，并通過耳機來回放。

而基于這樣的原理，有不少的廠商已經(jīng)進行了嘗試來創(chuàng)造VR中的音頻。

Valve

Valve曾收購了音效公司Impulsonic，Impulsonic有一個基于物理的聲音傳播和3D音頻解決方案，名為“Phonon”。去年，Valve開放了Photon音效工具的后續(xù)產(chǎn)物Steam Audio SDK。該方案能夠通過空間音效增強VR沉浸體驗，允許游戲的音頻與場景幾何體建立交互與反彈回音，從而增強體驗。Steam Audio支持Windows、Linux、macOS和安卓等多個平臺，也不局限于特定的VR設(shè)備和Steam。

谷歌

2017年，谷歌也與音頻公司Firelight和Audiokinetic合作，推出了一個VR音頻插件。開發(fā)者利用該插件可以根據(jù)虛擬空間大小、材料以及對象位置的改變來調(diào)整聲音，營造更加逼真的氛圍。該插件可以無縫集成到Unity和Unreal引擎中，使用時開發(fā)者只需要對3D音頻進行簡單調(diào)節(jié)，能夠很輕易地創(chuàng)造空間音頻。

AMD

與英偉達類似，2016年8月，AMD曾發(fā)布了一項名為TrueAudio Next的實時動態(tài)聲音渲染技術(shù)，讓虛擬現(xiàn)實中的聲音和畫面更為同步。該技術(shù)同樣使用物理方式模擬，讓渲染的聲音無限接近真實環(huán)境的聲音，在虛擬建模中進行多次反射，利用Radeon Rays光線追蹤技術(shù)讓系統(tǒng)辨別VR空間布局并定位空間中的物體。AMD已將該技術(shù)開源。

NVIDIA

到2016年5月，NVIDIA推出了一個專門用于VR場景，并是基于物理技術(shù)的聲學(xué)仿真技術(shù)“VRWorks Audio”。該技術(shù)借鑒了光線追蹤渲染的思路，充分考慮了3D場景的渲染，通過將音頻交互映射到3D場景中的物體上，使音頻聽起來更加自然。

用戶不斷移動，能夠聽到回聲的變化以及帶來的空間感，除了能夠判斷聲音是由該物體發(fā)出之外，還能判斷出物體的方向、遠近等等更多的信息。

Oculus

早在2014年，Oculus就已授權(quán)VisiSonic的RealSpace 3D音頻技術(shù)，并將其融入Oculus Audio SDK中。通過跟蹤器上所發(fā)來的空間信息來處理聲音信息，讓聽者覺得該聲音是從這個物體中發(fā)出來的。這項技術(shù)非常依賴定制的HRTF，通過耳機來再現(xiàn)精準的空間定位。

已有的技術(shù)確實可以實現(xiàn)VR音頻，用戶也可通過其辨別方向和距離。但是VR音頻技術(shù)要求的，不僅僅只是提供環(huán)境中物體的位置信息，而是需要能反饋出更多的空間環(huán)境狀態(tài)。

以游戲為例，當場景中的光線越來越暗，玩家的視覺必定受到限制，這個時候就要靠音頻來確定環(huán)境狀態(tài)。腳步聲、風聲、動物的叫聲等都能為玩家提供信息，誘導(dǎo)其下一步的行動和交互。因此，精準有效的音頻技術(shù)在VR中特別重要，不僅僅是游戲、視頻，在其他例如教育、社交等領(lǐng)域，VR音頻技術(shù)還需要進一步的成熟。