再度炒熱的3D音頻，次世代視聽體驗還是徒有虛名

電子發(fā)燒友報道（文/周凱揚）伴隨著虛擬現(xiàn)實和TWS的發(fā)展，人們對于聲音的要求也在逐漸提高，普通的5.1與7.1環(huán)繞立體聲作為多揚聲器方案，已經(jīng)難以滿足用戶在AR/VR、游戲和娛樂領(lǐng)域?qū)Α罢鎸崱钡淖非蟆Ｑ莩獣?、球賽和大會上的臨場感才是大家渴望的聽覺體驗，于是3D音頻這一技術(shù)又再度起死回生。

3D音頻作為人類對聲學領(lǐng)域的又一大探究，其實可以追溯到1881年法國工程師克萊門特·阿代爾發(fā)明的劇場電話，該裝置將不同聲道的信號通過兩個聽筒傳輸出來，營造劇場內(nèi)的立體聲效。1972年，德國諾音曼公司推出了第一個商用的立體聲錄制系統(tǒng)，并被廣泛應(yīng)用于錄音棚，但要想營造全方位的3D音頻，這對當時的錄音設(shè)備成本和播放設(shè)備成本來說都是一大挑戰(zhàn)。而AR與VR等應(yīng)用到來，對聲音的定位需求再度拔高，又讓這一技術(shù)重煥生機。

談到3D音頻，就不得不談到人對聲音位置的識別原理，人類大腦用三大方面來判別聲音位置：耳朵的形狀，每只耳朵接收聲音的時間差，以及每只耳朵間的升壓。這就引出了頭部相關(guān)傳輸函數(shù)（HRTF），一種音效定位算法。但是每個人的頭型、耳型都是獨一無二的，如果不能計算出正確的HRTF，那么聽者會對聲音的方位感到迷惑。

蘋果

Airpods Pro空間音頻 / 蘋果

蘋果在今年的Airpods Pro固件更新中加入了空間音頻功能，也是蘋果對3D音頻的首次嘗試。其實蘋果早就提供了用HRTF生成空間音頻的API，作為ARKit開發(fā)工具的一部分，而借助Airpods Pro中的加速度計和陀螺儀追蹤用戶的頭部運動，再通過定向音頻過濾器和調(diào)整每只耳朵接受的音頻頻率，有效計算出音頻該如何映射，從而創(chuàng)造出“空間音頻”的聽感。

不僅如此，蘋果的空間音頻將調(diào)用iPhone或iPad中的加速度計與陀螺儀，實時追蹤播放設(shè)備的位置，即便是轉(zhuǎn)頭或遠離，音源依然固定在播放設(shè)備的位置上。雖然空間音頻也支持5.1、7.1和杜比全景聲等立體聲格式，但是考慮到對播放內(nèi)容的要求，只有特定的支持應(yīng)用才能充分利用這一功能。

索尼

索尼在近期推出的PS5中同樣新增了3D音頻功能，利用全新的Tempest引擎實現(xiàn)。首席設(shè)計師Mark Cerny提到，上一代PS4提供的音頻體驗很差，只能調(diào)用AMD Jaguar內(nèi)核中一小部分來提供7.1環(huán)繞聲，而PS3時代則是直接使用協(xié)處理器來實現(xiàn)。因此索尼隨后推出的PSVR中加入了定制音頻單元，支持50個優(yōu)質(zhì)音源，而此次PS5的Tempest引擎更是支持上百個更高質(zhì)量的音源。

Tempest其實是一個重新加工的AMD GPU計算單元，去掉了緩存，僅僅依靠直接存儲器訪問（DMA）的數(shù)據(jù)傳輸，從而充分發(fā)揮這一計算單元的矢量處理能力，正如PS3的協(xié)處理器一樣。最終實現(xiàn)的計算單元SIMD性能和帶寬已經(jīng)等同于PS4上的8個Jaguar內(nèi)核，如果按照與PSVR相同的算法標準來衡量的話，足以支持5000個同質(zhì)量音源，但PS5更傾向于使用更復(fù)雜的算法實現(xiàn)高質(zhì)量音源，況且也不需要用到如此多的音源。

不同的HRTF對比 / 索尼

而且索尼已經(jīng)為上百個測試人群進行了HRTF建模，并提供5種預(yù)設(shè)方案，與此同時，用戶還可以通過應(yīng)用給索尼發(fā)送雙耳的正面照片，索尼將利用神經(jīng)網(wǎng)絡(luò)從HRTF庫中為用戶選取參數(shù)最接近的一套配置。這種參數(shù)獲取方式其實已經(jīng)在索尼的另一大3D音頻服務(wù)360 Reality Audio中實現(xiàn)了，但該服務(wù)主要面向音樂應(yīng)用。索尼還提到未來也許會開發(fā)一個音頻游戲，通過得分來微調(diào)HRTF，為用戶提供最契合的3D音頻體驗。

雖然不同廠商對HRTF的獲取方式不同，但要想實現(xiàn)3D音頻可沒這么簡單，同樣必不可少的還有DSP。

高通

Waves旗下的Nx實現(xiàn)了一套專門用于耳機和耳塞的3D音頻方案，利用心理聲學來實現(xiàn)揚聲器級別的3D聽感體驗。Nx將利用單個IMU來執(zhí)行頭部追蹤，并借助手機設(shè)備的IMU來實現(xiàn)一套雙傳感器算法，根據(jù)移動或運動下的參考數(shù)據(jù)確保聲場位置。

Hexagon 698 DSP / 高通

但這樣的實現(xiàn)方式會消耗移動設(shè)備一定的算力，從而對電池使用時間造成影響。所以Waves與高通合作，通過高通的Hexagon DSP和硬件優(yōu)化，Waves Nx能夠有效率地運行在搭載驍龍芯片的手機上，實現(xiàn)沉浸式的音頻體驗而不會犧牲電池壽命。就拿驍龍865中的Hexagon 698 DSP來說，這一數(shù)字信號處理器只有指甲大小，卻內(nèi)置4核張量加速器，可以做到每秒15萬億次的算力。

CEVA

美國廠商VisiSonics也提供了自己的3D音頻解決方案RealSpace 3D Audio，這是一套基于物理實現(xiàn)3D音頻算法的空間音頻軟件，并支持房間反射、物體遮擋和HRTF的模型創(chuàng)建。此外，RealSpace 3D Audio既可以在設(shè)備app或DSP硬件上實現(xiàn)，也可以采用混合處理的方式。

RS3D在CEVA DSP上的實現(xiàn) / CEVA

在DSP端，VisiSonics與著名DSP廠商CEVA合作，借助CEVA-X2或CEVA-BX1/BX2這三款DSP，RealSpace 3D Audio可以將5.1、7.1、基于物體的音頻等立體音頻空間化，并根據(jù)CEVA的六軸傳感器FSP200獲取頭部跟蹤數(shù)據(jù)。

CEVA-X2原理圖 / CEVA

CEVA-X2是一款基于16nm工藝的10級流水線DSP，工作頻率在2Ghz，達到4.5CoreMark/MHz的得分。該處理器包含兩個標量處理單元，支持8/16/32/64位數(shù)據(jù)類型的算法和邏輯運算。正是因為擁有這樣的性能，這款DSP才用作高性能語音處理，比如多麥克風語音處理、3D音頻和高質(zhì)量音頻播放等。

小結(jié)

盡管如今市面上已經(jīng)涌現(xiàn)了不少3D音頻的解決方案，但其實現(xiàn)方式與兼容性都有所差距。單拿HRTF的獲取來說，借助設(shè)備端的傳感器是最簡單的方式之一，但是較差，而通過app遠程拍攝耳型與頭型的方式則需要龐大的數(shù)據(jù)庫支撐，因此往往僅對小數(shù)量的人群進行嚴格的HRTF測量，再借助計算機視覺和神經(jīng)網(wǎng)絡(luò)來匹配。除此之外，設(shè)備端DSP的不同有時可能會對同一3D音頻方案的實現(xiàn)造成阻礙。

音源的錄制方式同樣為3D音頻的普及帶來了障礙，比如有的音頻錄制需要先交納一定的授權(quán)費用才能使用，有的3D音頻內(nèi)容則只有在特定的設(shè)備上才可以進行播放。不僅如此，藍牙設(shè)備的音頻編解碼格式（APTX、LHDC）、音頻文件的格式（MPEG-H）同樣會帶來不同的3D音頻效果。如此看來，3D音頻確實可以帶來非凡的聽感體驗，但目前來看效果不一而且多數(shù)廠商各自為戰(zhàn)，要想占據(jù)主流市場，仍面臨著不小的挑戰(zhàn)。

本文由電子發(fā)燒友網(wǎng)原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。如需轉(zhuǎn)載，請?zhí)砑游⑿盘杄lecfans999。