如何評(píng)估3D音頻解決方案 總結(jié)頭部跟蹤中的關(guān)鍵因素

作者：CEVA 高級(jí)營(yíng)銷專員 Charles Pao

Charles Pao 畢業(yè)于約翰霍普金斯大學(xué)，獲得電氣工程學(xué)碩士學(xué)位后，他開(kāi)始在 CEVA Hillcrest 實(shí)驗(yàn)室工作。他從事軟件開(kāi)發(fā)工作，研發(fā)了一個(gè)黑盒系統(tǒng)用來(lái)評(píng)估運(yùn)動(dòng)特征。Charles 十分熱愛(ài)媒體和通信領(lǐng)域，開(kāi)始為 Hillcrest Labs 制作演示和產(chǎn)品視頻。出于熱愛(ài)，他正式轉(zhuǎn)崗到市場(chǎng)營(yíng)銷部門。目前，他是 Hillcrest 信息與支持部的第一聯(lián)系人，并負(fù)責(zé)管理營(yíng)銷工作。同時(shí)，他還擔(dān)任多種職責(zé)和項(xiàng)目管理角色。Charles 還獲得了約翰霍普金斯大學(xué)電氣工程和計(jì)算機(jī)工程理學(xué)學(xué)士學(xué)位。

沉浸式 3D/空間音頻 ，與 XR/360 視頻相結(jié)合，給您帶來(lái)宛若置身于茂密深林的視聽(tīng)體驗(yàn)——飄落的細(xì)枝在腳下嘎吱作響，一頭鹿向東原跑去，當(dāng)您的目光追著一只紅衣鳳頭鳥而遠(yuǎn)去時(shí)，您能聽(tīng)見(jiàn)它扇動(dòng)翅膀的聲音。

精準(zhǔn)的頭部跟蹤有助于提供逼真的用戶體驗(yàn) (UX)，了解評(píng)估解決方案的關(guān)鍵因素，可以幫助您在不斷發(fā)展的行業(yè)中找到方向。

頭部跟蹤的關(guān)鍵因素

為了便于理解，本文內(nèi)容總結(jié)了頭部跟蹤中的關(guān)鍵因素。

延遲：它指視聽(tīng)信號(hào)從視聽(tīng)源發(fā)出到被用戶感知之間的時(shí)間差。依據(jù)本文的目的，我們將其分為兩部分。 —音頻輸入延遲：它指音頻信號(hào)從音頻源發(fā)出到被用戶感知之間的時(shí)間差。 —頭部跟蹤延遲：它指當(dāng)您的頭部移動(dòng)時(shí)，3D 音頻處理變化以適應(yīng)新的頭部方向的時(shí)間差。

頭部跟蹤準(zhǔn)確度：在本文中，我們討論的是僅跟蹤方向的 3-DOF 頭部跟蹤，而不是跟蹤位置和方向的 6-DOF 頭部跟蹤。準(zhǔn)確度指實(shí)際運(yùn)動(dòng)與其在擴(kuò)展現(xiàn)實(shí) (XR) 環(huán)境中對(duì)應(yīng)位置之間的測(cè)定差。如果傳感器（及其算法）不準(zhǔn)確，您可能能夠?qū)崟r(shí)跟蹤頭部運(yùn)動(dòng)，但在虛擬環(huán)境中的運(yùn)動(dòng)與現(xiàn)實(shí)中的運(yùn)動(dòng)會(huì)存在差異。

頭部跟蹤平滑度：它指頭部轉(zhuǎn)變方向時(shí)，3D 音頻轉(zhuǎn)換的清晰和可察覺(jué)程度。您希望創(chuàng)造一種不受跳躍影響的 XR 體驗(yàn)。突然改變的輸出會(huì)破壞沉浸式的體驗(yàn)感，在游戲過(guò)程中，甚至?xí)?dǎo)致死機(jī)。

測(cè)試因素

頭部跟蹤延遲

在沒(méi)有合適的測(cè)量設(shè)備的情況下，對(duì)延遲進(jìn)行測(cè)試并不簡(jiǎn)單，但可以用主觀的方法進(jìn)行測(cè)試。柏林工業(yè)大學(xué) (TU Berlin) 音頻通信團(tuán)隊(duì)的一項(xiàng)研究表明，人類受試者的平均檢測(cè)水平為 108 毫秒，單聲源的絕對(duì)檢測(cè)閾值為 52 至 73 毫秒。這里需要澄清的是，該團(tuán)隊(duì)研究的是“總系統(tǒng)延遲”，它指說(shuō)話者的音頻輸出和設(shè)備輸出之間的時(shí)間差。研究得出的結(jié)論是，人類平均需要經(jīng)過(guò) 108 毫秒才能注意到運(yùn)動(dòng)的變化。當(dāng)從單個(gè)來(lái)源播放聲音時(shí)，聲音會(huì)更加明顯。

收聽(tīng)預(yù)錄制的音樂(lè)或其他受限音頻的內(nèi)容時(shí)，此延遲不會(huì)有任何影響。但是，對(duì)于錄制的視頻而言，如果顯示器沒(méi)有延遲圖像解決音頻輸入延遲的問(wèn)題，則可能會(huì)出現(xiàn)口型同步問(wèn)題。對(duì)于視頻游戲而言，您不希望出現(xiàn)畫面延遲的狀況，因?yàn)楫嬅嫜舆t會(huì)影響到玩家的游戲表現(xiàn)，因此低音頻延遲對(duì)保持聲音與游戲畫面同步來(lái)說(shuō)非常重要。延遲在一定程度上會(huì)一直存在，但關(guān)鍵是要盡量減少延遲，這樣用戶就不會(huì)察覺(jué)到延遲的影響。

在空間音頻系統(tǒng)中，通常應(yīng)用頭相關(guān)變換函數(shù) (HRTF)，混響或其他室內(nèi)模擬技術(shù)，通過(guò)空間處理過(guò)的空間音頻輸入來(lái)映射頭部跟蹤數(shù)據(jù)。完成此處理后，有幾種常用方法可以實(shí)現(xiàn)空間音頻系統(tǒng)。

如果您在音頻設(shè)備本機(jī)上運(yùn)行空間處理算法，由于無(wú)線通信技術(shù)的影響，僅會(huì)增加音頻的輸入延遲。由于頭部跟蹤路徑中沒(méi)有無(wú)線鏈路，頭部跟蹤的延遲仍然很低。這是在同一設(shè)備上同時(shí)執(zhí)行空間處理和頭部跟蹤的一個(gè)關(guān)鍵優(yōu)勢(shì)。

另一種方法是在手機(jī)等移動(dòng)設(shè)備上執(zhí)行空間音頻處理。頭部跟蹤信息從可聽(tīng)設(shè)備發(fā)送至移動(dòng)設(shè)備，移動(dòng)設(shè)備會(huì)對(duì)其進(jìn)行處理，然后將其推回給用戶。由于存在額外的通信鏈路，與前一種方法相比，此方法會(huì)加大頭部跟蹤的延遲。通過(guò)藍(lán)牙技術(shù)可將音頻從電話傳輸?shù)蕉鷻C(jī)，藍(lán)牙延遲取決于使用的音頻編解碼器。較快的編解碼器的延遲可低至 50-80 毫秒，但較常見(jiàn)的編解碼器的延遲可達(dá) 170-270 毫秒。頭部跟蹤數(shù)據(jù)通常會(huì)增加 50-100 毫秒的延遲。

通過(guò)對(duì)空間音頻系統(tǒng)的理解和人類延遲檢測(cè)的研究，我們可以大致了解空間音頻系統(tǒng)延遲的優(yōu)劣情況。試著使用更高頻的聲音來(lái)測(cè)試延遲。低頻噪聲的方向性不顯著（這就是為什么立體聲系統(tǒng)通常只有一個(gè)低音炮）。

用于測(cè)試延遲的優(yōu)質(zhì)聲源是一種連續(xù)的聲音，可以很好地定位。理想情況下，此聲源需混合多個(gè)頻率的聲音，但為了便于測(cè)試的說(shuō)明，請(qǐng)考慮用不斷播放的高頻音頻測(cè)試延遲。較高的頻率更易于識(shí)別，而恒定音調(diào)可以讓您注意到音頻圖像中的不同變化。

假設(shè)您的耳機(jī)的頭部跟蹤延遲為 200 毫秒。若要獲得良好的音頻渲染效果，我們希望音頻圖像的移動(dòng)范圍不超過(guò) 5 度。這意味著用戶需要始終以低于 25 度/秒的速度移動(dòng)。為了幫助您更好地想象，這意味著在 3.6 秒內(nèi)將您的頭部旋轉(zhuǎn) 90 度。這種移速相當(dāng)緩慢，您在正常情況下的移動(dòng)速度比這快得多。

在測(cè)試中，如果您在大約 1/4 秒內(nèi)將頭部旋轉(zhuǎn) 90 度，您將以 360 度/秒的速度移動(dòng)。200 毫秒的延遲意味著聲源將移動(dòng) 72 度，但是它僅在 200 毫秒的時(shí)間內(nèi)處于錯(cuò)誤的位置。在測(cè)試中，以連續(xù)的聲音作為參考，可以輕易辨別延遲情況。

準(zhǔn)確度、精確度和平滑度

準(zhǔn)確度與運(yùn)動(dòng)與真實(shí)世界/真實(shí)答案的差距有關(guān)。精確度與您獲得相同答案的一致性有關(guān)。只有使用帶有磁力計(jì)的完整 9 軸解決方案，才能測(cè)量出真正的準(zhǔn)確度。但是，由于音頻技術(shù)使用了磁性驅(qū)動(dòng)器，以及不斷變化的用戶環(huán)境，使用完整的 9 軸頭部跟蹤解決方案并不切實(shí)際。這就是為什么大多數(shù)空間音頻硬件只使用加速計(jì)和陀螺儀的原因。

測(cè)試精確度和平滑度有點(diǎn)棘手，但使用您的空間音頻軟件，應(yīng)該能夠測(cè)試它們的運(yùn)行效果。清晰的語(yǔ)音音頻（如播客）可能是測(cè)試這些標(biāo)準(zhǔn)的最佳工具。在播客中，說(shuō)話者處于固定位置，所以無(wú)論您把頭轉(zhuǎn)至哪個(gè)方向，說(shuō)話者的聲音都應(yīng)該來(lái)自同一個(gè)位置。當(dāng)您移動(dòng)頭部時(shí)，3D 音頻應(yīng)該會(huì)發(fā)生從一個(gè)位置到另一個(gè)位置的變化，而音量或音質(zhì)不會(huì)出現(xiàn)明顯的落差或變化。

3D/空間音頻耳機(jī)中的陀螺儀傳感器容易發(fā)生偏移，這會(huì)降低耳機(jī)的整體精度。軟件將為您提供多個(gè)選項(xiàng)：手動(dòng)復(fù)位，慢速穩(wěn)定或快速穩(wěn)定。

如果您未調(diào)整偏移，會(huì)發(fā)現(xiàn)隨著時(shí)間的推移，人們?cè)诜块g里移動(dòng)的速度很慢。也許他們一開(kāi)始在您的正前方，但現(xiàn)在位于中心偏左的位置。這種效果是不理想的。您可以通過(guò)點(diǎn)擊（設(shè)備物或軟件上）指定的按鈕來(lái)手動(dòng)復(fù)位設(shè)備，說(shuō)出“我再次直視前方”，并重新設(shè)置偏移度。但是，隨著時(shí)間的推移，偏移度仍然會(huì)逐漸增加。緩慢復(fù)位方法利用了您的頭部朝向視線對(duì)象這一事實(shí)。通過(guò)作出此假設(shè)，它可以在幾分鐘內(nèi)重置陀螺儀偏移?？焖?gòu)?fù)位方法利用了同樣的思路，但是相比而言，可以在幾秒鐘之內(nèi)立即實(shí)現(xiàn)移動(dòng)。

您需根據(jù)具體的使用情形，選擇理想的自動(dòng)復(fù)位方法。如果您看向屏幕的同一方向，快速?gòu)?fù)位則是理想的選擇，因?yàn)榕紶柨聪蚱聊灰酝獾奈恢貌粫?huì)影響復(fù)位，并讓您的視線落點(diǎn)保持在中心位置。在活動(dòng)開(kāi)始時(shí)，重置“正前”方向可以指引復(fù)位，讓您不必花費(fèi)幾分鐘的時(shí)間等待算法調(diào)整。但是，如果您在家中的多個(gè)屏幕上玩游戲，在手機(jī)上玩動(dòng)作游戲，或者在公園里散步，您的方向就會(huì)頻繁變化?？焖?gòu)?fù)位能夠更好地跟上以上場(chǎng)景的方向變化。

當(dāng)您轉(zhuǎn)著頭聽(tīng)播客時(shí)，試著注意聲音在空間里的追蹤效果，以及當(dāng)聲音移動(dòng)時(shí)，聲音位置變化的平滑程度（或者您是否注意到移動(dòng)）?？臻g音頻的流暢性主要體現(xiàn)在聲音在位置轉(zhuǎn)換過(guò)程中的清晰度。無(wú)論是緩慢還是快速轉(zhuǎn)動(dòng)頭部，您能察覺(jué)到的音頻位置的清晰變化都是平滑算法的標(biāo)志。如果您在頭部移動(dòng)時(shí)注意到音頻跳躍或明顯量化的現(xiàn)象，這可能是跳轉(zhuǎn)校正的跡象，或者傳感器/系統(tǒng)無(wú)法平滑轉(zhuǎn)換運(yùn)動(dòng)。

隨著大型科技公司創(chuàng)造出各種 3D/空間音頻的集成產(chǎn)品，3D/空間音頻正成為世界的主流。產(chǎn)品越多，您就越需要了解如何挑選最佳產(chǎn)品。盡管以上評(píng)估在很大程度上代表了本人的主觀看法，但我希望通過(guò)解釋評(píng)估與測(cè)試背后的想法與邏輯，為您在 3D/空間音頻的世界里暢游提供一些指引。如果您需要以可視化方式了解頭部跟蹤延遲的重要性，或者獲取有關(guān) HRTF 的更多信息，請(qǐng)查看網(wǎng)絡(luò)研討會(huì)視頻。如果本文或網(wǎng)絡(luò)研討會(huì)的內(nèi)容讓您產(chǎn)生了興趣，請(qǐng)向我們發(fā)送消息，以了解哪些 CEVA 產(chǎn)品能為您的項(xiàng)目提供最佳支持。