Google、三星、Arm和開放媒體聯(lián)盟聯(lián)手打造Eclipsa Audio

試想一下，你正坐在客廳里觀看電影，此時畫面中有一架直升機飛過，你可以聽到直升機的聲音仿若就在你頭頂上方移動，從房間的一側(cè)到另一側(cè)，營造出真正身臨其境的觀影體驗。得益于基于沉浸式音頻模型和格式 (IAMF, Immersive Audio Model and Formats) 的新開源音頻技術(shù) Eclipsa Audio，上述的聽覺體驗已能實現(xiàn)。無論是搭配了高端電視的高檔影院系統(tǒng)，還是入門級移動設(shè)備和電視，該技術(shù)能夠在多種常見消費電子產(chǎn)品中快速高效地處理此類需求。

該技術(shù)于今年國際消費類電子產(chǎn)品展覽會 (CES) 上推出，由 Google、三星、Arm 和開放媒體聯(lián)盟（開發(fā)了 AV1 視頻格式的組織）共同打造。

什么是 Eclipsa Audio？

Eclipsa Audio 是一種多聲道音頻環(huán)繞格式，利用 IAMF 技術(shù)提供沉浸式聆聽體驗。該技術(shù)通過垂直和水平傳播音頻，革新了聽覺體驗。這種三維音景高度模擬自然環(huán)境，使電影、電視節(jié)目和音樂中的聲音表現(xiàn)更為生動逼真。

Eclipsa Audio 會根據(jù)不同場景動態(tài)調(diào)整音頻，從而確保呈現(xiàn)最佳音質(zhì)。此外，該技術(shù)還提供定制功能，使聽眾能夠依據(jù)個人偏好調(diào)節(jié)聲音，進而獲得個性化及獨特的聽覺體驗。

一個 Eclipsa Audio 比特流最多可以包含 28 個輸入通道，這些通道被渲染到一組輸出揚聲器或耳機。這些輸入聲道可以是固定的，如管弦樂隊中的麥克風(fēng)；也可以是動態(tài)的，如動作電影中直升機穿過聲場。

Eclipsa Audio 具備雙耳渲染功能，這對于通過耳機提供沉浸式音頻的移動端應(yīng)用至關(guān)重要。此外，這種新的音頻技術(shù)支持跨消費類設(shè)備進行內(nèi)容創(chuàng)建，使用戶能夠自行構(gòu)建沉浸式音頻體驗。

Arm 與 Google 在 IAMF 開發(fā)的合作歷程

在 IAMF 開發(fā)過程中，Arm 作為戰(zhàn)略合作伙伴，與 Google 團隊密切協(xié)作，以優(yōu)化該技術(shù)的性能。Arm 的工作重點在于提高 Opus 編解碼器和 IAMF 庫 (libiamf) 的效率，確保其在當(dāng)今廣泛應(yīng)用于移動設(shè)備和電視中的 Arm CPU 上實現(xiàn)最佳性能。

自 2005 年以來，Arm CPU 已經(jīng)集成了 Neon SIMD 擴展，并且在此之后取得了顯著發(fā)展，使得音頻和視頻處理等數(shù)字信號處理 (DSP) 任務(wù)實現(xiàn)了性能躍升。針對 IAMF，Arm 的工程師致力于技術(shù)優(yōu)化，使其能夠在最低 CPU 使用率下實時解碼復(fù)雜的比特流，如此一來，即使 CPU 正在處理體驗中的其他任務(wù)，也能確?？煽康男阅?。這對于注重能效的移動端應(yīng)用尤為重要。

性能增強

Arm 一直在為 opus-codec 和 libiamf 升級補丁，專注于浮點實現(xiàn)，以實現(xiàn)最佳性能。這些增強包括：

Neon Intrinsic 優(yōu)化：該優(yōu)化支持多種 Arm 架構(gòu)（包括 Armv7 + Neon、Armv8-A32、Armv8-A64 和 Armv9），從而加速了浮點到 INT16 的轉(zhuǎn)換和軟削波。此外，還為多通道揚聲器輸出中的矩陣乘法和通道解壓縮提供了 CPU 特定的優(yōu)化。

性能提升：在 Quartz64 和 Google Pixel 7 等設(shè)備上，不同揚聲器配置（如立體聲、5.1、9.1.6）都有顯著的性能提升。舉例來說，9.1.6 的輸出在 Pixel 7 的 Arm Cortex-A55 CPU 核心上性能提升超過了 160%。

解碼效率：經(jīng)優(yōu)化后，所有測試文件在 AArch64 上的解碼時間少于實時的 16%，而在 AArch32 上則少于實時的 23%，使其在 Cortex-A55 處理器上極為高效。

核心技術(shù)

IAMF 支持多種音頻編碼格式，包括 LPCM、AAC、FLAC 和 Opus。其中，Opus 是當(dāng)前最時新的編解碼器，通常被認為是首選。Arm 針對 Arm 架構(gòu)對 Opus 進行了進一步優(yōu)化，從而確保其在 IAMF 框架內(nèi)高效運行。

IAMF 庫 (libiamf) 負責(zé)解碼 IAMF 比特流，并為各類音響系統(tǒng)生成揚聲器輸出。Arm 引入了一種 CPU 專用化框架，通過編譯時特征檢測，確保該庫針對其運行的平臺進行了優(yōu)化。

通過對 Opus 編解碼器和 libiamf 庫等關(guān)鍵組件進行優(yōu)化，Arm 的工程師確保了 IAMF 在 Arm CPU 上能夠提供卓越的性能。這不僅提升了用戶體驗，也體現(xiàn)了 Arm 的技術(shù)在前沿應(yīng)用中的重要價值。

開放媒體聯(lián)盟支持的 IAMF 開放標準方法，與 Arm 提供廣泛可訪問性和推動創(chuàng)新的愿景高度契合。此次合作凸顯了 Arm 在推動沉浸式音頻技術(shù)未來方面的重要作用，為包括高端家庭影院系統(tǒng)、入門級移動設(shè)備和電視等在內(nèi)的各種現(xiàn)有及未來設(shè)備，提供高質(zhì)量的音頻體驗。

沉浸式音頻的未來就在這里

IAMF 彰顯了沉浸式音頻技術(shù)的重大飛躍，通過利用人工智能 (AI) 和深度學(xué)習(xí)技術(shù)以及 Arm 支持的強大性能優(yōu)化，提供多功能和高質(zhì)量的音頻體驗。

沉浸式音頻的未來已經(jīng)到來，并且變得更加觸手可及。無論是普通聽眾還是音響發(fā)燒友，IAMF 將為我們帶來前所未有的沉浸式音頻體驗。