XR（擴(kuò)展現(xiàn)實(shí)）市場(chǎng)可穿戴設(shè)備的整體計(jì)算解決方案

Arm 推出首個(gè)全面計(jì)算解決方案后，我們正在探索如何將不同的高級(jí)、性能和效率解決方案應(yīng)用于不同的消費(fèi)類設(shè)備細(xì)分市場(chǎng)。我們已經(jīng)探索了智能手機(jī)、筆記本電腦和家用設(shè)備細(xì)分市場(chǎng)，但在本博客中，我們將概述XR（擴(kuò)展現(xiàn)實(shí)）可穿戴設(shè)備市場(chǎng)可能存在的不同 Total Compute 解決方案。

XR市場(chǎng)

最近與 XR 市場(chǎng)相關(guān)的最大發(fā)展是元界的引入。被描述為“互聯(lián)網(wǎng)的下一次發(fā)展”，元宇宙將把真實(shí)、數(shù)字和虛擬世界融合到新的現(xiàn)實(shí)中，人們幾乎可以做任何事情：與朋友和家人聚會(huì)、學(xué)習(xí)、工作、商務(wù)會(huì)議、購(gòu)物、創(chuàng)造、游戲和全新的體驗(yàn)還有待想象。

如本藍(lán)圖文章中所述，Arm 是通往元界的門戶。XR 通過(guò) Arm 驅(qū)動(dòng)的網(wǎng)關(guān)消費(fèi)設(shè)備，如獨(dú)立的 XR 可穿戴設(shè)備——無(wú)論是 VR 耳機(jī)還是未來(lái)的 AR 智能眼鏡——將促進(jìn)元界中非凡的新體驗(yàn)。

XR包括增強(qiáng)現(xiàn)實(shí)（AR）、虛擬現(xiàn)實(shí)（VR）和混合現(xiàn)實(shí)（MR）。雖然所有三個(gè)“現(xiàn)實(shí)”都有共同的重疊特征和要求，但每個(gè)都有不同的目的和底層技術(shù)。

AR 通過(guò)將我們看到的內(nèi)容與計(jì)算機(jī)生成的信息相疊加，增強(qiáng)了用戶對(duì)現(xiàn)實(shí)世界的看法。未來(lái)，整體 AR 體驗(yàn)將通過(guò)可穿戴智能眼鏡提供。這些設(shè)備必須將超低功耗處理器與包括深度感知和跟蹤在內(nèi)的多個(gè)傳感器相結(jié)合，所有這些都在一個(gè)輕巧舒適的外形尺寸內(nèi)，足以長(zhǎng)時(shí)間佩戴。我們已經(jīng)看到幾款新的智能眼鏡型號(hào)將于 2021 年問(wèn)世，包括 Snap、Meta Ray-Ban、聯(lián)想 ThinkReality A3 和 Vuzix 的下一代智能眼鏡的 Spectacle 智能眼鏡。

VR 完全取代了用戶的視野，讓他們沉浸在計(jì)算機(jī)生成的虛擬環(huán)境中。VR 頭戴式可穿戴設(shè)備，如Arm 驅(qū)動(dòng)的 Oculus Quest和 Quest 2，在過(guò)去五年中已經(jīng)上市。這些設(shè)備通常用于娛樂(lè)體驗(yàn)，例如游戲、音樂(lè)會(huì)、電影或運(yùn)動(dòng)，但也正在進(jìn)入社交領(lǐng)域，例如虛擬聚會(huì)，如下所示的 RecRoom VR 平臺(tái)所示。

MR 介于 AR 和 VR 之間，因?yàn)樗ㄟ^(guò)將虛擬對(duì)象、角色或指令疊加到現(xiàn)實(shí)世界環(huán)境中來(lái)融合現(xiàn)實(shí)世界和虛擬世界，反之亦然。最著名的 MR 可穿戴設(shè)備是Arm 驅(qū)動(dòng)的 Microsoft HoloLens 2。虛擬指令集和圖形疊加到用戶視圖中，以協(xié)助企業(yè)和工業(yè)應(yīng)用。

XR 可穿戴設(shè)備的計(jì)算性能和效率水平將根據(jù) XR 可穿戴設(shè)備的類型及其設(shè)計(jì)支持的用例的復(fù)雜性而有所不同?，F(xiàn)代獨(dú)立 VR 耳機(jī)將需要高性能計(jì)算，主要用于高端游戲體驗(yàn)，如 Oculus Quest 設(shè)備，而更小、更輕的設(shè)備（如 AR 智能眼鏡）則需要高效率。同時(shí)，還有一些設(shè)備介于這兩種性能和效率之間，例如 HoloLens 2 等 MR 頭戴式設(shè)備，以及 HP Reverb G2 等面向消費(fèi)市場(chǎng)的系留 VR 設(shè)備。因此，片上系統(tǒng) (SoC) 解決方案需要能夠擴(kuò)展以適應(yīng)不同的用例、工作負(fù)載和外形尺寸。這就是 Arm Total Compute 解決方案可以提供幫助的地方。

XR 可穿戴設(shè)備的整體計(jì)算解決方案

Arm 的 Total Compute 解決方案提供一整套可擴(kuò)展的硬件 IP（包括最新的Armv9 CPU、Mali GPU和系統(tǒng) IP）、物理 IP、軟件、工具和標(biāo)準(zhǔn)，以構(gòu)建跨不同消費(fèi)設(shè)備市場(chǎng)的最佳 SoC。這些解決方案為各種 XR 可穿戴設(shè)備所需的特殊計(jì)算要求提供不同的配置，從高性能 VR 和 MR 耳機(jī)到超高效的 AR 智能眼鏡。

高性能 VR 和 MR 耳機(jī)的配置代表了我們的“高性能”全面計(jì)算解決方案。這里有兩種可能的配置。首先，1x Arm Cortex -X2、3x Arm Cortex-A710和 4x Arm Cortex-A510的 1+3+4 CPU 配置以實(shí)現(xiàn)高性能。對(duì)于性能稍低但效率更高的情況，有 4x Cortex-A710 和 4x Cortex-A510 的 4+4 CPU 配置。兩種解決方案都可以利用高級(jí)Arm Mali-G710 GPU或主流Arm Mali-G510 GPU來(lái)獲得高質(zhì)量圖形。

同時(shí)，輕量級(jí) AR 智能眼鏡的“效率”Total Compute 解決方案可以利用 2x Cortex-A710 和 6x Cortex-A510 的 2+6 CPU 配置，甚至可以利用 4x Cortex-A510 來(lái)實(shí)現(xiàn)超效率。超高效的Arm Mali-G310 GPU可以支持這些解決方案。

與所有全面計(jì)算解決方案一樣，我們用于 XR 可穿戴設(shè)備的全面計(jì)算解決方案中的 CPU 和 GPU 是我們的系統(tǒng) IP – CoreLink Interconnect CI-700 和 NI-700 的基礎(chǔ)。這兩種互連技術(shù)都提供了更高的能源效率和系統(tǒng)性能，從而進(jìn)一步改進(jìn)了任何整體計(jì)算解決方案。我們的 Total Compute 解決方案中的所有 CPU 配置都由 Arm 的 DSU-110 綁定在一起，這是這些基于 Armv9 的 Cortex CPU 集群的支柱。這使我們的合作伙伴能夠處理不同類型的基于 Arm 的 XR 可穿戴設(shè)備，并在性能和效率方面進(jìn)行不同的權(quán)衡。

CPU

高性能 VR 和 MR 頭戴式設(shè)備可以將至少一個(gè) Cortex-X2 集成到 Total Compute 解決方案中。我們的 Cortex-X CPU 確實(shí)推動(dòng)了峰值性能要求，這對(duì)于 VR 和 MR 耳機(jī)上的游戲和其他娛樂(lè)體驗(yàn)等計(jì)算密集型 XR 工作負(fù)載非常重要。Cortex-A710 的能效改進(jìn)補(bǔ)充了這種對(duì)峰值性能的驅(qū)動(dòng)，它可以實(shí)現(xiàn)持續(xù)的性能，從而最大限度地延長(zhǎng)所有 XR 可穿戴設(shè)備的電池壽命。對(duì)于 XR 可穿戴設(shè)備而言，這是一個(gè)非常重要的考慮因素，這些設(shè)備越來(lái)越不受束縛，以實(shí)現(xiàn)更大的用戶移動(dòng)性。Cortex-A510 進(jìn)一步支持了這種對(duì)能源效率的推動(dòng)，可實(shí)現(xiàn)更長(zhǎng)的播放體驗(yàn)。

對(duì)于效率至關(guān)重要的 XR 可穿戴設(shè)備（例如 AR 智能眼鏡），Cortex-A710 和 Cortex-A510 CPU 將僅用于基于效率的整體計(jì)算解決方案。Cortex-A510 不僅通過(guò) 3 寬有序設(shè)計(jì)將電源效率提高了 20%，而且還提供了行業(yè)領(lǐng)先的面積效率。這對(duì)于面積很重要的小型、輕便的 XR 可穿戴設(shè)備來(lái)說(shuō)非常重要！

使這成為可能的一項(xiàng)創(chuàng)新是合并的核心微架構(gòu)。這允許將兩個(gè) Cortex-A510 CPU 組合成一個(gè)復(fù)合體，每個(gè) CPU 集群有多個(gè)復(fù)合體。結(jié)果是在更高的性能點(diǎn)上增加了面積效率。這種對(duì)性能的追求與高面積效率相結(jié)合，非常適合輕量級(jí) AR 智能眼鏡。

GPU

不同的 XR 可穿戴設(shè)備由不同的 GPU 支持。高級(jí) Mali-G710 可以整合到高性能 XR 耳機(jī)的 Total Compute 解決方案中。它提高了索引驅(qū)動(dòng)頂點(diǎn)著色 (IDVS) 的特征覆蓋率，這是 XR 用例中常用的一種功能，因?yàn)樗梢凿秩久總€(gè)眼睛視圖，每個(gè)視圖的對(duì)象位置略有不同。

Mali-G510 還可以集成到高性能 XR 可穿戴設(shè)備中，提供性能和效率的完美平衡。與上一代Arm Mali-G57 GPU相比，它提供了 100% 的性能提升和 22% 的節(jié)能，從而延長(zhǎng)了電池壽命。

與 Mali-G710 的 7 到 16 個(gè)可配置著色器內(nèi)核相比，Mali-G510 能夠支持 2 到 6 個(gè)。但是，它仍然融合了 Mali-G710 的許多高級(jí)功能，例如命令流前端 (CSF)、重新設(shè)計(jì)的附加執(zhí)行引擎和重新設(shè)計(jì)的紋理單元，以提供高質(zhì)量的圖形體驗(yàn)。然后，最重要的是，它提供了更好的 HDR 支持格式、Arm 幀緩沖區(qū)壓縮 (AFBC) 未壓縮緩沖區(qū)和新的 Arm 固定速率壓縮 (AFRC) 以減少帶寬。AFRC 是 XR 可穿戴設(shè)備的一個(gè)特別簡(jiǎn)潔的功能，因?yàn)樗ＷC以最小的面積成本減少帶寬和內(nèi)存占用。這轉(zhuǎn)化為性能提升和節(jié)能。

Mali-G310 旨在以最小的面積成本提供盡可能高的性能，非常適合針對(duì) AR 智能眼鏡的全面計(jì)算解決方案。它是我們有史以來(lái)性能最高的超高效 GPU，與上一代 Arm Mali-G31 GPU 相比，在三個(gè)性能領(lǐng)域——紋理性能 (6x)、Vulkan 性能 (4.5x) 和 Android UI 內(nèi)容 (2x) 具有巨大的性能提升。與 Mali-G510 一樣，Mali-G310 也提供更好的 HDR 支持格式和 AFBC 未壓縮緩沖區(qū)，但 AFRC 只是可選的。然而，GPU 確實(shí)提供了中心點(diǎn)渲染——一種使用與 XR 可穿戴設(shè)備集成的眼動(dòng)追蹤器來(lái)減少渲染工作量的渲染技術(shù)——用于增強(qiáng) AR 和 VR。