智能眼鏡“重生”：AR芯片、AI大模型、聲效處理單元進(jìn)入迭代新周期

電子發(fā)燒友網(wǎng)報(bào)道（文/莫婷婷）得益于與智能手機(jī)等智能設(shè)備連接、AI大模型技術(shù)加持以及用于聽障等特殊人群的功能增強(qiáng)，豐富了智能眼鏡的應(yīng)用體驗(yàn)，智能眼鏡市場正在經(jīng)歷顯著的增長。其中，AR智能眼鏡市場迎來重生。IDC預(yù)計(jì)2024年中國AR市場的出貨增速預(yù)計(jì)將達(dá)到101.0%，保持高速增長。AI智能音頻眼鏡也在技術(shù)的迭代下保持增長趨勢。

從開年至今，業(yè)內(nèi)已經(jīng)推出了包括AR智能眼鏡以及AI智能音頻眼鏡在內(nèi)的多款新品，我們將從這些新品來看智能眼鏡的技術(shù)迭代需求，以及未來發(fā)展方向。


AI大模型加持，AI+智能眼鏡成為標(biāo)配

最近智能眼鏡市場最受關(guān)注的話題莫過于Meta。Meta宣布雷朋智能眼鏡（Ray-Ban Meta智能眼鏡）開始支持多模態(tài)版Llama 3，這將讓Meta AI升級為多模態(tài) AI。內(nèi)置AI大模型已經(jīng)成為智能眼鏡的發(fā)展趨勢之一，從簡單的AI大模型到多模態(tài)大模型，Meta這一舉加速了智能眼鏡在AI大模型上迭代進(jìn)程。

AI技術(shù)能給智能眼鏡帶來哪些交互體驗(yàn)的升級呢？李未可科技AI負(fù)責(zé)人古鑒提到了三大方面，一是通過定向優(yōu)化的分發(fā)大模型，實(shí)現(xiàn)更自然的交互，第二是通過情感大模型提供更人性的陪伴，三是通過戶外多模態(tài)大模型提供更精準(zhǔn)的服務(wù)。

就在今年4月，AR+AI眼鏡研發(fā)商李未可科技發(fā)布了針對可穿戴設(shè)備（如眼鏡等）自研的多模態(tài)大模型平臺(tái)——WAKE-AI，已經(jīng)搭載在旗下首款A(yù)I眼鏡——Meta Lens Chat上。

圖：李未可多模態(tài)大模型平臺(tái)WAKE-AI

根據(jù)介紹，WAKE-AI大模型在云端運(yùn)行，具備文本生成、語言理解、圖像識(shí)別及視頻生成等多模態(tài)交互能力，賦能在AI眼鏡上，WAKE-AI將讓Meta Lens Chat眼鏡具備更強(qiáng)的AI語音交互能力，AI口語教學(xué)、翻譯能力。值得一提的是，隨著用戶使用Meta Lens Chat眼鏡越久，AI智能助理將能記住用戶喜好，成為更懂人的AI助手。這也將成為大多數(shù)內(nèi)置AI大模型的智能穿戴設(shè)備未來的功能發(fā)展方向。

在芯片端，2023年，高通Hexagon NPU開始支持LLM和LVM，并支持Transformer。在2015年，模型只是簡單CNN，隨著大語言模型賦能的個(gè)人助手的出現(xiàn)，2023年之前的LLM和LVM支持100億參數(shù)，到了2023年后隨著多模態(tài)生成式AI模型的出現(xiàn)，將需要支持100參數(shù)以上LLM和LVM。為了讓多模態(tài)AI大模型的性能發(fā)揮出來，Ray-Ban Meta 眼鏡增加了攝像頭，能夠通過攝像頭完成交互，例如識(shí)圖功能。攝像頭以及更多傳感器的加入，對NPU的性能提出了更高的要求。


空間計(jì)算時(shí)代對AR芯片的性能需求急速提升

MR設(shè)備的下一個(gè)階段是進(jìn)入空間計(jì)算時(shí)代。2023年蘋果發(fā)布 Apple Vision Pro，空間計(jì)算時(shí)代也由此到來，并加速形成。在空間計(jì)算時(shí)代，AR智能眼鏡更加強(qiáng)調(diào)連接能力、交互、環(huán)境感知、增強(qiáng)現(xiàn)實(shí)等技術(shù)帶來的體驗(yàn)。例如AR眼鏡與智能手機(jī)或其他計(jì)算設(shè)備連接時(shí)，需要強(qiáng)大的連接能力，虛擬信息與現(xiàn)實(shí)世界的融合需要傳感器的感知能力以及增強(qiáng)顯示技術(shù)的加持等等。

就在4月，AR智能眼鏡品牌廠商在Rokid Open Day 2024上，發(fā)布新一代AR Lite空間計(jì)算套裝，該套裝包括Rokid Max2眼鏡和Rokid Station2主機(jī)。根據(jù)介紹，在交互方式上，AR Lite空間計(jì)算套裝支持空間觸控交互和空間射線交互兩種交互方式，觸控方式增加了多指多手勢觸控，在Station 2的觸控板上就能完成相應(yīng)操作。

空間射線的交互方式讓Station2主機(jī)成為遙控器。此前，AR智能眼鏡的空間射線指針會(huì)因?yàn)闀r(shí)延和精準(zhǔn)度，導(dǎo)致使用體驗(yàn)不佳。Rokid等AR品牌廠商都在不斷優(yōu)化空間射線指針的精準(zhǔn)度。

圖源：Rokid

為了減少用巨幕玩游戲時(shí)因?yàn)槎秳?dòng)帶來的不適感，Rokid還為AR Lite增加運(yùn)動(dòng)防抖模式。此外，面向辦公、觀影、娛樂等應(yīng)用場景，AR Lite空間計(jì)算套裝還具備多聯(lián)屏模式，多任務(wù)協(xié)同處理的功能。

上述功能的實(shí)現(xiàn)需要計(jì)算、圖形渲染、手勢追蹤、數(shù)據(jù)處理、無線傳輸?shù)榷喾N技術(shù)都有相關(guān)的門檻，更為重要的是，AR空間計(jì)算的實(shí)現(xiàn)還需要計(jì)算機(jī)視覺和AI深度學(xué)習(xí)的結(jié)合，因此強(qiáng)大的AR芯片在AR智能眼鏡升級的過程中越來越重要。

目前，大多數(shù)AR智能眼鏡已經(jīng)與高通達(dá)成合作，采用高通驍龍平臺(tái)，例如Rokid的AR Lite、AR studio等，另外雷鳥X2 Lite也搭載了高通驍龍AR1平臺(tái)。

2022年，高通發(fā)布了首款專為AR眼鏡研發(fā)的處理器高通驍龍AR2平臺(tái)，采用分布式架構(gòu)，支持九路并行攝像頭進(jìn)行用戶和環(huán)境理解，帶有專用硬件加速引擎、AI加速器、重投影引擎，能夠改善用戶運(yùn)動(dòng)追蹤和定位、降低手勢追蹤或6DoF等高精度輸入交互時(shí)延、帶來更流暢的視頻體驗(yàn)。

2023年，高通發(fā)布了全新空間計(jì)算平臺(tái)——第二代驍龍XR2和第一代驍龍AR1。第二代驍龍XR2平臺(tái)GPU性能提升2.5倍，GPU能效提升50%，AI每瓦特性能提升8倍。驍龍AR1專為AR智能眼鏡而設(shè)計(jì)，支持WiFi 7，峰值速度高達(dá)5.8Gbps，處理器搭載了第三代Hexagon NPU。拍攝性能也得到大幅提升，采用 14-bit 雙 ISP，并且增強(qiáng)了AI能力，提高照片和視頻的拍攝質(zhì)量。


更豐富的音頻體驗(yàn)，麥克風(fēng)、DSP等音效處理單元同步升級

隨著應(yīng)用領(lǐng)域越來越細(xì)分，智能眼鏡的分類也越來越多，除了上述提到的AR智能眼鏡、AI智能眼鏡，還有智能音頻眼鏡。顧名思義，智能音頻對音效體驗(yàn)的要求更高。目前已經(jīng)有多家品牌廠商跨界推出智能音頻眼鏡，例如業(yè)內(nèi)知名的音頻和揚(yáng)聲器制造商JBL。

JBL近期推出了音悅范智能音頻眼鏡耳機(jī)。做音頻設(shè)備是JBL的強(qiáng)項(xiàng)，如今跨界將其音頻能力賦能到智能眼鏡中，也可以說是毫不意外。

但是作為開放式耳機(jī)的衍生產(chǎn)品，智能音頻眼鏡對音效的需求也是非常高，根據(jù)介紹，JBL這款智能音頻眼鏡的發(fā)聲單元搭載了線性度賽道型驅(qū)動(dòng)單元、抗風(fēng)噪通話降噪技術(shù)、指向性聲場系統(tǒng)投送技術(shù)等，減少漏音問題。能夠用于語音會(huì)議、會(huì)議等場景。
MIJIA智能音頻眼鏡悅享版也在近期開售，采用氣傳導(dǎo)的開放聲場技術(shù)，搭載SLS0820超聲線揚(yáng)聲器融合音腔結(jié)構(gòu)算法、逆聲場結(jié)構(gòu)疊加防漏膜設(shè)計(jì)、降噪功能等，并且能夠精準(zhǔn)拾取通話人聲。

在AR/VR設(shè)備中，要實(shí)現(xiàn)更高的聽覺效果需要麥克風(fēng)和DSP芯片等音效處理單元的共同配合，例如現(xiàn)在大多數(shù)智能眼鏡都標(biāo)配的通話功能需要用到降噪、回聲消除等技術(shù)，聽音樂的功能更強(qiáng)調(diào)音效。

在上游元器件廠商中，瑞聲科技是主流玩家之一。此前，瑞聲科技發(fā)布了首款A(yù)R專用超線性揚(yáng)聲器，尺寸僅為8x20x3mm，重量1.45g，適用于小型化以及重量敏感的AR智能眼鏡，振幅可以達(dá)到0.5mm，不僅解決了音損的問題，還提升了低頻靈敏度。瑞聲科技還采取開放式后腔設(shè)計(jì)，減少漏音。

樓氏電子同樣是業(yè)內(nèi)知名的聲學(xué)元器件廠商，針對VR/AR設(shè)備，公司已經(jīng)推出了多款DSP芯片，例如DSP芯片IA8201。該芯片具備高算力、低功耗的特點(diǎn)，能夠進(jìn)行上行的語音通話處理、下行的音效處理。上行的語音通話處理包括降噪、回聲消除、低功耗語音喚醒等功能，下行的音效處理主要通過音效算法提升看電影、聽音樂的音效體驗(yàn)。

圖：XREAL Air采用了樓氏音效處理單元（電子發(fā)燒友網(wǎng)攝）

小結(jié)：

IDC的數(shù)據(jù)顯示，2024年，中國AR市場的出貨增速預(yù)計(jì)將達(dá)到101.0%，保持高速增長。除了AR智能眼鏡，音頻智能眼鏡、AI智能眼鏡等更加細(xì)分的市場也將隨著市場需求出現(xiàn)，實(shí)現(xiàn)增長，在這個(gè)過程中將帶動(dòng)AR芯片、AI大模型，以及聲學(xué)處理單元等上游元器件的迭代。