0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Arm平臺賦能移動端生成式AI

Arm社區(qū) ? 來源:Arm社區(qū) ? 2024-04-26 11:09 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

生成式人工智能 (Generative AI) 涵蓋了當(dāng)下廣為人知,且備受關(guān)注的大語言模型 (LLM),如今也已落地邊緣側(cè)的移動設(shè)備。這意味著,無論是生成圖像和視頻,還是理解上下文語義,AI 的生成式推理將開始由移動設(shè)備進行全權(quán)處理,而非交由云端處理后返回結(jié)果。

Arm 作為基石技術(shù),使得無處不在的 AI 成為可能,其中就包括移動端的生成式 AI。無論是支持 AI 功能的新款旗艦智能手機,還是直接在 Arm CPU 上處理 LLM,這些振奮人心的開發(fā)成果都展現(xiàn)了 Arm 作為基石技術(shù)的實際應(yīng)用價值。

AI 賦能的新款智能手機

采用 Armv9 架構(gòu)的 CPU 和 GPU 技術(shù)的高性能 AI 智能手機現(xiàn)已問世,其中包括搭載 MediaTek 天璣 9300 的 vivo X100 和 X100 Pro 智能手機、三星 Galaxy S24 以及谷歌 Pixel 8。

這些旗艦移動設(shè)備兼顧性能與效率,為 AI 創(chuàng)新提供了前所未有的機遇。事實上,在過去十年間,得益于 Arm CPU 和 GPU 的性能提升,在移動平臺上的 AI 處理能力每兩年實現(xiàn)翻番。

未來,我們會將更多 AI 性能、技術(shù)和功能加入到我們堅實的消費技術(shù)路線圖中,推動這一趨勢不斷發(fā)展。同樣起助推作用的還有當(dāng)下的邊緣側(cè) AI 推理熱潮,以及使用 LLM 等經(jīng)過訓(xùn)練的模型來驅(qū)動基于 AI 的應(yīng)用,隨著更多的 AI 支持和專用指令的加入,CPU 將成為滿足這一需求的理想選擇。

一切始于 CPU

大多數(shù)情況下,移動設(shè)備的 AI 功能都始于 CPU,例如對面部、手部和身體動作的追蹤,高級的相機效果和濾鏡,以及許多社交應(yīng)用中的細分功能。此類 AI 工作負載的處理可能全權(quán)交由 CPU,或是結(jié)合 GPU 或 NPU 等協(xié)處理器一起提供支持。Arm 的 CPU 設(shè)計廣泛應(yīng)用于當(dāng)今全球數(shù)十億人使用的智能手機系統(tǒng)級芯片 (SoC) 中,對于在終端設(shè)備實現(xiàn) AI 工作負載至關(guān)重要。

目前,70% 的第三方應(yīng)用所使用的 AI 均基于 Arm CPU 運行,包括新發(fā)布的社交類、健康類和基于相機功能的應(yīng)用等。除了設(shè)計的普及性,Arm CPU 還具有靈活性和 AI 功能,因此成為了移動設(shè)備領(lǐng)域開發(fā)者首選的應(yīng)用 AI 工作負載處理器。

就靈活性而言,Arm CPU 能夠以多種數(shù)據(jù)格式運行各類神經(jīng)網(wǎng)絡(luò)。展望未來,未來的 Arm CPU 將在指令集中加入更多 AI 功能,惠及行業(yè)領(lǐng)先的 Arm 生態(tài)系統(tǒng),例如適用于 Armv9-A 架構(gòu)的可擴展矩陣擴展 (Scalable Matrix Extension, SME),幫助全球開發(fā)者為其 AI 應(yīng)用提供更高的性能、創(chuàng)新功能和可擴展性。

Arm 將領(lǐng)先的硬件水平與軟件生態(tài)系統(tǒng)支持相結(jié)合,打造出高性能計算平臺,推動邊緣生成式 AI 的興起,讓游戲迭代、圖像增強、語言翻譯、文本生成和虛擬助手等功能成為可能。我們在今年二月的 2024 世界移動通信大會 (MWC 2024)上展示了部分新一代 AI 工作負載的示例。

Arm 計算平臺上的移動端 LLM

我們制作了一個虛擬助手演示,在移動端聊天類應(yīng)用上使用了 Meta 的 LLAMA2-7B LLM?;?Arm CPU,無需加速器,即可完全在邊緣側(cè)移動設(shè)備上運行生成式 AI 工作負載。利用現(xiàn)有的針對 AI 的 CPU 指令,結(jié)合 Arm 計算平臺(包括 Arm AI 軟件庫)針對 LLM 的專門的軟件優(yōu)化,我們實現(xiàn)了出色的性能表現(xiàn)。

從上面的視頻中可以看出,詞元 (Token) 首次響應(yīng)時間表現(xiàn)優(yōu)異,文本生成速率接近每秒 10 個詞元,高于人們的平均閱讀速度。這得益于經(jīng)過高度優(yōu)化的 CPU 例程,它來自于由 Arm 工程團隊開發(fā)的軟件庫;與 LLAMA2-7B LLM 中的原生實現(xiàn)相比,詞元首次響應(yīng)時間縮短 50%,文本生成速率提高 20%。

此外,AI 開發(fā)者也可在 Arm CPU 上利用自己的技術(shù),進一步優(yōu)化軟件,讓 LLM 變得更小、更高效、更快速。

LLM 越小、越快,就意味著 AI 處理可以在邊緣側(cè)進行。用戶可以享受到響應(yīng)更快、更靈敏的 AI 體驗。此外,由于用戶數(shù)據(jù)僅在移動設(shè)備本地處理,隱私保護也能做得更好。同時,對于移動端生態(tài)系統(tǒng)而言,這種成本更低、可擴展性更強的選擇,也更有利于在數(shù)十億移動設(shè)備上部署 AI。

推動移動設(shè)備上的生成式 AI

作為最為普及的移動端計算平臺和高效計算領(lǐng)域的領(lǐng)導(dǎo)者,Arm 擔(dān)負著在邊緣側(cè)實現(xiàn)高效、高性能生成式 AI 的責(zé)任。我們已經(jīng)展示了完全基于我們領(lǐng)先的 CPU 技術(shù)所運行的 LLM 的卓越性能。而這僅僅只是開始。

更小、更高效的 LLM,Arm CPU 為移動設(shè)備帶來的更高性能,以及由業(yè)界領(lǐng)先的生態(tài)系統(tǒng)所提供的創(chuàng)新軟件優(yōu)化,三者的結(jié)合將繼續(xù)推動移動端生成式 AI 的普及。

鑒于 Arm CPU 是移動端生成式 AI 創(chuàng)新的核心,作為 AI 的運行基礎(chǔ),Arm 將持續(xù)賦能每位開發(fā)者,實現(xiàn)無處不在的 AI。



審核編輯:劉清

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 加速器
    +關(guān)注

    關(guān)注

    2

    文章

    827

    瀏覽量

    39109
  • ARM技術(shù)
    +關(guān)注

    關(guān)注

    0

    文章

    22

    瀏覽量

    7533
  • 人工智能
    +關(guān)注

    關(guān)注

    1806

    文章

    49008

    瀏覽量

    249290
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    3138

    瀏覽量

    4059
  • 生成式AI
    +關(guān)注

    關(guān)注

    0

    文章

    531

    瀏覽量

    811

原文標(biāo)題:Arm 平臺賦能移動端生成式 AI

文章出處:【微信號:Arm社區(qū),微信公眾號:Arm社區(qū)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    Arm 公司面向移動市場的 ?Arm Lumex? 深度解讀

    面向移動市場的 ? Arm Lumex ? 深度解讀 ? Arm Lumex ? 是 Arm 公司面向
    的頭像 發(fā)表于 05-29 09:54 ?1076次閱讀

    MWC2025亮點放送 探索Arm如何塑造移動技術(shù)未來

    ,彰顯了人工智能 (AI) 和移動技術(shù)之間的共生關(guān)系。 ?Arm 計算平臺能從云到邊的
    的頭像 發(fā)表于 03-14 15:40 ?928次閱讀
    MWC2025亮點放送 探索<b class='flag-5'>Arm</b>如何塑造<b class='flag-5'>移動</b><b class='flag-5'>端</b>技術(shù)未來

    富士通如何解鎖生成AI紅利 從人才進化到業(yè)務(wù)

    生成AI技術(shù)正以每周迭代一次的速度重塑商業(yè)世界。利用生成AI,營銷部門10分鐘就可以產(chǎn)出百張
    的頭像 發(fā)表于 02-25 17:32 ?816次閱讀

    生成AI工具好用嗎

    當(dāng)下,生成AI工具正以其強大的內(nèi)容生成能力,為用戶帶來了前所未有的便捷與創(chuàng)新。那么,生成
    的頭像 發(fā)表于 01-17 09:54 ?454次閱讀

    聯(lián)發(fā)科技攜手Cocos共建側(cè)生成AI游戲開發(fā)生態(tài),推動行業(yè)升級

    全球領(lǐng)先的半導(dǎo)體公司聯(lián)發(fā)科技與知名游戲引擎開發(fā)商Cocos正式宣布達成深度合作!這一合作將把聯(lián)發(fā)科技在側(cè)生成AI領(lǐng)域的尖端技術(shù),與Cocos在游戲開發(fā)領(lǐng)域的深厚積累深度結(jié)合,為開發(fā)
    的頭像 發(fā)表于 01-10 09:24 ?441次閱讀

    基于Arm Neoverse平臺的處理器革新生成AI體驗

    Llama 是一個專為開發(fā)者、研究人員和企業(yè)打造的開源大語言模型 (LLM) 庫,旨在推動生成 AI 的創(chuàng)新、實驗及可靠地擴展。
    的頭像 發(fā)表于 01-03 15:31 ?672次閱讀
    基于<b class='flag-5'>Arm</b> Neoverse<b class='flag-5'>平臺</b>的處理器革新<b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>體驗

    Google兩款先進生成AI模型登陸Vertex AI平臺

    新的 AI 模型,包括最先進的視頻生成模型Veo以及最高品質(zhì)的圖像生成模型Imagen 3。近日,我們在 Google Cloud 上進一步推動這一勢頭,客戶可以在Vertex AI
    的頭像 發(fā)表于 12-30 09:56 ?614次閱讀

    MediaTek天璣移動平臺騰訊會議側(cè)AI人像分割模型

    MediaTek 與騰訊會議聯(lián)合優(yōu)化的側(cè) NPU 虛擬背景功能,已在搭載 MediaTek 天璣旗艦芯的終端正式上線。作為雙方初次開展的軟硬件生態(tài)合作,此次聯(lián)合優(yōu)化旨在充分利用天璣移動平臺
    的頭像 發(fā)表于 11-29 15:30 ?687次閱讀

    Arm與ExecuTorch合作加速側(cè)生成AI實現(xiàn)

    Arm 正在與 Meta 公司的 PyTorch 團隊攜手合作,共同推進新的 ExecuTorch 測試版 (Beta) 上線,旨在為全球數(shù)十億邊緣側(cè)設(shè)備和數(shù)百萬開發(fā)者提供人工智能 (AI) 和機器學(xué)習(xí) (ML) 功能,進而確保 AI
    的頭像 發(fā)表于 11-15 11:30 ?790次閱讀

    聯(lián)想小新Pad Pro 12.7搭載天璣8300移動芯片

    新發(fā)布的聯(lián)想小新 Pad Pro 12.7 搭載天璣 8300 5G 生成 AI 移動芯片,以再度進化的高能效特性與生成
    的頭像 發(fā)表于 11-08 18:19 ?2253次閱讀

    NVIDIA生成AI閃耀CNCC2024大會

    在當(dāng)前數(shù)字化轉(zhuǎn)型的浪潮中,探索生成 AI 如何對新質(zhì)生產(chǎn)力提供強力,正成為推動社會進步的重要課題。此前,10 月 24 - 26 日在
    的頭像 發(fā)表于 11-06 14:04 ?669次閱讀

    生成AI工具作用

    生成AI工具是指那些能夠自動生成文本、圖像、音頻、視頻等多種類型數(shù)據(jù)的人工智能技術(shù)。在此,petacloud.ai小編為您整理
    的頭像 發(fā)表于 10-28 11:19 ?745次閱讀

    天璣9400生成AI技術(shù)太牛了!打造最強AI體驗

    的天璣9400不僅在AI性能上全面升級,還進一步推動了手機生成AI的應(yīng)用與創(chuàng)新。 ? NPU性能稱霸,以最強
    的頭像 發(fā)表于 10-14 14:06 ?685次閱讀
    天璣9400<b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>技術(shù)太牛了!打造最強<b class='flag-5'>AI</b>體驗

    Arm如何無處不在的AI

    作為人工智能 (AI) 的創(chuàng)新基礎(chǔ),眾多企業(yè)都在使用通用且應(yīng)用廣泛的 Arm 計算平臺。迄今為止,合作伙伴基于 Arm 架構(gòu)的芯片出貨量已逾 2,800 億顆。如今,
    的頭像 發(fā)表于 09-14 09:38 ?901次閱讀

    亞馬遜云科技Shulex打造基于生成AI的客服和消費者洞察

    "Shulex")在亞馬遜云科技的技術(shù)下,打造基于生成AI的"AI Agent客服機器人"
    的頭像 發(fā)表于 08-13 20:38 ?554次閱讀

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學(xué)習(xí)
    • 獲取您個性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品