0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

端側(cè)AI,風(fēng)起移動智能計算

腦極體 ? 來源:腦極體 ? 作者:腦極體 ? 2024-11-22 09:55 ? 次閱讀

wKgZoWc_5F-ACgLmABkuFDM3k6o929.jpg

過去一年來,消費(fèi)電子領(lǐng)域最火爆的關(guān)鍵詞,就是端側(cè)AI

大模型,具有強(qiáng)大的理解、生成能力;終端設(shè)備,是人與AI的首選交互入口。二者碰撞之下,讓端側(cè)成為大模型落地的最佳途徑,甚至沒有之一。越來越多的手機(jī)、PC、汽車等消費(fèi)電子終端廠商,將AI技術(shù)應(yīng)用到自己的產(chǎn)品和服務(wù)中,而端側(cè)AI的繁榮景象離不開一個核心支撐點(diǎn)——計算平臺(芯片)。

端側(cè)算力,從芯而來。所以高性能芯片,是端側(cè)AI持續(xù)繁榮的源頭力量,也是高通希望借助技術(shù)創(chuàng)新、生態(tài)合作所推動的方向。

前不久恰逢驍龍峰會舉辦,我們看到高通公司繼續(xù)強(qiáng)化終端側(cè)AI產(chǎn)品布局和對國內(nèi)大模型的支持。不僅宣布了與智譜、騰訊混元等大模型廠商的合作,共同推動端側(cè) AI 模型部署和落地。此外,還推出了面向AI手機(jī)的驍龍 8 至尊版移動平臺和面向智能汽車的驍龍至尊版汽車平臺。

高通公司總裁兼CEO安蒙表示,AI,尤其是生成式AI,是移動計算領(lǐng)域最大的變革之一;高通關(guān)注生成式AI,尤其關(guān)注AI如何改變計算體驗(yàn),邊緣側(cè)將如何發(fā)展,及其如何帶來顛覆性的創(chuàng)新周期,致力于將AI為先的體驗(yàn)帶入每一個計算空間。

端側(cè)AI的時代風(fēng)口,源于高通為代表的移動計算,與AI深深地?fù)肀?。我們不妨就從高通打造AI為先的體驗(yàn)這一方向入手,去尋找端側(cè)AI向前一步的源頭力量。

wKgaoWc_5GGACPAFAAV2n6RqXPE640.jpg

2024年伊始,PC、手機(jī)、汽車等消費(fèi)電子品類都開始積極與大模型相結(jié)合,打造全新的AI XX硬件,端側(cè)AI由此進(jìn)入集中爆發(fā)階段。

可以說,大模型打開了一個消費(fèi)電子領(lǐng)域的全新風(fēng)口,而深入風(fēng)眼中心,我們會看到一支推動端側(cè)AI醞釀并成熟的關(guān)鍵力量——移動計算。

端側(cè)AI之于云側(cè)AI的不可替代性,是大模型在本地進(jìn)行計算,避免數(shù)據(jù)上云,解決用戶數(shù)據(jù)和隱私安全的顧慮;實(shí)時性更強(qiáng),游戲、攝影、AIGC等應(yīng)用在端側(cè)處理的時延更低、反饋更快、體驗(yàn)更好。

進(jìn)入2024,OpenAI、智譜、騰訊混元等第一梯隊(duì)的模型廠商都認(rèn)識到了大模型落地端側(cè)的價值與桎梏,紛紛推出更小規(guī)模、更高性能的模型版本。雖然大模型在積極小型化,但受到端側(cè)計算能力、內(nèi)存空間等限制,模型的減配、壓縮也會折損標(biāo)準(zhǔn)通用基礎(chǔ)大模型的性能表現(xiàn)。

大模型的端側(cè)部署,十分依賴于端側(cè)計算平臺提供強(qiáng)大性能,支撐超大規(guī)模的數(shù)據(jù)運(yùn)算量,并在性能與功耗之間實(shí)現(xiàn)平衡。

讓大模型更好地適配端側(cè),成了移動計算領(lǐng)域的首要任務(wù),高通正在積極地解決中。

在前不久的驍龍峰會上,高通宣布和智譜、騰訊混元合作,共同推動端側(cè) AI 模型部署和落地。我們能從高通的全新動作中,看到移動計算+大模型的三個變化:

wKgZoWc_5GGAQanBAAdLwMcYLEs062.jpg

變化一:更豐富的端側(cè)AI能力。驍龍8至尊版的NPU性能比上一代提升了45%,強(qiáng)大的性能可以同時運(yùn)行多個AI工作負(fù)載,這意味著更多基于大模型的AI應(yīng)用能夠在端側(cè)部署。

wKgaoWc_5GOAWPtzAATvZgQ9nWc973.jpg

變化二:更優(yōu)質(zhì)的端側(cè)智慧體驗(yàn)。高通為驍龍8至尊版配備目前最高速的LPDDR5x內(nèi)存,解決了內(nèi)存顧慮。目前,騰訊混元正通過和高通合作,推動7B和3B的混元大模型在終端部署。

變化三:更健壯的端側(cè)AI生態(tài)。AI開發(fā)者是端側(cè)AI持續(xù)繁榮不可或缺的角色,高通為開發(fā)者準(zhǔn)備了基于自身硬件的高效開發(fā)工具,包括高通AI軟件棧(AI Stack)和AI Hub,與騰訊混元和智譜AI達(dá)成合作,幫助模型廠商在高通硬件上更好地釋放平臺算力,支持AI開發(fā)者輕松地將AI模型集成到應(yīng)用程序中。

根據(jù)驍龍峰會高通公布的數(shù)據(jù),充分利用驍龍8至尊版的強(qiáng)大終端側(cè)AI性能和高通AI軟件棧為模型帶來的性能優(yōu)化,智譜GLM-4V端側(cè)視覺大模型能夠以超過70 tokens/秒的速度在終端側(cè)高速運(yùn)行。大模型的端側(cè)性能表現(xiàn)優(yōu)化,不僅會降低開發(fā)者的使用成本,提升開發(fā)者的產(chǎn)品效果,也有助于基礎(chǔ)通用大模型的商業(yè)化。

大模型,是端側(cè)AI這一時代風(fēng)口的起點(diǎn);移動計算,則從更多應(yīng)用、更優(yōu)體驗(yàn)、更強(qiáng)生態(tài)等方面,為大模型在端側(cè)提供動力保障。

高通對大模型的有力支撐,從源頭支持端側(cè)AI的產(chǎn)業(yè)繁榮,正是推動AI為先體驗(yàn)的體現(xiàn)之一。

wKgaomc_5G2Af2s8AAVVg4Fto-w317.jpg

大模型要在終端設(shè)備上被用戶用起來,才能從一種技術(shù)趨勢,轉(zhuǎn)變?yōu)槎藗?cè)AI的產(chǎn)業(yè)繁榮與商業(yè)價值。AI大模型入端,硬件性能是基礎(chǔ)。

我們采訪過一位AI手機(jī)品牌的負(fù)責(zé)人就表示:AI在手機(jī)行業(yè)剛剛開始,未來的一年,AI體驗(yàn)會超出你的想象,而端側(cè)模型對性能要求很高,所以性能永遠(yuǎn)不會過剩。

性能從哪里來?答案就是計算平臺。針對目前端側(cè)AI集中的兩大品類:一個是個人移動終端,比如AI手機(jī)、AI PC;另一個是智能網(wǎng)聯(lián)汽車,智能座艙、輔助駕駛、自動駕駛等AI應(yīng)用都在加速上車。高通在前不久的驍龍峰會上帶來了兩大平臺的最新技術(shù)和產(chǎn)品。

移動平臺方面:

驍龍8至尊版芯片,憑借技術(shù)方面的性能突破和創(chuàng)新能力,帶來了AI手機(jī)智能化的重大飛躍。

wKgZomc_5G-AVO2ZAAO07XqifNs674.jpg

驍龍8至尊版在終端側(cè)生成式AI、多模態(tài)處理和影像處理等方面的突破,可以為AI手機(jī)的大量AI用例提供支持。比如AI-ISP技術(shù)的革命性突破,與NPU緊密結(jié)合,使得高分辨率影像數(shù)據(jù)的實(shí)時處理成為可能,手機(jī)廠商可以在攝影功能中引入更多AI應(yīng)用,如自動場景識別、實(shí)時美顏和自動對焦等,這是當(dāng)下年輕消費(fèi)群體格外看重的產(chǎn)品力之一。

此外,驍龍平臺還積極支持PC領(lǐng)域的AI應(yīng)用。

在剛剛舉辦的2024年世界互聯(lián)網(wǎng)大會上,高通憑借其專為Windows 11 AI+ PC設(shè)計的驍龍X Elite平臺榮獲“世界互聯(lián)網(wǎng)大會領(lǐng)先科技獎”。驍龍X Elite的核心優(yōu)勢之一是采用了定制化的Oryon CPU,具備極致快速的響應(yīng)速度,可以為AI PC提供強(qiáng)勁的性能表現(xiàn)。比如榮耀最新推出的AI PC,就在驍龍X Elite的算力支持下,實(shí)現(xiàn)了AI紀(jì)要、AI雙向降噪等AI功能,極大地提升了用戶的會議和溝通效率。目前,驍龍X系列已支持58款已發(fā)布或正在開發(fā)中的PC產(chǎn)品,有力支撐了AI PC這一新品類的成長。

汽車平臺方面:

汽車智能化成為大勢所趨,其中智能座艙、智能駕駛,成為車企的核心賽點(diǎn)。為智能汽車提供底層源動力,高通分別推出了全新的驍龍座艙至尊版平臺和Snapdragon Ride至尊版平臺。

wKgaomc_5HCARpxIAAFztVrewmQ975.jpg

其中,驍龍座艙至尊版平臺也采用了專為汽車打造的高通自研Oryon CPU,性能大幅提升,可以助力車企實(shí)現(xiàn)大模型和AIGC等能力與座艙相結(jié)合,打造AI語音助手、AIGC應(yīng)用、復(fù)雜情境感知、自然語言交互等新體驗(yàn)。

Snapdragon Ride至尊版平臺也基于高通最先進(jìn)的NPU及Oryon CPU,將更好的智能駕駛帶到汽車上,實(shí)現(xiàn)了高精度定位、環(huán)境感知、決策規(guī)劃以及車輛控制等一系列智能駕駛功能。

此外值得一提的是,增強(qiáng)AI手機(jī)、AI PC、智能汽車的產(chǎn)品力,更強(qiáng)大的移動計算硬件只是必要條件。除此之外,廠商和開發(fā)者還需要一系列開發(fā)工作來釋放硬件性能、優(yōu)化端側(cè)AI表現(xiàn)。

目前,手機(jī)、PC、汽車等采用的驍龍硬件平臺,均已集成高通自研Oryon CPU,加之高通AI軟件棧的賦能,有望實(shí)現(xiàn)終端側(cè)AI應(yīng)用在各平臺高效開發(fā)。

硬件(移動平臺、PC平臺和汽車平臺)與軟件(AI Stack、AI Hub)相協(xié)同,高通正在拆除端側(cè)AI的性能桎梏,帶動手機(jī)、汽車等各類消費(fèi)電子產(chǎn)品加速進(jìn)化,抓住大模型的技術(shù)紅利。

wKgZomc_5HCAE5VLAAWA4H38SfY990.jpg

總結(jié)一下,大模型是這一輪端側(cè)AI浪潮的起點(diǎn),計算硬件是AI終端這一新概念得以落地的性能源泉。支撐大模型和AI終端的持續(xù)發(fā)展,高通也在源頭為端側(cè)AI繁榮貢獻(xiàn)了力量。

之所以要在今天找尋端側(cè)AI發(fā)展的源頭力量,是因?yàn)檫@與國內(nèi)消費(fèi)電子廠商抓緊時代機(jī)遇和技術(shù)趨勢的需求一致,與源頭緊密合作、齊頭并進(jìn),有利于獲取向未來生長的動能。

目前來看,高通就是與國內(nèi)廠商合作緊密的重要AI力量之一。

一方面,高通和驍龍平臺是國內(nèi)安卓手機(jī)廠商全球化、高端化的助力。國內(nèi)頭部品牌正在高端市場與蘋果展開正面競爭。高通和驍龍與國內(nèi)廠商的緊密合作,成為國內(nèi)智能手機(jī)品牌在全球的競爭力保障,可以讓領(lǐng)先的AI應(yīng)用、AI手機(jī)、AI PC硬件,為全球樹立標(biāo)桿。目前,首批搭載驍龍8至尊版的旗艦手機(jī),如小米、榮耀、iQOO等,已經(jīng)在性價比、影像能力、游戲性能等方面,建立了鮮明的市場認(rèn)知度。

此外,新能源汽車增長也有望更進(jìn)一步。

目前,國內(nèi)新能源汽車已經(jīng)在全球市場建立了較強(qiáng)的競爭力,抓住智能化機(jī)遇,獲得更大的發(fā)展,可以進(jìn)一步夯實(shí)優(yōu)勢地位。驍龍汽車平臺就相當(dāng)于基石,支撐基于大模型的智能駕駛、智能座艙上車,讓新能源汽車保持競爭優(yōu)勢,在全球市場走得更穩(wěn)更遠(yuǎn)。

對于端側(cè)AI來說,大模型就是新一代的操作系統(tǒng),而用好這一新型操作系統(tǒng),需要生態(tài)、工具、資源的充分支持。通過驍龍的軟硬件生態(tài)體系,高通可以為端側(cè)AI的發(fā)展提供生態(tài)助力,幫助更多開發(fā)者用好大模型技術(shù),促進(jìn)AI產(chǎn)品與應(yīng)用程序的整體繁榮。

總結(jié)一下,終端消費(fèi)電子的市場廣闊,智能化升級才剛剛開始。AI將席卷我們熟悉的各個終端品類,站在時代風(fēng)口,高通和驍龍作為源頭動力的身影,也漸漸明晰起來。

高通和驍龍與AI的緊密擁抱,帶來的是移動計算與端側(cè)AI的長相廝守??癖家荒甑亩藗?cè)AI故事,會繼續(xù)講述下去。

wKgaomc_5HSAFZWqAAOss-h04sI877.jpg

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 芯片
    +關(guān)注

    關(guān)注

    455

    文章

    50791

    瀏覽量

    423494
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    30853

    瀏覽量

    269028
  • 智能計算
    +關(guān)注

    關(guān)注

    0

    文章

    177

    瀏覽量

    16463
收藏 人收藏

    評論

    相關(guān)推薦

    廣和通開啟側(cè)AI新時代

    AI發(fā)展正酣,隨著終端芯片算力越來越高、側(cè)模型能力越來越強(qiáng)、實(shí)時響應(yīng)及隱私保護(hù)的側(cè)應(yīng)用需求增加,
    的頭像 發(fā)表于 12-12 10:35 ?192次閱讀

    MediaTek天璣移動平臺賦能騰訊會議側(cè)AI人像分割模型

    MediaTek 與騰訊會議聯(lián)合優(yōu)化的側(cè) NPU 虛擬背景功能,已在搭載 MediaTek 天璣旗艦芯的終端正式上線。作為雙方初次開展的軟硬件生態(tài)合作,此次聯(lián)合優(yōu)化旨在充分利用天璣移動平臺的
    的頭像 發(fā)表于 11-29 15:30 ?195次閱讀

    把握關(guān)鍵節(jié)點(diǎn),美格智能持續(xù)推動側(cè)AI規(guī)?;卣?/a>

    當(dāng)前,AI大模型走向側(cè)已經(jīng)是大勢所趨,側(cè)AI的發(fā)展將推動人工
    的頭像 發(fā)表于 11-26 01:00 ?149次閱讀
    把握關(guān)鍵節(jié)點(diǎn),美格<b class='flag-5'>智能</b>持續(xù)推動<b class='flag-5'>端</b><b class='flag-5'>側(cè)</b><b class='flag-5'>AI</b>規(guī)?;卣? />    </a>
</div>                            <div   id=

    把握關(guān)鍵節(jié)點(diǎn),美格智能持續(xù)推動側(cè)AI規(guī)?;卣?/a>

    當(dāng)前,AI大模型走向側(cè)已經(jīng)是大勢所趨,側(cè)AI的發(fā)展將推動人工
    的頭像 發(fā)表于 11-25 16:45 ?248次閱讀
    把握關(guān)鍵節(jié)點(diǎn),美格<b class='flag-5'>智能</b>持續(xù)推動<b class='flag-5'>端</b><b class='flag-5'>側(cè)</b><b class='flag-5'>AI</b>規(guī)?;卣? />    </a>
</div>                            <div   id=

    中科創(chuàng)達(dá)發(fā)開創(chuàng)側(cè)智能新篇章

    生成式AI在創(chuàng)新和應(yīng)用方面以前所未有的速度向前發(fā)展。融合云計算和邊緣/側(cè)計算的混合AI技術(shù),
    的頭像 發(fā)表于 11-17 11:23 ?485次閱讀

    側(cè)AI浪潮已來!炬芯科技發(fā)布新一代側(cè)AI音頻芯片,能效比和AI算力大幅度提升

    電子發(fā)燒友原創(chuàng) 章鷹 ? 11月5日,在深圳會展中心7號館內(nèi),炬芯科技董事長兼CEO周正宇博士帶來了《側(cè)AI芯片的未來》演講,他對側(cè)
    的頭像 發(fā)表于 11-06 09:11 ?2537次閱讀
    <b class='flag-5'>端</b><b class='flag-5'>側(cè)</b><b class='flag-5'>AI</b>浪潮已來!炬芯科技發(fā)布新一代<b class='flag-5'>端</b><b class='flag-5'>側(cè)</b><b class='flag-5'>AI</b>音頻芯片,能效比和<b class='flag-5'>AI</b>算力大幅度提升

    創(chuàng)星未來訪談|時擎科技:側(cè)智能芯片領(lǐng)域的新銳力量

    我們走近時擎科技,一探訪這股側(cè)智能芯片領(lǐng)域的新銳力量。時擎科技聚焦RISC-V領(lǐng)域,驅(qū)動側(cè)
    的頭像 發(fā)表于 09-24 08:03 ?474次閱讀
    創(chuàng)星未來訪談|時擎科技:<b class='flag-5'>端</b><b class='flag-5'>側(cè)</b><b class='flag-5'>智能</b>芯片領(lǐng)域的新銳力量

    廣和通側(cè)AI解決方案驅(qū)動性能密集型場景商用型場景商用

    2024世界機(jī)器人大會期間,廣和通宣布:基于高通QCS8550平臺的廣和通側(cè)AI解決方案高效使能性能密集型場景。該側(cè)
    的頭像 發(fā)表于 08-23 16:06 ?309次閱讀

    廣和通側(cè)AI解決方案驅(qū)動性能密集型場景商用型場景商用

    2024世界機(jī)器人大會期間,廣和通宣布:基于高通QCS8550平臺的廣和通側(cè)AI解決方案高效使能性能密集型場景。該側(cè)
    的頭像 發(fā)表于 08-23 16:05 ?667次閱讀
    廣和通<b class='flag-5'>端</b><b class='flag-5'>側(cè)</b><b class='flag-5'>AI</b>解決方案驅(qū)動性能密集型場景商用型場景商用

    廣和通側(cè)AI解決方案榮膺M(jìn)WCS 2024邊緣AI計算最佳創(chuàng)新獎

    在近日舉行的2024世界移動通信大會·上海(MWCS 2024)上,廣和通憑借其卓越的側(cè)AI解決方案榮獲2024信息通信業(yè)“新質(zhì)推薦”——邊緣AI
    的頭像 發(fā)表于 06-28 15:44 ?757次閱讀

    廣和通發(fā)布基于高通 QCM6490和QCS8550處理器的側(cè)AI解決方案

    、高算力推動移動機(jī)器人、工業(yè)機(jī)器視覺、智慧零售、自動駕駛等領(lǐng)域智能化。 ? 相較于云側(cè)AI,側(cè)
    的頭像 發(fā)表于 06-07 16:44 ?979次閱讀

    廣和通發(fā)布基于高通QCM6490和QCS8550的側(cè)AI解決方案,使AI“更接地氣”

    6月7日,COMPUTEX 2024期間,為拓展物聯(lián)網(wǎng)生態(tài)系統(tǒng)并滿足側(cè)AI應(yīng)用需求,廣和通發(fā)布基于高通? QCM6490和QCS8550處理器的
    的頭像 發(fā)表于 06-07 16:36 ?414次閱讀

    廣和通發(fā)布基于高通QCM6490和QCS8550的側(cè)AI解決方案,使AI“更接地氣”

    6月7日,COMPUTEX 2024期間,為拓展物聯(lián)網(wǎng)生態(tài)系統(tǒng)并滿足側(cè)AI應(yīng)用需求,廣和通發(fā)布基于高通? QCM6490和QCS8550處理器的
    的頭像 發(fā)表于 06-07 16:30 ?813次閱讀
    廣和通發(fā)布基于高通QCM6490和QCS8550的<b class='flag-5'>端</b><b class='flag-5'>側(cè)</b><b class='flag-5'>AI</b>解決方案,使<b class='flag-5'>AI</b>“更接地氣”

    MWC2024世界移動通信大會圓滿結(jié)束,美格智能5G-A、側(cè)AI解決方案掀熱潮

    作為全球領(lǐng)先的無線通信模組及解決方案提供商,美格智能亮相2024世界移動通信大會,發(fā)布了5G-A、5G RedCap系列FWA、側(cè)AI等創(chuàng)
    的頭像 發(fā)表于 03-02 11:17 ?1967次閱讀
    MWC2024世界<b class='flag-5'>移動</b>通信大會圓滿結(jié)束,美格<b class='flag-5'>智能</b>5G-A、<b class='flag-5'>端</b><b class='flag-5'>側(cè)</b><b class='flag-5'>AI</b>解決方案掀熱潮

    榮耀引領(lǐng)側(cè)AI新時代

    在今年的MWC盛會上,榮耀宣布與高通、Meta攜手,將70億參數(shù)大模型引入側(cè),這一創(chuàng)新舉措預(yù)示著側(cè)AI新時代的到來。榮耀終端CEO趙明在
    的頭像 發(fā)表于 03-01 10:28 ?637次閱讀