當(dāng)前，AI大模型走向端側(cè)已經(jīng)是大勢所趨，端側(cè)AI的發(fā)展將推動人工智能成為影響世界的第四次工業(yè)革命。與傳統(tǒng)的云端大模型相比，端側(cè)大模型擁有更小的參數(shù)體量和更垂直的訓(xùn)練數(shù)據(jù)。對于終端產(chǎn)品而言，端側(cè)AI將成為和系統(tǒng)同樣重要的存在，如果說電路是連接身體的“血管”，那么AI就將成為終端的智慧“大腦”。

?加速演進(jìn)，大模型加速走向端側(cè)

從手機(jī)移動端開始，端側(cè)AI正逐步在車載、PC以及各類可穿戴設(shè)備等終端落地，端云協(xié)作的混合AI模式成為未來人工智能發(fā)展的主要方向。AI Agent、具身智能、人機(jī)協(xié)同、生成式智能體等LLM（大語言模型）的主要研究方向均對模型的性能和運(yùn)行條件提出了新的要求。

為推動AI與各行業(yè)的深度融合，AI大模型正通過模型剪枝、知識蒸餾和量化技術(shù)進(jìn)行不斷精簡和提升數(shù)據(jù)質(zhì)量，端側(cè)硬件也在不斷提升端側(cè)算力和優(yōu)化結(jié)構(gòu)。如面向AI設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)處理器（NPU)、提高性能和降低功耗的異構(gòu)計(jì)算技術(shù)，軟件與硬件的協(xié)同發(fā)展正在加速端側(cè)AI部署，賦能全新增強(qiáng)的AI體驗(yàn)。

▲圖片來源：高通中國官方公眾號

從行業(yè)趨勢來看，今年10月，高通公司發(fā)布全新旗艦芯片產(chǎn)品驍龍8至尊版，搭載第二代定制的Oryon CPU、全新切片架構(gòu)的Adreno GPU和增強(qiáng)的Hexagon NPU。Oryon CPU擁有2個(gè)主頻高達(dá)4.32GHz的超級內(nèi)核和6個(gè)主頻3.53GHz的性能內(nèi)核，支持面向端側(cè)AI計(jì)算的高達(dá)10.7Gbps速率的LPDDR5X內(nèi)存；全新的Hexagon NPU，AI性能提升45%，每瓦特性能提升45%，支持70+ tokens/sec的輸入，首次支持終端側(cè)個(gè)性化多模態(tài)AI助手，能夠賦能規(guī)模更大且更加復(fù)雜的多模態(tài)生成式AI用例在終端側(cè)高效運(yùn)行。驍龍8至尊系列新產(chǎn)品的發(fā)布，也在一定程度上表明了未來數(shù)字化發(fā)展的方向，即垂直的硬件適配、不斷提升的端側(cè)算力和更強(qiáng)悍的綜合性能。

AI與千行百業(yè)的融合發(fā)展，被行業(yè)稱為“AI+”時(shí)代。作為全球領(lǐng)先的無線通信模組及解決方案提供商，美格智能圍繞AI+時(shí)代的算力、算法、數(shù)據(jù)、用例四大重要因素，以豐厚研發(fā)經(jīng)驗(yàn)和創(chuàng)新實(shí)力助力端側(cè)AI落地，為全球數(shù)字化發(fā)展貢獻(xiàn)重要力量。

?智算領(lǐng)先，以澎湃算力承接大模型落地

從開創(chuàng)到引領(lǐng)，美格智能以端側(cè)算力為切入點(diǎn)，行業(yè)率先打造高算力AI模組矩陣，憑借優(yōu)質(zhì)的產(chǎn)品品質(zhì)和定制化服務(wù)能力受到行業(yè)客戶的一致好評。算力是端側(cè)AI運(yùn)行的基座，針對不同客戶對算力、功耗、尺寸的要求，美格智能打造包含SNM973、SNM932、SNM950、SNM960、SNM970、SNM952、SNM962、SNM972等系列模組，AI算力覆蓋12Tops~48Tops，涵蓋入門級、中端、旗艦級多層次算力水平，能夠適應(yīng)不同行業(yè)和應(yīng)用場景的需求。同時(shí)在高算力AI模組的基礎(chǔ)上，美格智能團(tuán)隊(duì)正不斷與行業(yè)領(lǐng)先的SoC陣列式服務(wù)器客戶密切合作，相關(guān)產(chǎn)品成為各類端側(cè)通用AI、邊緣計(jì)算AI服務(wù)器的優(yōu)質(zhì)選擇，憑借高性能和高性價(jià)比助力邊緣側(cè)AI部署，推動邊緣側(cè)算力發(fā)展。

隨著以智能座艙和“端到端”的自動駕駛為代表的車載大模型應(yīng)用需求逐步提升，美格智能也在不斷加強(qiáng)技術(shù)創(chuàng)新研發(fā)，正逐步打造綜合AI算力超過100Tops的尖端AI模組，為更強(qiáng)力的端側(cè)AI落地和更廣闊的應(yīng)用場景提供澎湃算力。

?加速部署，以技術(shù)實(shí)力打通模型部署通路

AI技術(shù)的引進(jìn)為產(chǎn)業(yè)終端提質(zhì)增效起到重要作用，而如何快速地將算法與終端進(jìn)行適配和部署是每一個(gè)終端廠商無法避免的課題。為此，美格智能以自身研發(fā)實(shí)力為基礎(chǔ)搭建試驗(yàn)平臺，自主進(jìn)行大語言模型運(yùn)行驗(yàn)證，行業(yè)內(nèi)首家在端側(cè)算力模組上運(yùn)行文生圖大語言模型Stable Diffusion，并先后驗(yàn)證運(yùn)行LLaMA-2、通義千問Qwen、百川大模型、RedPajama、ChatGLM2等眾多中英文大語言模型，以實(shí)際用例為客戶打通模型部署通路。

此外，為幫助客戶更快速地打造更加垂直的模型應(yīng)用，在模型算法優(yōu)化方面，美格智能為行業(yè)客戶打造AI算法部署服務(wù)APP——MEIG AI，內(nèi)置多個(gè)模型和算法，客戶在APP上即可完成AI算法在不同美格智能模組平臺的應(yīng)用驗(yàn)證，并為客戶和開發(fā)者提供開發(fā)文檔和算法轉(zhuǎn)換、集成的相關(guān)視頻教程，幫助理解App結(jié)構(gòu)、代碼和模型，提高開發(fā)效率。在模型部署方面，美格智能攜手行業(yè)合作伙伴打造AIMO（AI模型優(yōu)化器），實(shí)現(xiàn)一站式模型轉(zhuǎn)寫，僅使用Python即可開發(fā)部署AI應(yīng)用，有效降低開發(fā)門檻，大幅縮短模型落地周期，節(jié)約開發(fā)投入。

值得一提的是，為推動全行業(yè)各領(lǐng)域端側(cè)AI技術(shù)的應(yīng)用和開發(fā)落地，美格智能基于高算力AI模組，打造SNM970、SNM932等高算力AI模組面向開發(fā)者套件。豐富的硬件接口和軟件的開發(fā)套件，能夠廣泛適配各類應(yīng)用場景，為客戶產(chǎn)品原型開發(fā)，性能驗(yàn)證提供助力，完整的操作指引能夠顯著降低開發(fā)難度，加速終端開發(fā)周期，有效節(jié)省客戶產(chǎn)品迭代的二次開發(fā)投入。

?應(yīng)用先行，以廣泛用例助力端側(cè)AI生態(tài)發(fā)展

當(dāng)前美格智能高算力AI模組、智能模組已在海量應(yīng)用終端廣泛落地，成為推動端側(cè)AI高速發(fā)展和布局的重要推動。如在具身智能領(lǐng)域，基于美格智能高算力AI模組的解決方案為行業(yè)領(lǐng)先的人形機(jī)器人提供充足算力，為打造“端到端”的AI機(jī)器人提供支持；在AR/AI眼鏡領(lǐng)域，美格智能與國際知名AR/AI眼鏡品牌客戶合作，基于高算力AI模組開發(fā)的新一代AR眼鏡產(chǎn)品，在系統(tǒng)能力、AI性能方面較上一代產(chǎn)品顯著提升；在無人機(jī)智控領(lǐng)域，美格智能與國內(nèi)領(lǐng)先的高端無人機(jī)品牌攜手，以高算力AI模組賦能無人機(jī)智控、圖像追蹤技術(shù)、實(shí)時(shí)3D渲染、高速圖傳等領(lǐng)域，共同打造行業(yè)領(lǐng)先的智能無人機(jī)產(chǎn)品；在AI+醫(yī)療領(lǐng)域，基于高算力AI模組為行業(yè)頭部客戶及海外客戶研發(fā)AI掌上超聲終端、手持式血液快速檢測終端等，以AI助力移動醫(yī)療快速發(fā)展。

端側(cè)AI能力是實(shí)現(xiàn)AI全球規(guī)模化擴(kuò)展的關(guān)鍵，在全產(chǎn)業(yè)鏈的推動下，用戶對AI功能的接受程度和期待也進(jìn)一步提升，端側(cè)大模型的發(fā)展不僅帶動了消費(fèi)市場的升級，也讓產(chǎn)業(yè)鏈上下游的合作更加緊密。美格智能憑借行業(yè)領(lǐng)先的產(chǎn)品研發(fā)和創(chuàng)新實(shí)力，以及豐厚的解決方案用例，成為全球端側(cè)AI產(chǎn)業(yè)鏈中的重要一環(huán)。面向未來的廣闊市場，美格智能也將攜手行業(yè)合作伙伴，為客戶提供更高算力、高性能、高性價(jià)比的模組產(chǎn)品和解決方案，助力端側(cè)AI生態(tài)高速、健康發(fā)展。

審核編輯 黃宇