0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

美格智能AIMO智能體+DeepSeek-R1模型,AI應(yīng)用的iPhone時(shí)刻來了

美格智能 ? 2025-01-28 15:50 ? 次閱讀

導(dǎo)語:

當(dāng)AI大模型從云端下沉至終端設(shè)備,一場關(guān)于效率、隱私與智能化的革命悄然展開。作為全球領(lǐng)先的無線通信模組及解決方案提供商,美格智能憑借其高算力AI模組矩陣與端側(cè)大模型部署經(jīng)驗(yàn),結(jié)合最新發(fā)布的AIMO智能體產(chǎn)品,正加速開發(fā)DeepSeek-R1模型在端側(cè)落地應(yīng)用及端云結(jié)合整體方案,助力國產(chǎn)優(yōu)質(zhì)模型滲透千行百業(yè),共塑智能化未來。

AIMO智能體硬件加速迭代,AI硬件與大模型協(xié)同優(yōu)化

美格智能基于高通驍龍高性能計(jì)算平臺(tái)打造的AIMO智能體產(chǎn)品,集成48Tops AI算力,支持混合精度計(jì)算(INT4/FP8)與異構(gòu)計(jì)算架構(gòu)(8核CPU+Adreno GPU+Hexagon NPU),可高效承載7B參數(shù)級大模型的端側(cè)推理需求。其板載16GB LPDDR5X內(nèi)存與256GB UFS 4.0存儲(chǔ),為模型動(dòng)態(tài)加載與實(shí)時(shí)數(shù)據(jù)處理提供硬件保障。2025年美格智能將推出單顆模組算力達(dá)到100Tops的高階AI硬件,遠(yuǎn)期規(guī)劃AI模組算力超過200Tops。

wKgZO2eV-OWAQfzeAARc7OEm4tk894.png

美格智能已成功在高算力AI模組上部署LLaMA-2、通義千問Qwen、ChatGLM2等大模型,驗(yàn)證了從模型壓縮(量化、剪枝)到框架適配(ONNX/TFLite)的全流程能力。美格智能自研的MEIG AI算法部署平臺(tái)、AIMO智能體、模型優(yōu)化器等,可大幅縮短模型落地周期,支持開發(fā)者通過Python快速完成應(yīng)用開發(fā),并支持開發(fā)者進(jìn)行模型訓(xùn)練。

AIMO智能體內(nèi)置的高算力AI模組的異構(gòu)計(jì)算架構(gòu),具備協(xié)同加速能力,支持模型并行計(jì)算與低功耗運(yùn)行,LPDDR5X內(nèi)存提供超過60GB/s帶寬,滿足7B模型推理時(shí)的高吞吐需求。內(nèi)置專用AI加速引擎支持INT4/FP16混合精度計(jì)算,與DeepSeek-R1模型的量化格式(INT4/FP8)高度適配。

DeepSeek-R1低調(diào)亮相,蒸餾小模型超越OpenAI o1-mini

DeepSeek-R1采用強(qiáng)化學(xué)習(xí)邏輯,驅(qū)動(dòng)通過多階段RL訓(xùn)練(基礎(chǔ)模型→RL→微調(diào)迭代),DeepSeek-R1在數(shù)學(xué)、代碼、邏輯推理任務(wù)中表現(xiàn)比肩國際頂尖模型,如AIME數(shù)學(xué)競賽準(zhǔn)確率達(dá)71%。DeepSeek-R1提供輕量化適配:DeepSeek-R1系列提供1.5B至70B參數(shù)蒸餾版本,其中7B模型經(jīng)INT4量化后僅需2-4GB存儲(chǔ),完美適配終端設(shè)備內(nèi)存限制。DeepSeek-R1的動(dòng)態(tài)思維鏈,支持?jǐn)?shù)萬字級內(nèi)部推理過程,解決復(fù)雜問題時(shí)能自主拆解步驟并驗(yàn)證邏輯,輸出可解釋性更強(qiáng)的結(jié)果。

wKgZPGeV-OaABRNJAAMYGXMVSNA332.png

DeepSeek在開源DeepSeek-R1-Zero和DeepSeek-R1兩個(gè)660B模型的同時(shí),通過DeepSeek-R1的輸出,蒸餾了6個(gè)小模型開源給社區(qū),其中32B和70B模型在多項(xiàng)能力上實(shí)現(xiàn)了對標(biāo)OpenAI o1-mini的效果。除32B和70B模型能力強(qiáng)悍外,DeepSeek-R1同步開源1.5B、7B、8B、14B等多個(gè)蒸餾小模型,極大擴(kuò)展了終端側(cè)模型部署的可選性,并支持用戶進(jìn)行“模型蒸餾”,明確允許用戶利用模型輸出、通過模型蒸餾等方式訓(xùn)練其他模型。

以DeepSeek-R1 7B模型的端側(cè)適配性舉例,該模型具備輕量化設(shè)計(jì)特征,經(jīng)蒸餾和量化后模型體積壓縮至2-4GB,很好的匹配移動(dòng)端存儲(chǔ)限制。模型具備低延遲推理能力,在高算力模組平臺(tái)上,可實(shí)現(xiàn)10-20 tokens/s的生成速度。模型支持分塊推理和稀疏計(jì)算,結(jié)合美格智能高算力AI模組的能效優(yōu)化,能實(shí)現(xiàn)極低的功耗控制。

算力與模型的技術(shù)迭代,AI應(yīng)用的iPhone時(shí)刻即將帶來

美格智能研發(fā)團(tuán)隊(duì)結(jié)合AIMO智能體、高算力AI模組的異構(gòu)計(jì)算能力,結(jié)合多款模型量化、部署、功耗優(yōu)化Know-how,正在加速開發(fā)DeepSeek-R1模型在端側(cè)落地應(yīng)用及端云結(jié)合整體方案。

wKgZO2eV-OiAS-j8AAPHEBsvcUw941.png

?超低功耗

首先持續(xù)對DeepSeek-R1模型的推理延遲進(jìn)行優(yōu)化,保證模型在高算力模組軟硬件環(huán)境下的超低功耗運(yùn)行。

?開發(fā)工具鏈

不斷進(jìn)行工具鏈打通,模組內(nèi)嵌的SNPE引擎直接支持DeepSeek-R1模型的ONNX/TFLite格式,大模型適配周期將大幅縮短。

?端云協(xié)同

結(jié)合動(dòng)態(tài)卸載技術(shù),根據(jù)任務(wù)復(fù)雜度自動(dòng)分配端側(cè)與邊緣計(jì)算資源,保障實(shí)時(shí)性與能效平衡。為客戶提供端云協(xié)同模板,面向開發(fā)者提供動(dòng)態(tài)任務(wù)分配框架,簡單配置即可實(shí)現(xiàn)“本地優(yōu)先,云端兜底”。

通過高階AI硬件與DeepSeek-R1模型的能力結(jié)合,將突破端側(cè)AI的能力邊界。7B模型支持長文本理解、代碼生成等傳統(tǒng)端側(cè)小模型無法完成的任務(wù)。多模態(tài)融合能力,高算力AI模組的ISP+AI能力結(jié)合DeepSeek-R1模型,可實(shí)現(xiàn)端側(cè)圖文問答、視頻內(nèi)容解析(如實(shí)時(shí)字幕生成)。個(gè)性化持續(xù)學(xué)習(xí),通過AI模組的邊緣計(jì)算能力,支持聯(lián)邦學(xué)習(xí)框架下的本地模型微調(diào)(如用戶習(xí)慣適配)。

在算力+模型的不斷迭代背后,端側(cè)AI及端云協(xié)同的商業(yè)模式和商業(yè)競爭力都將面臨重構(gòu),DeepSeek-R1的發(fā)布,更是會(huì)極大刺激AI下游應(yīng)用,如工業(yè)智能化、汽車Agent、機(jī)器人、個(gè)人大模型等應(yīng)用場景的指數(shù)級增長,AI應(yīng)用即將迎來屬于自己的iPhone時(shí)刻。

?基于DeepSeek-R1的AI Agent開發(fā)應(yīng)用

結(jié)合美格智能自研的AIMO智能體及DeepSeek-R1模型的基礎(chǔ)能力,開發(fā)面向工業(yè)智能化、座艙智能體、智能無人機(jī)、機(jī)器人等領(lǐng)域的AI Agent應(yīng)用。

?端側(cè)AI能力包

推出面向AI場景的訂閱服務(wù),針對中小型的B端或C端客戶,推出“端側(cè)AI能力包”,與大模型廠商合作,針對Token輸入/輸出數(shù)量、不同類型模型調(diào)用、流量費(fèi)用等領(lǐng)域,推出一體化端側(cè)AI Turn-key方案。

?智能化硬件增值

商業(yè)模式方面,各類高AI配置硬件疊加端側(cè)模型加載或云端模型接入,為高算力硬件帶來更多智能化增值。

?自建GPU服務(wù)器與個(gè)性化專屬大模型開發(fā)

美格研發(fā)團(tuán)隊(duì)持續(xù)拓展通用模型的部署通路,并不斷向客戶開放相關(guān)教程和源代碼,并且以最新的高算力計(jì)算平臺(tái)搭建GPU服務(wù)器,可用于端側(cè)模型訓(xùn)練和支持客戶開發(fā)專屬大模型,結(jié)合DeepSeek-R1及其寬松、開放式的MIT授權(quán)協(xié)議,千行百業(yè)的個(gè)性化模型開發(fā)和應(yīng)用即將爆發(fā)。

2025年,端側(cè)AI、端云協(xié)同等各類AI應(yīng)用的iPhone時(shí)刻將加速到來。DeepSeek-R1的出現(xiàn),某種程度上改變了我們對于Scale的認(rèn)知,但也不會(huì)帶來云端算力的需求減少甚至崩塌,相反優(yōu)質(zhì)模型對于AI應(yīng)用場景的極大刺激,也會(huì)推動(dòng)云端算力需求的提升,端側(cè)不斷進(jìn)化,云端負(fù)責(zé)兜底,端云結(jié)合終將是不變的方向。

美格智能也將持續(xù)以高算力AI模組、AI Agent應(yīng)用、大模型部署服務(wù)、端側(cè)AI服務(wù)整體解決方案為基石,攜手大模型廠商、生態(tài)伙伴等不斷推動(dòng)類似DeepSeek-R1等優(yōu)秀模型的應(yīng)用拓展,讓普惠、自主的高階AI實(shí)現(xiàn)應(yīng)有的社會(huì)價(jià)值。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    31493

    瀏覽量

    270097
  • 智能體
    +關(guān)注

    關(guān)注

    1

    文章

    166

    瀏覽量

    10609
  • 美格智能
    +關(guān)注

    關(guān)注

    2

    文章

    252

    瀏覽量

    11173
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    2544

    瀏覽量

    3063
收藏 人收藏

    評論

    相關(guān)推薦

    OpenAI將發(fā)布更智能GPT模型AI智能工具

    OpenAI近日透露了其未來發(fā)展的重要?jiǎng)酉颉?jù)OpenAI首席產(chǎn)品官凱文·維爾(Kevin Weil)介紹,公司計(jì)劃推出更智能的GPT o3模型,并首次亮相AI智能
    的頭像 發(fā)表于 01-24 13:54 ?157次閱讀

    對標(biāo)OpenAI o1,DeepSeek-R1發(fā)布

    今天,我們正式發(fā)布 DeepSeek-R1,并同步開源模型權(quán)重。 DeepSeek-R1 遵循 MIT License,允許用戶通過蒸餾技術(shù)借助 R1 訓(xùn)練其他
    的頭像 發(fā)表于 01-22 13:46 ?315次閱讀
    對標(biāo)OpenAI o<b class='flag-5'>1</b>,<b class='flag-5'>DeepSeek-R1</b>發(fā)布

    趕緊在本地運(yùn)行與OpenAI-o1能力近似的DeepSeek-R1模型

    類似GPT4-V的能力:MiniCPM-V 2.6 》。本文將分享在本地運(yùn)行能與OpenAI-o1 能力相媲美的 DeepSeek-R1? 模型。 [編者注]:OpenAI-o1是Op
    的頭像 發(fā)表于 01-21 14:29 ?2437次閱讀
    趕緊在本地運(yùn)行與OpenAI-o<b class='flag-5'>1</b>能力近似的<b class='flag-5'>DeepSeek-R1</b><b class='flag-5'>模型</b>

    CES 2025|全面擁抱端側(cè)AI,美格智能在CES發(fā)布系列創(chuàng)新成果

    要點(diǎn):在AI機(jī)器人領(lǐng)域,以高算力AI模組助力發(fā)布“通天曉”人形機(jī)器人和2款全新微小型AI機(jī)器人在AI硬件領(lǐng)域,發(fā)布消費(fèi)級AI
    的頭像 發(fā)表于 01-11 09:32 ?360次閱讀
    CES 2025|全面擁抱端側(cè)<b class='flag-5'>AI</b>,<b class='flag-5'>美格</b><b class='flag-5'>智能</b>在CES發(fā)布系列創(chuàng)新成果

    CES 2025 | 美格智能創(chuàng)新發(fā)布AI智能產(chǎn)品AIMO

    CES2025展會(huì)現(xiàn)場,美格智能創(chuàng)新發(fā)布AI智能產(chǎn)品—AIMO,一款面向C端消費(fèi)者的個(gè)人化
    的頭像 發(fā)表于 01-10 09:03 ?267次閱讀
    CES 2025 | <b class='flag-5'>美格</b><b class='flag-5'>智能</b>創(chuàng)新發(fā)布<b class='flag-5'>AI</b><b class='flag-5'>智能</b><b class='flag-5'>體</b>產(chǎn)品<b class='flag-5'>AIMO</b>

    CES 2025|美格智能高算力AI模組助力“通天曉”人形機(jī)器人震撼發(fā)布

    形機(jī)器人內(nèi)置美格智能基于高通QCS8550計(jì)算平臺(tái)開發(fā)的高算力AI模組SNM970,以強(qiáng)大AI算力+端側(cè)大模型部署能力,為人形機(jī)器人的控制、
    的頭像 發(fā)表于 01-08 09:02 ?255次閱讀
    CES 2025|<b class='flag-5'>美格</b><b class='flag-5'>智能</b>高算力<b class='flag-5'>AI</b>模組助力“通天曉”人形機(jī)器人震撼發(fā)布

    雷軍千萬年薪挖角95后AI天才少女 DeepSeek開源大模型DeepSeek-V2關(guān)鍵開發(fā)者之一羅福莉

    95后AI“天才少女”刷屏;原因是雷軍千萬年薪挖角。人工智能時(shí)代最貴的依然是人才! 這位?95后AI“天才少女”是DeepSeek開源大模型
    的頭像 發(fā)表于 12-30 10:58 ?660次閱讀

    AI智能是什么_AI智能如何重塑企業(yè)業(yè)務(wù)流程

    AI技術(shù)的飛速發(fā)展令人矚目。就在企業(yè)領(lǐng)導(dǎo)者們剛開始熟悉AI助手時(shí),AI智能Agent(國際版)已經(jīng)迅速成為討論的焦點(diǎn)。它們之所以受到廣泛關(guān)
    的頭像 發(fā)表于 12-19 17:55 ?362次閱讀

    AI智能生態(tài)圈和軟件棧

    原文鏈接:https://www.letta.com/blog/ai-agents-stack 一,理解AI智能 盡管市面上有許多關(guān)于智能
    的頭像 發(fā)表于 12-03 15:49 ?185次閱讀
    <b class='flag-5'>AI</b><b class='flag-5'>智能</b><b class='flag-5'>體</b>生態(tài)圈和軟件棧

    AI智能逼真模擬人類行為

    與先進(jìn)的GPT-4o模型進(jìn)行巧妙結(jié)合。當(dāng)用戶向智能提出問題時(shí),系統(tǒng)會(huì)迅速加載訪談數(shù)據(jù),并驅(qū)動(dòng)AI智能
    的頭像 發(fā)表于 11-26 10:24 ?460次閱讀

    圖為大模型機(jī)新探索,賦能智能家居行業(yè)

    與效率。 其中,圖為AI模型機(jī)作為人工智能領(lǐng)域的最新成果,正逐步成為智能家居行業(yè)的重要驅(qū)動(dòng)力。本文將深入探討圖為圖為
    的頭像 發(fā)表于 10-24 11:05 ?281次閱讀

    長虹發(fā)布滄海智能AI TV與智匯家AI模型

    2024年德國柏林消費(fèi)電子展覽會(huì)(IFA2024)盛大啟幕,長虹集團(tuán)攜全球首款滄海智能AI TV與長虹美菱智匯家AI模型驚艷亮相。滄海
    的頭像 發(fā)表于 09-10 18:21 ?930次閱讀

    人工智能ai4s試讀申請

    目前人工智能在繪畫對話等大模型領(lǐng)域應(yīng)用廣闊,ai4s也是方興未艾。但是如何有效利用ai4s工具助力科研是個(gè)需要研究的課題,本書對ai4s基本
    發(fā)表于 09-09 15:36

    模型不夠用,還有“AI智能”?

    模型,為什么還需要發(fā)展AI智能呢?這還需要從AI智能
    的頭像 發(fā)表于 05-12 08:04 ?344次閱讀
    大<b class='flag-5'>模型</b>不夠用,還有“<b class='flag-5'>AI</b><b class='flag-5'>智能</b><b class='flag-5'>體</b>”?

    AI觸手可及丨2024高通&amp;amp;美格智能邊緣智能技術(shù)進(jìn)化日隆重舉行

    高通公司一直是美格智能重要的戰(zhàn)略合作伙伴,面向邊緣智能與各行業(yè)深度融合的發(fā)展新趨勢,雙方將繼續(xù)精誠合作,共同推動(dòng)邊緣智能技術(shù)進(jìn)化。未來,美格
    的頭像 發(fā)表于 05-10 18:04 ?470次閱讀
    讓<b class='flag-5'>AI</b>觸手可及丨2024高通&amp;amp;<b class='flag-5'>美格</b><b class='flag-5'>智能</b>邊緣<b class='flag-5'>智能</b>技術(shù)進(jìn)化日隆重舉行