0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

橫空出世!容芯致遠(yuǎn)創(chuàng)新“智算整機(jī)架構(gòu)”融合DeepSeek應(yīng)用

yyx2013 ? 來源:yyx2013 ? 作者:yyx2013 ? 2025-02-28 13:48 ? 次閱讀

DeepSeek火爆全球,并引發(fā)算力行業(yè)鏈?zhǔn)椒磻?yīng)。借助混合專家模型(MOE)架構(gòu)、多頭潛在注意力機(jī)制(MLA)等算法創(chuàng)新,DeepSeek顯著降低大模型計(jì)算成本,打破了業(yè)界對(duì)高算力GPU的路徑依賴,全面激活了各行業(yè)部署大模型應(yīng)用的需求。長(zhǎng)期受先進(jìn)制程工藝制約的國(guó)產(chǎn)GPU陣營(yíng)正在迎來新的發(fā)展機(jī)遇。

2月27日,在北京2025中國(guó)RISC-V生態(tài)大會(huì)上,容芯致遠(yuǎn),一家2024年剛成立,致力于創(chuàng)新計(jì)算機(jī)體系結(jié)構(gòu)的初創(chuàng)企業(yè),推出了全新的AGC智算架構(gòu)及其整機(jī)設(shè)計(jì)方案,并率先與百度AI技術(shù)生態(tài)達(dá)成合作,這或?qū)㈤_啟AI計(jì)算機(jī)系統(tǒng)架構(gòu)創(chuàng)新的范式變革。

這是容芯致遠(yuǎn)首次在全國(guó)性頂級(jí)行業(yè)技術(shù)大會(huì)上正式亮相,CTO石旭在主題演講中披露了他對(duì)MOE架構(gòu)下AI計(jì)算機(jī)體系結(jié)構(gòu)創(chuàng)新和變革方向的思考。在石旭看來,影響AI發(fā)展有三個(gè)關(guān)鍵要素:芯片、系統(tǒng)和算法。DeepSeek已成功證明中國(guó)在算法領(lǐng)域的領(lǐng)先優(yōu)勢(shì),GPU芯片迭代周期長(zhǎng),短期難以一蹴而就,系統(tǒng)結(jié)構(gòu)作為介于芯片與算法之間的重要環(huán)節(jié),對(duì)于進(jìn)一步發(fā)揮國(guó)產(chǎn)芯片有效算力,提升運(yùn)營(yíng)效率,降低運(yùn)營(yíng)成本,延長(zhǎng)設(shè)備壽命等,都具有極大的創(chuàng)新空間。

wKgZPGfBTjaAUTW5AAN1Uvt9ydY324.png

幾十年來,計(jì)算機(jī)系統(tǒng)一直是以CPU為核心進(jìn)行構(gòu)建,GPU顯卡、存儲(chǔ)等設(shè)備作為外設(shè)存在,所有外設(shè)之間的數(shù)據(jù)交換需要通過中央處理器即CPU來處理,使得CPU越來越成為AI時(shí)代的計(jì)算機(jī)系統(tǒng)瓶頸所在。對(duì)此,容芯致遠(yuǎn)的創(chuàng)業(yè)團(tuán)隊(duì)選擇了計(jì)算機(jī)體系結(jié)構(gòu)這一長(zhǎng)期被產(chǎn)業(yè)界忽視的方向,率先提出AGC(以GPU為核心)的AI計(jì)算機(jī)體系結(jié)構(gòu)。在石旭和他的技術(shù)團(tuán)隊(duì)看來,為更高效地支撐AI時(shí)代MOE模型訓(xùn)練推理,需要對(duì)計(jì)算機(jī)體系結(jié)構(gòu)進(jìn)行一次徹底的變革,即從傳統(tǒng)的ACC架構(gòu)(AI computer system with the CPU at its Core)轉(zhuǎn)向AGC架構(gòu)(AI computer system with the GPU at its Core),實(shí)現(xiàn)以GPU為核心設(shè)計(jì)AI計(jì)算機(jī)系統(tǒng)。只有在體系結(jié)構(gòu)層面進(jìn)行高維度的創(chuàng)新,才能打破成本、效率、靈活性“不可能三角”的魔咒,讓GPU與模型服務(wù)發(fā)揮更大算力效率,同時(shí)更具成本優(yōu)勢(shì)和靈活的適應(yīng)性。

wKgZO2fBTjaAKfddAAPZixn6C2o328.png

RISC-V生態(tài)大會(huì)的展示區(qū),容芯致遠(yuǎn)在現(xiàn)場(chǎng)展出了多款基于AGC架構(gòu)設(shè)計(jì)的AI服務(wù)器與AI Station整機(jī)方案。

與傳統(tǒng)服務(wù)器不同,采用AGC架構(gòu)的8卡GPU服務(wù)器,在一個(gè)4U機(jī)箱內(nèi)部署2顆國(guó)產(chǎn)CPU和8張國(guó)產(chǎn)GPU卡,且能支持不同廠商的GPU卡異構(gòu)混插,整機(jī)算力有效值(MFU)可從40%平均值提高到60%以上,并支持DeepSeek的高效推理。

wKgZPGfBTjeAEpTcAANeXQUm3NI20.jpeg

圖:全國(guó)產(chǎn)AGC架構(gòu)MOE智算整機(jī)(8卡)

現(xiàn)場(chǎng)展出的AI Station適用于ToB辦公場(chǎng)景,也是基于AGC架構(gòu)設(shè)計(jì),模塊化、免主板、超靜音、內(nèi)置AIOS系統(tǒng),可插2塊全尺寸GPU卡,輕松跑通32B模型,可用于在辦公室環(huán)境搭建輕量便捷、低成本的DeepSeek推理平臺(tái)。

wKgZO2fBTjeAObd_AALZjIcSAr044.jpeg

圖:基于AGC架構(gòu)的AI Station

值得關(guān)注的是,容芯致遠(yuǎn)預(yù)發(fā)布了一款20卡全信創(chuàng)AGC架構(gòu)服務(wù)器設(shè)計(jì)方案,更充分地體現(xiàn)“以GPU為核心構(gòu)建計(jì)算機(jī)系統(tǒng)”的設(shè)計(jì)理念,一些重要特征包括:20卡超高密度,使其不用量化即可完美兼容全尺寸DeepSeek大模型;支持“GPU暴力熱插拔”,當(dāng)某個(gè)GPU卡出現(xiàn)故障時(shí),無須將整個(gè)設(shè)備斷電即可更換GPU,使得維護(hù)周期從小時(shí)級(jí)直接降到分鐘級(jí);支持針對(duì)每顆GPU而不是整機(jī)進(jìn)行卡級(jí)精準(zhǔn)能耗控制,可根據(jù)負(fù)載需要開啟或關(guān)閉目標(biāo)GPU卡;全新的高速互聯(lián)特性支持在5秒內(nèi)喚醒加載大模型等。該款產(chǎn)品實(shí)現(xiàn)了業(yè)界首創(chuàng)、全球首創(chuàng)!

wKgZPGfBTjiATs9gAAMAD2Xf9k431.jpeg

圖:已預(yù)發(fā)布的全國(guó)產(chǎn)AGC架構(gòu)MOE智算整機(jī)(20卡)關(guān)鍵特性

容芯致遠(yuǎn)COO王成江表示,盡管目前國(guó)內(nèi)已經(jīng)有很多整機(jī)廠商,但鮮有企業(yè)去做計(jì)算機(jī)體系結(jié)構(gòu)層面的創(chuàng)新,這在國(guó)內(nèi)是一個(gè)新的賽道,容芯致遠(yuǎn)將專注于研發(fā)推廣更加符合AI時(shí)代需要的新型計(jì)算機(jī)系統(tǒng)架構(gòu)方案,做智算體系結(jié)構(gòu)的領(lǐng)頭羊。目前,AGC智算架構(gòu)整機(jī)已適配幾乎所有國(guó)產(chǎn)GPU卡,包括天數(shù)智芯、寒武紀(jì)、燧原、登臨科技、墨芯、沐曦、希姆、海光DCU、摩爾線程等,同時(shí)也適配了DeepSeek、文心一言、Llama、Qwen、ChatGLM等主流大模型。而且,公司秉承開源開放策略,將相關(guān)AGC架構(gòu)知識(shí)產(chǎn)權(quán)通過RISC-V生態(tài)聯(lián)盟向內(nèi)部成員開放共享。

wKgZO2fBTjiAIAJBAAOBs7hlCoo021.png

AGC智算架構(gòu)創(chuàng)新成果獲得了互聯(lián)網(wǎng)AI大廠的關(guān)注與重視。容芯致遠(yuǎn)已與百度AI技術(shù)團(tuán)隊(duì)達(dá)成生態(tài)合作,雙方將攜手推動(dòng)計(jì)算機(jī)體系結(jié)構(gòu)創(chuàng)新,優(yōu)化基于飛槳、文心大模型、AI生態(tài)應(yīng)用等系統(tǒng),降低AI應(yīng)用門檻,加速AI最后一公里落地。

容芯致遠(yuǎn),是一家致力于創(chuàng)新計(jì)算機(jī)體系結(jié)構(gòu)的高科技企業(yè)。公司擁有微電子、光子學(xué)、AI加速與體系結(jié)構(gòu)等眾多領(lǐng)域的專家團(tuán)隊(duì),構(gòu)建了一支跨學(xué)科、技術(shù)實(shí)力強(qiáng)大的技術(shù)團(tuán)隊(duì),為公司持續(xù)創(chuàng)新及產(chǎn)品開發(fā)奠定了堅(jiān)實(shí)而穩(wěn)固的基礎(chǔ)。憑借在底層技術(shù)創(chuàng)新領(lǐng)域的卓越實(shí)力,實(shí)現(xiàn)了對(duì)CPU/GPU的全面賦能加速,并推出了通算/智算加速單元及智算服務(wù)器等一系列產(chǎn)品?,F(xiàn)場(chǎng)許多專家和客戶都表示很期待看到一個(gè)創(chuàng)新的技術(shù)公司加速崛起。


審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    32469

    瀏覽量

    271670
  • DeepSeek
    +關(guān)注

    關(guān)注

    1

    文章

    624

    瀏覽量

    381
收藏 0人收藏

    評(píng)論

    相關(guān)推薦

    DeepSeek橫空出世,存儲(chǔ)產(chǎn)業(yè)的寒武紀(jì)大爆發(fā)來了

    ? 電子發(fā)燒友網(wǎng)報(bào)道(文/黃晶晶)DeepSeek-R1是幻方量化旗下深度求索(DeepSeek)公司研發(fā)的推理模型。DeepSeek-R1于2025年1月20日正式發(fā)布。該模型采用強(qiáng)化學(xué)習(xí)進(jìn)行后
    的頭像 發(fā)表于 02-10 07:35 ?3398次閱讀
    <b class='flag-5'>DeepSeek</b><b class='flag-5'>橫空出世</b>,存儲(chǔ)產(chǎn)業(yè)的寒武紀(jì)大爆發(fā)來了

    DeepSeek大模型如何推動(dòng)“AI+物流”融合創(chuàng)新

    在人工智能技術(shù)的迭代浪潮中,大模型(Large Language Models, LLM)正從文本生成、圖像創(chuàng)作走向垂直行業(yè)賦能。2025年新年,國(guó)產(chǎn) AI 大模型 DeepSeek 橫空出世,憑借其低成本、高精度和多模態(tài)能力,迅速成為“新晉網(wǎng)紅”,并在各行各業(yè)引發(fā)廣泛討
    的頭像 發(fā)表于 02-28 16:36 ?316次閱讀

    研華邊緣AI平臺(tái)測(cè)試DeepSeek蒸餾版模型的最新數(shù)據(jù)

    隨著Deepseek大模型的橫空出世,預(yù)計(jì)對(duì)整個(gè)工業(yè)領(lǐng)域會(huì)產(chǎn)生顛覆性的影響力,尤其針對(duì)邊緣部署部分獨(dú)創(chuàng)動(dòng)態(tài)剪枝與量化技術(shù),DeepSeek大模型支持在邊緣設(shè)備低功耗運(yùn)行(最低適配5 TOPS
    的頭像 發(fā)表于 02-24 10:40 ?329次閱讀
    研華邊緣AI平臺(tái)測(cè)試<b class='flag-5'>DeepSeek</b>蒸餾版模型的最新數(shù)據(jù)

    企業(yè)增長(zhǎng)新風(fēng)口:Deepseek+智能工牌,你了解多少?

    Deepseek橫空出世可謂是占據(jù)了整個(gè)春節(jié)的熱門話題,眾多行業(yè)大佬和媒體也紛紛開始討論和研究這個(gè)AI界的“黑馬”產(chǎn)品,眾多的企業(yè)也紛紛宣布接入Deepseek大模型,它的出現(xiàn)推動(dòng)著大模型又向
    的頭像 發(fā)表于 02-19 15:18 ?157次閱讀
    企業(yè)增長(zhǎng)新風(fēng)口:<b class='flag-5'>Deepseek</b>+智能工牌,你了解多少?

    華為推出昇騰DeepSeek大模型一體機(jī)

    DeepSeek大模型的橫空出世,讓AI正以前所未有的速度重塑各行各業(yè)的發(fā)展格局。昇騰DeepSeek一體機(jī)深度融合昇騰高性能力底座與
    的頭像 發(fā)表于 02-18 09:56 ?1270次閱讀

    【實(shí)測(cè)】用全志A733平板搭建一個(gè)端側(cè)Deepseek力平臺(tái)

    ? 隨著DeepSeek 的蒸餾技術(shù)的橫空出世,端側(cè) SoC 芯片上運(yùn)行大模型成為可能。那么端側(cè)芯片跑大模型的效果如何呢?本文將在全志 A733 芯片平臺(tái)上部署一個(gè) DeepSeek-R1:1.5B
    發(fā)表于 02-13 10:19

    利用全志A733平板構(gòu)建端側(cè)DeepSeek力平臺(tái)

    隨著DeepSeek 的蒸餾技術(shù)的橫空出世,端側(cè) SoC 芯片上運(yùn)行大模型成為可能。那么端側(cè)芯片跑大模型的效果如何呢?本文將在全志 A733 芯片平臺(tái)上部署一個(gè) DeepSeek-R1:1.5B
    的頭像 發(fā)表于 02-13 10:18 ?358次閱讀
    利用全志A733平板構(gòu)建端側(cè)<b class='flag-5'>DeepSeek</b><b class='flag-5'>算</b>力平臺(tái)

    如何在MATLAB中使用DeepSeek模型

    DeepSeek-R1(https://github.com/deepseek-ai/DeepSeek-R1) AI 模型橫空出世后,人們幾乎就立馬開始詢問如何在 MATLAB 中
    的頭像 發(fā)表于 02-13 09:20 ?1889次閱讀
    如何在MATLAB中使用<b class='flag-5'>DeepSeek</b>模型

    軟通動(dòng)力“軟硬一體”戰(zhàn)略轉(zhuǎn)型,攜手DeepSeek引領(lǐng)AI新時(shí)代

    ,推動(dòng)了企業(yè)的持續(xù)快速成長(zhǎng)。 隨著新年的到來,AI領(lǐng)域迎來了新的突破——DeepSeek橫空出世,為全產(chǎn)業(yè)鏈的市場(chǎng)繁榮注入了新的活力。作為行業(yè)領(lǐng)軍企業(yè),軟通動(dòng)力迅速響應(yīng),全線產(chǎn)品積極接入并支持DeepSeek,以此為契機(jī),進(jìn)一
    的頭像 發(fā)表于 02-10 15:18 ?462次閱讀

    萬里紅全面支持DeepSeek系列大模型

    新年伊始,DeepSeek大模型及其應(yīng)用橫空出世,憑借著出色的推理能力,迅速激發(fā)了千行百業(yè)的使用熱情。萬里紅積極響應(yīng)市場(chǎng)需求,快速迭代大模型知識(shí)應(yīng)用系統(tǒng),最新版本已全面支持私有化部署
    的頭像 發(fā)表于 02-10 10:45 ?245次閱讀

    部署DeepSeek R1于AX650N與AX630C平臺(tái)

    背景 春節(jié)前,國(guó)產(chǎn)大模型 DeepSeek 橫空出世,迅速成為AI領(lǐng)域的焦點(diǎn)。作為端側(cè)AI能效比優(yōu)異的 AX650N、AX630C 芯片平臺(tái)早已在節(jié)前完成 DeepSeek R1 蒸餾版本 1.5B
    的頭像 發(fā)表于 02-09 09:32 ?465次閱讀
    部署<b class='flag-5'>DeepSeek</b> R1于AX650N與AX630C平臺(tái)

    DeepSeek如何成為黑馬,打造國(guó)產(chǎn)力閉環(huán)

    在 2025 年春節(jié)期間,科技圈殺出一匹黑馬“DeepSeek”,其迅速火爆全網(wǎng),成為眾人熱議的焦點(diǎn);回溯過往,人工智能領(lǐng)域能引發(fā)如此廣泛關(guān)注與熱議的現(xiàn)象,或?qū)⒆匪葜?ChatGPT 橫空出世之際
    的頭像 發(fā)表于 02-08 11:12 ?488次閱讀
    <b class='flag-5'>DeepSeek</b>如何成為黑馬,打造國(guó)產(chǎn)<b class='flag-5'>算</b>力閉環(huán)

    動(dòng)力神速適配DeepSeek-R1大模型,AI芯片設(shè)計(jì)邁入“快車道”!

    近期,國(guó)產(chǎn)大模型 DeepSeek-R1橫空出世,迅速成為AI領(lǐng)域的焦點(diǎn)。 動(dòng)力在24小時(shí)內(nèi)完成了與DeepSeek-R1大模型的適配。 Deep
    的頭像 發(fā)表于 02-07 16:55 ?318次閱讀
    <b class='flag-5'>芯</b>動(dòng)力神速適配<b class='flag-5'>DeepSeek</b>-R1大模型,AI芯片設(shè)計(jì)邁入“快車道”!

    DeepSeek對(duì)芯片力的影響

    DeepSeek模型,尤其是其基于MOE(混合專家)架構(gòu)DeepSeek-V3,對(duì)芯片力的要求產(chǎn)生了深遠(yuǎn)影響。為了更好地理解這一影響,我們可以從幾個(gè)方面進(jìn)行分析。一.MOE
    的頭像 發(fā)表于 02-07 10:02 ?616次閱讀
    <b class='flag-5'>DeepSeek</b>對(duì)芯片<b class='flag-5'>算</b>力的影響

    針對(duì)高速光模塊應(yīng)用,小華半導(dǎo)體推出HC32F472系列模擬豐富MCU新品

    2023年以來,生成式人工智能ChatGPT及橫空出世的視頻生成模型Sora極大地影響人類科技發(fā)展的方向。
    的頭像 發(fā)表于 03-15 17:28 ?1468次閱讀
    針對(duì)高速光模塊應(yīng)用,小華半導(dǎo)體推出HC32F472系列模擬豐富MCU新品

    電子發(fā)燒友

    中國(guó)電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會(huì)員交流學(xué)習(xí)
    • 獲取您個(gè)性化的科技前沿技術(shù)信息
    • 參加活動(dòng)獲取豐厚的禮品