0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

沐曦加速DeepSeek滿血版單卡C500異構推理

沐曦MetaX ? 來源:沐曦MetaX ? 2025-03-20 15:52 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

近日,基于開源KTransformers架構的 CPU/GPU 異構推理能力,沐曦在曦云C500單卡GPU上成功實現(xiàn)DeepSeek-R1-671B滿血版單并發(fā)解碼吞吐16.5 tokens/s的優(yōu)異成績,相比社區(qū)官方數據提升20%以上。

相比國際高端GPU八卡滿血版部署方案,本項目在單并發(fā)性能上具有極高的性價比。

KTransformers項目介紹

KTransformers (https://github.com/kvcache-ai/ktransformers)是由清華大學 KVCache.AI 團隊聯(lián)合趨境科技開源的一套輕量化高性能模型推理框架,能夠在計算資源受限的場景下,通過 CPU/GPU 異構推理的方式更快速、更高效地實現(xiàn)大模型的本地推理。KTransformers旨在作為一個開放的平臺,用于試驗創(chuàng)新的大型語言模型(LLM)推理優(yōu)化方案。同時,KTransformers也計劃演進成本地化中小并發(fā)場景下針對稀疏MoE模型最具性價比的開源推理引擎,以及成為一個算子級優(yōu)化的集成實驗平臺。沐曦正在做的工作非常符合開源社區(qū)和KTransformers開源項目的發(fā)展。

開源合作內容介紹

沐曦和KVCache.AI團隊合作,通過對KTransformers模型框架進行細致的分析和調整,團隊成功達成了曦云C500與KTransformers的無縫對接,為進一步性能優(yōu)化奠定了堅實的基礎。

完成基本功能適配后,沐曦研發(fā)團隊繼續(xù)對整個框架進行了優(yōu)化。在深入研究了DeepSeek R1滿血版模型的計算特點和性能瓶頸,結合曦云C500的優(yōu)勢,采用了一系列先進的技術和算法,詳細如下:

1在KTransformers中加入了Multi-Token Prediction (MTP) 功能;

2加入了GPU fused MoE功能,該功能有效利用曦云C500 64GB的高帶寬顯存和高速FP16/BF16運算能力,提升推理性能;

3配合自動/手工算子融合技術,高效的FP16/BF16精度Marlin算子(W4A16),以及經過深度優(yōu)化的mcBLAS、PyTorch庫、FlashInfer庫。

此次合作不僅為KTransformers帶來了性能上的提升,更體現(xiàn)了開源共創(chuàng)的價值:不同的團隊和開發(fā)者通過資源共享、經驗交流,共同推動技術的進步。沐曦和清華大學KVCache.AI團隊的合作就是很好的例子,通過開源倉庫匯聚了各自的優(yōu)勢,實現(xiàn)了技術上的突破,也為后續(xù)持續(xù)在開源社區(qū)推理優(yōu)化提供了合作基礎。

通過開源社區(qū)的共同努力,KTransformers將不斷提升其性能和功能,為更多的用戶提供優(yōu)質的服務。同時,這也將促進整個人工智能行業(yè)的發(fā)展,推動技術的不斷創(chuàng)新。單卡打開DeepSeek R1滿血版并不斷地提升性能只是一個開始,在開源共創(chuàng)的道路上,我們將迎來更多的驚喜和突破,共同開創(chuàng)國產算力生態(tài)和人工智能的無限未來。

關于沐曦

沐曦致力于為異構計算提供安全可靠的GPU芯片及解決方案,打造全棧GPU芯片產品,推出曦思N系列GPU用于智算推理,曦云C系列GPU用于通用計算,以及曦彩G系列GPU用于圖形渲染,滿足“高能效”及“高通用性”的算力需求。沐曦產品均采用完全自主研發(fā)的GPU IP,擁有完全自主的指令集和架構,配以兼容主流GPU生態(tài)的完整軟件棧(MXMACA),具備高能效和高通用性的天然優(yōu)勢,能夠為客戶構建軟硬件一體的全面生態(tài)解決方案,是“雙碳”背景下推動數字經濟建設和產業(yè)數字化、智能化轉型升級的算力基石。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • gpu
    gpu
    +關注

    關注

    28

    文章

    4937

    瀏覽量

    131169
  • 開源
    +關注

    關注

    3

    文章

    3673

    瀏覽量

    43783
  • 沐曦
    +關注

    關注

    0

    文章

    34

    瀏覽量

    1424
  • DeepSeek
    +關注

    關注

    1

    文章

    795

    瀏覽量

    1695

原文標題:開源賦能:沐曦聯(lián)合清華大學KVCache.AI團隊加速DeepSeek滿血版單卡C500異構推理

文章出處:【微信號:沐曦MetaX,微信公眾號:沐曦MetaX】歡迎添加關注!文章轉載請注明出處。

收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    Arm Neoverse N2平臺實現(xiàn)DeepSeek-R1滿血版部署

    頗具優(yōu)勢。Arm 攜手合作伙伴,在 Arm Neoverse N2 平臺上使用開源推理框架 llama.cpp 實現(xiàn) DeepSeek-R1 滿血版的部署,目前已可提供線上服務。
    的頭像 發(fā)表于 07-03 14:37 ?315次閱讀
    Arm Neoverse N2平臺實現(xiàn)<b class='flag-5'>DeepSeek</b>-R1<b class='flag-5'>滿血</b>版部署

    潤和軟件StackRUNS異構分布式推理框架的應用案例

    江蘇潤和軟件股份有限公司(以下簡稱“潤和軟件”)自主研發(fā)的StackRUNS異構分布式推理框架已在實際場景中取得顯著成效,成功應用于大型園區(qū)多模態(tài)模型演練及高校滿血DeepSeek-
    的頭像 發(fā)表于 06-13 09:11 ?454次閱讀
    潤和軟件StackRUNS<b class='flag-5'>異構</b>分布式<b class='flag-5'>推理</b>框架的應用案例

    PaddleScience完成與AI芯片適配

    當前,PaddleScience已與展開深度合作,涵蓋智能仿真、高性能計算、科學建模等多個方向。這一趨勢正加速形成面向"Al for Science"的國產智算生態(tài)新格局。
    的頭像 發(fā)表于 05-06 14:49 ?558次閱讀

    C500通用計算GPU與百度飛槳完成Ⅱ級兼容性測試

    近日,C500通用計算GPU與百度飛槳已完成Ⅱ級兼容性測試。測試結果顯示,雙方兼容性表現(xiàn)良好,整體運行穩(wěn)定。這是
    的頭像 發(fā)表于 03-31 14:22 ?811次閱讀

    南京市政務云基于華為云Stack成功部署DeepSeek滿血版大模型

    近期,南京市政務云基于華為云Stack成功部署上線滿血DeepSeek-R1-671B,實現(xiàn)了“南京+DeepSeek滿血版”的人工智能政務應用一體化賦能升級。
    的頭像 發(fā)表于 03-31 09:30 ?420次閱讀

    在采用異構模式推理時,如何檢查每層使用的設備是什么?

    異構模式推理時,無法檢查每層使用的設備是什么
    發(fā)表于 03-06 06:49

    壁仞科技支持DeepSeek-V3滿血版訓練推理

    DeepSeek在開源周開源了部分關鍵模塊的代碼及推理系統(tǒng)參考架構,再次引發(fā)行業(yè)震動,但目前尚未開源DeepSeek-V3 滿血版完整訓練代碼。壁仞科技憑借八大自主創(chuàng)新技術,實現(xiàn)
    的頭像 發(fā)表于 03-04 14:01 ?972次閱讀

    省內領先!南京率先引入DeepSeek滿血

    近期 “國民級AI”DeepSeek 正憑借低成本高性能的優(yōu)勢 激發(fā)一波新的創(chuàng)新浪潮 2025年2月14日,南京市數據局在南京市政務云的華為昇騰 910B虛擬化AI算力資源池內,成功部署上線滿血
    的頭像 發(fā)表于 02-19 13:55 ?791次閱讀
    省內領先!南京率先引入<b class='flag-5'>DeepSeek</b><b class='flag-5'>滿血</b>版

    黑芝麻智能芯片加速DeepSeek模型推理

    近日,黑芝麻智能宣布,其武當C1200家族芯片已成功完成DeepSeek模型推理的部署,而A2000芯片也將全面支持基于DeepSeek的多模態(tài)大模型
    的頭像 發(fā)表于 02-14 15:04 ?572次閱讀

    探討DeepSeek-R1滿血版的推理部署與優(yōu)化策略

    TL;DR 春節(jié)假期開始, 好像很多人都在開始卷DeepSeek-R1的推理了. 渣B也被兄弟團隊帶著一起卷了一陣, 其實推理中還有很多約束, 比較認同的是章老師的一個觀點: “推理
    的頭像 發(fā)表于 02-14 10:19 ?1415次閱讀
    探討<b class='flag-5'>DeepSeek</b>-R1<b class='flag-5'>滿血</b>版的<b class='flag-5'>推理</b>部署與優(yōu)化策略

    了解DeepSeek-V3 和 DeepSeek-R1兩個大模型的不同定位和應用選擇

    功能對比: 1. 核心定位差異 維度 DeepSeek-V3 DeepSeek-R1 目標場景 通用型任務(文本生成、多輪對話等) 復雜推理與數學能力優(yōu)先(如STEM領域) 優(yōu)化方向 平衡性能與成本,覆蓋廣泛
    發(fā)表于 02-14 02:08

    Gitee AI 聯(lián)合首發(fā)全套 DeepSeek R1 千問蒸餾模型,全免費體驗!

    -R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Qwen-14B、DeepSeek-R1-Distill-Qwen-32B四個較小尺寸的 DeepSeek 模型。值得關注的是, 本次上線的四個模型
    的頭像 發(fā)表于 02-10 09:56 ?686次閱讀
    Gitee AI 聯(lián)合<b class='flag-5'>沐</b><b class='flag-5'>曦</b>首發(fā)全套 <b class='flag-5'>DeepSeek</b> R1 千問蒸餾模型,全免費體驗!

    摩爾線程宣布成功部署DeepSeek蒸餾模型推理服務

    近日,摩爾線程智能科技(北京)有限責任公司在其官方渠道發(fā)布了一則重要消息,宣布公司已經成功實現(xiàn)了對DeepSeek蒸餾模型推理服務的部署。這一技術突破,標志著摩爾線程在人工智能領域邁出了堅實的一步
    的頭像 發(fā)表于 02-06 13:49 ?791次閱讀

    澎峰科技與完成聯(lián)合測試,實現(xiàn)全面兼容

    近日,澎峰科技與科技宣布,雙方已完成對PerfXLM推理引擎、PerfXCloud大模型服務平臺與
    的頭像 發(fā)表于 01-21 15:20 ?627次閱讀

    澎峰科技計算軟件棧與GPU完成適配和互認證

    ?近期,澎峰科技與完成了對PerfXLM(推理引擎)、PerfXCloud(大模型服務平臺)與
    的頭像 發(fā)表于 01-21 09:51 ?613次閱讀

    電子發(fā)燒友

    中國電子工程師最喜歡的網站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品