0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

摩爾線程攜手憨猴集團(tuán),深化AI算力戰(zhàn)略合作,成功實(shí)現(xiàn)大模型分布式訓(xùn)練

微云疏影 ? 來源:綜合整理 ? 作者:綜合整理 ? 2024-05-17 17:24 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

摩爾線程與憨猴科技集團(tuán)日前宣布,采用搭載摩爾線程的夸娥(KUAE)千卡智算集群,已成功完成了多個大模型的分布式訓(xùn)練,涵蓋7B、34B以及70B三個不同的計(jì)算規(guī)模等級。經(jīng)過嚴(yán)格測試,證明該集群具有優(yōu)異的兼容性、高效的訓(xùn)練效率、精準(zhǔn)度達(dá)標(biāo)且穩(wěn)定性優(yōu)秀,展示出國產(chǎn)全功能GPU千卡千億大模型預(yù)訓(xùn)練平臺的優(yōu)越性。

此次測試是憨猴集團(tuán)首次運(yùn)用國產(chǎn)AI算力進(jìn)行大模型訓(xùn)練,為其服務(wù)的國有企業(yè)和運(yùn)營商等關(guān)鍵領(lǐng)域提供了更為穩(wěn)固的國產(chǎn)AI訓(xùn)練平臺,同時(shí)也為市場帶來了更具成本效益的國產(chǎn)算力解決方案。

為了深化合作,摩爾線程與憨猴集團(tuán)簽訂了戰(zhàn)略合作協(xié)議。雙方將專注于AI大模型和算力領(lǐng)域,通過夸娥千卡智算集群與憨猴集團(tuán)AI智算產(chǎn)品及數(shù)字化解決方案的深度結(jié)合,共同開拓國產(chǎn)AI算力的新應(yīng)用場景和落地實(shí)踐,助力數(shù)智化產(chǎn)業(yè)的全面升級。

憨猴集團(tuán)以智算服務(wù)為核心,運(yùn)用AI大語言模型、AI智能體、元宇宙建模等新技術(shù),為數(shù)字產(chǎn)業(yè)集群提供賦能服務(wù)。借助夸娥智算集群的強(qiáng)大性能和靈活性,憨猴集團(tuán)將深化垂類業(yè)務(wù)的大模型訓(xùn)練,有效降低客戶遷移門檻和長期運(yùn)維成本,提供更具競爭力的數(shù)字化轉(zhuǎn)型方案。

展望未來,摩爾線程與憨猴集團(tuán)將攜手共進(jìn),推出更高效、滿足國內(nèi)市場需求的算力產(chǎn)品和解決方案,探索行業(yè)大模型技術(shù)在實(shí)際場景中的創(chuàng)新應(yīng)用,加速推進(jìn)產(chǎn)業(yè)智能化升級,共同打造堅(jiān)實(shí)可靠的數(shù)字時(shí)代算力基石,為我國數(shù)字經(jīng)濟(jì)發(fā)展提供全方位支持。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 語言模型
    +關(guān)注

    關(guān)注

    0

    文章

    561

    瀏覽量

    10785
  • 摩爾線程
    +關(guān)注

    關(guān)注

    2

    文章

    234

    瀏覽量

    5349
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    3134

    瀏覽量

    4054
收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    力網(wǎng)絡(luò)的“神經(jīng)突觸”:AI互聯(lián)技術(shù)如何重構(gòu)分布式訓(xùn)練范式

    ? 電子發(fā)燒友網(wǎng)綜合報(bào)道 隨著AI技術(shù)迅猛發(fā)展,尤其是大型語言模型的興起,對于力的需求呈現(xiàn)出爆炸性增長。這不僅推動了智中心的建設(shè),還對網(wǎng)絡(luò)互聯(lián)技術(shù)提出了新的挑戰(zhàn)。 ? 在
    的頭像 發(fā)表于 06-08 08:11 ?6403次閱讀
    <b class='flag-5'>算</b>力網(wǎng)絡(luò)的“神經(jīng)突觸”:<b class='flag-5'>AI</b>互聯(lián)技術(shù)如何重構(gòu)<b class='flag-5'>分布式</b><b class='flag-5'>訓(xùn)練</b>范式

    摩爾線程AI力平臺AutoDL達(dá)成深度合作

    近日,摩爾線程與國內(nèi)領(lǐng)先的AI力平臺AutoDL宣布達(dá)成深度合作,雙方聯(lián)合推出面向個人開發(fā)者的“摩爾
    的頭像 發(fā)表于 05-23 16:10 ?766次閱讀

    AI原生架構(gòu)升級:RAKsmart服務(wù)器在超大規(guī)模模型訓(xùn)練中的力突破

    近年來,隨著千億級參數(shù)模型的崛起,AI訓(xùn)練力的需求呈現(xiàn)指數(shù)級增長。傳統(tǒng)服務(wù)器架構(gòu)在應(yīng)對分布式訓(xùn)練
    的頭像 發(fā)表于 04-24 09:27 ?286次閱讀

    摩爾線程與當(dāng)虹科技達(dá)成深度合作

    近日,摩爾線程與當(dāng)虹科技達(dá)成深度合作,基于國產(chǎn)GPU成功完成了與BlackEye多模態(tài)視聽大模型的深度融合。雙方聯(lián)手打造專業(yè)級視聽“引擎”,
    的頭像 發(fā)表于 03-20 15:22 ?592次閱讀

    摩爾線程GPU原生FP8計(jì)算助力AI訓(xùn)練

    近日,摩爾線程正式開源MT-MegatronLM與MT-TransformerEngine兩大AI框架。通過深度融合FP8混合訓(xùn)練策略和高性能算子庫,這兩大框架在國產(chǎn)全功能GPU上
    的頭像 發(fā)表于 03-17 17:05 ?596次閱讀
    <b class='flag-5'>摩爾</b><b class='flag-5'>線程</b>GPU原生FP8計(jì)算助力<b class='flag-5'>AI</b><b class='flag-5'>訓(xùn)練</b>

    訓(xùn)練好的ai模型導(dǎo)入cubemx不成功怎么處理?

    訓(xùn)練好的ai模型導(dǎo)入cubemx不成功咋辦,試了好幾個模型壓縮了也不行,ram占用過大,有無解決方案?
    發(fā)表于 03-11 07:18

    摩爾線程宣布成功部署DeepSeek蒸餾模型推理服務(wù)

    近日,摩爾線程智能科技(北京)有限責(zé)任公司在其官方渠道發(fā)布了一則重要消息,宣布公司已經(jīng)成功實(shí)現(xiàn)了對DeepSeek蒸餾模型推理服務(wù)的部署。這
    的頭像 發(fā)表于 02-06 13:49 ?800次閱讀

    上汽集團(tuán)與寧德時(shí)代深化戰(zhàn)略合作

    近日,上汽集團(tuán)和寧德時(shí)代正式簽署深化戰(zhàn)略合作協(xié)議,雙方將進(jìn)一步推動在技術(shù)共創(chuàng)、整車及電池后市場、海外業(yè)務(wù)拓展、車電分離等多個領(lǐng)域的共贏合作,
    的頭像 發(fā)表于 01-14 09:38 ?722次閱讀

    分布式通信的原理和實(shí)現(xiàn)高效分布式通信背后的技術(shù)NVLink的演進(jìn)

    的大小已經(jīng)超出了單個 GPU 的范圍。所以就需要實(shí)現(xiàn)跨多個 GPU 的模型訓(xùn)練,這種訓(xùn)練方式就涉及到了分布式通信和 NVLink。 當(dāng)談及
    的頭像 發(fā)表于 11-18 09:39 ?1281次閱讀
    <b class='flag-5'>分布式</b>通信的原理和<b class='flag-5'>實(shí)現(xiàn)</b>高效<b class='flag-5'>分布式</b>通信背后的技術(shù)NVLink的演進(jìn)

    摩爾線程與羽人科技完成大語言模型訓(xùn)練測試

    近日,摩爾線程與羽人科技攜手宣布,雙方已成功實(shí)現(xiàn)夸娥(KUAE)千卡智集群與羽人系列
    的頭像 發(fā)表于 08-27 16:19 ?820次閱讀

    摩爾線程夸娥智中心解決方案重磅升級

    摩爾線程重磅宣布其AI旗艦產(chǎn)品夸娥(KUAE)智集群解決方案實(shí)現(xiàn)重大升級,從當(dāng)前的千卡級別大幅擴(kuò)展至萬卡規(guī)模。
    的頭像 發(fā)表于 08-27 16:09 ?1101次閱讀

    摩爾線程與360集團(tuán)攜手共建AI生態(tài),共推智腦大模型發(fā)展

    在近日召開的第十二屆互聯(lián)網(wǎng)安全大會(ISC.AI 2024)上,兩大科技巨頭——摩爾線程與360集團(tuán)宣布達(dá)成重大戰(zhàn)略
    的頭像 發(fā)表于 08-02 16:36 ?1282次閱讀

    摩爾線程與360集團(tuán)攜手共創(chuàng)AI新篇章,戰(zhàn)略合作共筑數(shù)字安全生態(tài)

    8月2日最新資訊,摩爾線程官方公眾號今日宣布,在備受矚目的第十二屆互聯(lián)網(wǎng)安全大會現(xiàn)場,公司與互聯(lián)網(wǎng)安全領(lǐng)域的領(lǐng)軍者360集團(tuán)正式締結(jié)戰(zhàn)略合作
    的頭像 發(fā)表于 08-02 15:35 ?1074次閱讀

    摩爾線程與360集團(tuán)達(dá)成戰(zhàn)略合作伙伴關(guān)系

    近日,在第十二屆互聯(lián)網(wǎng)安全大會(簡稱:ISC.AI 2024)期間,摩爾線程與360集團(tuán)宣布達(dá)成戰(zhàn)略合作
    的頭像 發(fā)表于 08-02 10:54 ?1476次閱讀

    摩爾線程攜手東華軟件完成AI模型推理測試與適配

    近日,摩爾線程與東華軟件云筑AI創(chuàng)新中心宣布,雙方已完成大模型推理測試與適配。依托摩爾線程的全功
    的頭像 發(fā)表于 07-31 10:51 ?1942次閱讀

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學(xué)習(xí)
    • 獲取您個性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品