0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

摩爾線程GPU原生FP8計(jì)算助力AI訓(xùn)練

摩爾線程 ? 來源:摩爾線程 ? 2025-03-17 17:05 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

近日,摩爾線程正式開源MT-MegatronLM與MT-TransformerEngine兩大AI框架。通過深度融合FP8混合訓(xùn)練策略和高性能算子庫,這兩大框架在國產(chǎn)全功能GPU上實(shí)現(xiàn)了高效的混合并行訓(xùn)練和推理,顯著提升了訓(xùn)練效率與穩(wěn)定性。摩爾線程是國內(nèi)率先原生支持FP8計(jì)算精度的國產(chǎn)GPU企業(yè),此次開源不僅為AI訓(xùn)練和推理提供了全新的國產(chǎn)化解決方案,更對推動國產(chǎn)GPU在AI大模型領(lǐng)域的應(yīng)用具有重要意義。

▼MT-MegatronLM開源地址:

https://github.com/MooreThreads/MT-MegatronLM

▼MT-TransformerEngine開源地址:

https://github.com/MooreThreads/MT-TransformerEngine

框架介紹

MT-MegatronLM是面向全功能GPU的開源混合并行訓(xùn)練框架,支持dense模型、多模態(tài)模型及MoE(混合專家)模型的高效訓(xùn)練。該框架利用全功能GPU支持FP8混合精度策略、高性能算子庫muDNN與集合通信庫MCCL,可以顯著提升國產(chǎn)全功能GPU集群的算力利用率。

MT-TransformerEngine主要用于Transformer模型的高效訓(xùn)練與推理優(yōu)化,通過算子融合、并行加速策略等技術(shù),充分釋放摩爾線程全功能GPU高密度計(jì)算的潛力和memory bound算子的效率。

技術(shù)突破與優(yōu)勢

兩大框架的技術(shù)突破集中體現(xiàn)在硬件適配與算法創(chuàng)新的深度協(xié)同:

▽混合并行訓(xùn)練:支持Dense、多模態(tài)及MoE模型的混合并行訓(xùn)練,可靈活應(yīng)對不同模型架構(gòu)的復(fù)雜運(yùn)算場景;

▽FP8混合訓(xùn)練策略:結(jié)合摩爾線程GPU原生支持的FP8混合精度訓(xùn)練策略,能夠有效提升訓(xùn)練效率;

▽高性能算子庫:通過高性能算子庫muDNN與通信庫MCCL的深度集成,系統(tǒng)性優(yōu)化了計(jì)算密集型任務(wù)與多卡協(xié)同的通信開銷;同時(shí)結(jié)合摩爾線程開源Simumax庫,可自動進(jìn)行并行策略搜索,并針對不同模型和加速環(huán)境spec最大化并行訓(xùn)練性能;

▽異常訓(xùn)練處理:框架內(nèi)置的rewind異?;謴?fù)機(jī)制,可自動回滾至最近穩(wěn)定節(jié)點(diǎn)繼續(xù)訓(xùn)練,大幅提升大規(guī)模訓(xùn)練的穩(wěn)定性;

▽完整的兼容性:兩個框架兼容GPU主流生態(tài),既保障了現(xiàn)有生態(tài)的平滑遷移,也為開發(fā)者構(gòu)建自有的AI技術(shù)棧提供了底層支撐。

▼摩爾線程Simumax開源地址:

https://github.com/MooreThreads/SimuMax

實(shí)際應(yīng)用效果

在實(shí)際應(yīng)用中,這兩個框架的充分結(jié)合已經(jīng)取得了顯著的成果。這些成果不僅驗(yàn)證了框架的技術(shù)成熟度,也為國產(chǎn)GPU生態(tài)的規(guī)?;瘧?yīng)用奠定了堅(jiān)實(shí)基礎(chǔ)。

▽高效訓(xùn)練:在全功能GPU集群上,Llama3 8B模型的訓(xùn)練任務(wù),可以利用FP8在loss幾乎無損的情況下MFU達(dá)到90%以上;(如下圖所示)

4a65906c-fff3-11ef-9310-92fbcf53809c.png

圖注:利用摩爾線程FP8混合精度加速技術(shù)在loss無損的情況下得到28%的加速

▽復(fù)現(xiàn)DeepSeek 滿血版訓(xùn)練:摩爾線程已深度集成并開源對DeepSeek并行算法DualPipe的高效支持,MT-DualPipe可以完整接入MT-Megatron框架和MT-TransformerEngine框架,成功實(shí)現(xiàn)DeepSeek V3訓(xùn)練流程的完整復(fù)現(xiàn),支持MLA、MTP及多種專家平衡策略;

▽性能大幅優(yōu)化:通過多種Transformer算子融合技術(shù),顯著提升了內(nèi)存帶寬利用率,有效緩解memory bound瓶頸,進(jìn)一步釋放國產(chǎn)GPU的硬件潛力。

持續(xù)優(yōu)化與生態(tài)共建

為加速國產(chǎn)GPU生態(tài)發(fā)展與建設(shè),摩爾線程將持續(xù)優(yōu)化MT-MegatronLM與MT-TransformerEngine框架,并引入一系列創(chuàng)新功能:

▽Dual Pipe/ZeroBubble并行策略:進(jìn)一步降低氣泡率,提升并行訓(xùn)練效率;

▽多種FP8優(yōu)化策略:獨(dú)創(chuàng)的FP8優(yōu)化策略,提高訓(xùn)練的性能和穩(wěn)定性;

▽異步checkpoint策略:提高訓(xùn)練過程中的容錯能力和效率;

▽優(yōu)化后的重計(jì)算策略:減少計(jì)算和顯存開銷,提高訓(xùn)練速度;

▽容錯訓(xùn)練策略:獨(dú)創(chuàng)的容錯訓(xùn)練算法,增強(qiáng)訓(xùn)練過程中的容錯能力;

▽集成摩爾線程FlashMLA和DeepGemm庫:進(jìn)一步釋放摩爾線程GPU的算力和FP8計(jì)算能力,提升計(jì)算性能和效率。

摩爾線程始終致力于推動開源生態(tài)的發(fā)展,通過技術(shù)開放與生態(tài)共建,加速國產(chǎn)全功能GPU在AI計(jì)算領(lǐng)域的規(guī)模化應(yīng)用,為更多用戶提供更智能、高效的解決方案。

▼ 關(guān)于摩爾線程

摩爾線程成立于2020年10月,以全功能GPU為核心,致力于向全球提供加速計(jì)算的基礎(chǔ)設(shè)施和一站式解決方案,為各行各業(yè)的數(shù)智化轉(zhuǎn)型提供強(qiáng)大的AI計(jì)算支持。

我們的目標(biāo)是成為具備國際競爭力的GPU領(lǐng)軍企業(yè),為融合人工智能和數(shù)字孿生的數(shù)智世界打造先進(jìn)的加速計(jì)算平臺。我們的愿景是為美好世界加速。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    4938

    瀏覽量

    131195
  • AI
    AI
    +關(guān)注

    關(guān)注

    88

    文章

    35065

    瀏覽量

    279349
  • 開源
    +關(guān)注

    關(guān)注

    3

    文章

    3676

    瀏覽量

    43804
  • 摩爾線程
    +關(guān)注

    關(guān)注

    2

    文章

    234

    瀏覽量

    5349

原文標(biāo)題:開源MT-MegatronLM和MT-TransformerEngine|摩爾線程GPU原生FP8計(jì)算助力AI訓(xùn)練

文章出處:【微信號:moorethreads,微信公眾號:摩爾線程】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    摩爾線程AI算力平臺AutoDL達(dá)成深度合作

    近日,摩爾線程與國內(nèi)領(lǐng)先的AI算力平臺AutoDL宣布達(dá)成深度合作,雙方聯(lián)合推出面向個人開發(fā)者的“摩爾線程專區(qū)”,首次將國產(chǎn)
    的頭像 發(fā)表于 05-23 16:10 ?766次閱讀

    摩爾線程發(fā)布Torch-MUSA v2.0.0版本 支持原生FP8和PyTorch 2.5.0

    , 支持原生FP8數(shù)據(jù)類型,支持PyTorch 2.5.0 ,并通過多項(xiàng)針對MUSA計(jì)算平臺的性能優(yōu)化,進(jìn)一步提升了對AI模型和大規(guī)模數(shù)據(jù)處理的支持能力。
    的頭像 發(fā)表于 05-11 16:41 ?677次閱讀

    摩爾線程GPU成功適配Deepseek-V3-0324大模型

    架構(gòu)和全功能GPU的強(qiáng)大技術(shù)實(shí)力,摩爾線程迅速響應(yīng)并完成了對DeepSeek-V3的無縫升級,實(shí)現(xiàn)了零報(bào)錯、零兼容性問題的光速部署,充分展現(xiàn)了摩爾
    的頭像 發(fā)表于 03-31 11:34 ?596次閱讀
    <b class='flag-5'>摩爾</b><b class='flag-5'>線程</b><b class='flag-5'>GPU</b>成功適配Deepseek-V3-0324大模型

    摩爾線程發(fā)布云電腦驅(qū)動MT vGPU 2.7.0

    3月18日,摩爾線程正式發(fā)布云電腦驅(qū)動MT vGPU 2.7.0。新版本在國內(nèi)首次實(shí)現(xiàn)了國產(chǎn)GPU云電腦對DirectX 12的支持,同時(shí)顯著提升圖形渲染性能與兼容性。通過全功能GPU
    的頭像 發(fā)表于 03-19 15:56 ?418次閱讀

    摩爾線程全面支持DeepSeek開源周成果

    DeepSeek開源周正式收官,作為國內(nèi)率先原生支持FP8計(jì)算精度的國產(chǎn)GPU企業(yè),摩爾線程迅速
    的頭像 發(fā)表于 03-04 10:06 ?510次閱讀

    摩爾線程完成DeepSeek開源庫FlashMLA和DeepGEMM適配

    自DeepSeek啟動“開源周”以來,已陸續(xù)開源三個代碼庫。摩爾線程基于全新MUSA Compute Capability 3.1計(jì)算架構(gòu),可提供原生
    的頭像 發(fā)表于 02-27 14:40 ?554次閱讀

    FP8在大模型訓(xùn)練中的應(yīng)用

    越來越多的技術(shù)團(tuán)隊(duì)開始使用 FP8 進(jìn)行大模型訓(xùn)練,這主要因?yàn)?FP8 有很多技術(shù)優(yōu)勢。比如在新一代的 GPU 上,FP8 相對于 BF16
    的頭像 發(fā)表于 01-23 09:39 ?1164次閱讀
    <b class='flag-5'>FP8</b>在大模型<b class='flag-5'>訓(xùn)練</b>中的應(yīng)用

    GPU是如何訓(xùn)練AI大模型的

    AI模型的訓(xùn)練過程中,大量的計(jì)算工作集中在矩陣乘法、向量加法和激活函數(shù)等運(yùn)算上。這些運(yùn)算正是GPU所擅長的。接下來,AI部落小編帶您了解
    的頭像 發(fā)表于 12-19 17:54 ?731次閱讀

    如何使用FP8新技術(shù)加速大模型訓(xùn)練

    /fp8_primer.html#Introduction-to-FP8 其中,使用 FP8 進(jìn)行大模型訓(xùn)練具有以下優(yōu)勢: 新一代 GPU 如?NVIDIA Ada Lovelace、
    的頭像 發(fā)表于 12-09 11:30 ?1058次閱讀

    FP8數(shù)據(jù)格式在大型模型訓(xùn)練中的應(yīng)用

    本文主要介紹了 FP8 數(shù)據(jù)格式在大型模型訓(xùn)練中的應(yīng)用、挑戰(zhàn)及最佳實(shí)踐,展示了 FP8 在提升訓(xùn)練速度和效率方面的潛力和實(shí)際效果。
    的頭像 發(fā)表于 11-19 14:54 ?1663次閱讀
    <b class='flag-5'>FP8</b>數(shù)據(jù)格式在大型模型<b class='flag-5'>訓(xùn)練</b>中的應(yīng)用

    摩爾線程成立摩爾學(xué)院,賦能GPU開發(fā)者

    近日,摩爾線程宣布正式成立摩爾學(xué)院,為GPU開發(fā)者生態(tài)建設(shè)揭開新篇章。摩爾學(xué)院作為一個專業(yè)的GPU
    的頭像 發(fā)表于 10-28 17:03 ?1027次閱讀

    摩爾線程GPU與超圖軟件大模型適配:共筑國產(chǎn)地理空間AI新生態(tài)

    10月24日,摩爾線程公司宣布與超圖軟件達(dá)成重要合作里程碑。經(jīng)過雙方的嚴(yán)格測試,摩爾線程的MTT S/X系列全功能GPU已成功與超圖軟件最新
    的頭像 發(fā)表于 10-24 11:29 ?1414次閱讀

    FP8模型訓(xùn)練中Debug優(yōu)化思路

    目前,市場上許多公司都積極開展基于 FP8 的大模型訓(xùn)練,以提高計(jì)算效率和性能。在此,我們整理并總結(jié)了客戶及 NVIDIA 技術(shù)團(tuán)隊(duì)在 FP8 模型
    的頭像 發(fā)表于 09-06 14:36 ?906次閱讀
    <b class='flag-5'>FP8</b>模型<b class='flag-5'>訓(xùn)練</b>中Debug優(yōu)化思路

    摩爾線程與羽人科技完成大語言模型訓(xùn)練測試

    近日,摩爾線程與羽人科技攜手宣布,雙方已成功實(shí)現(xiàn)夸娥(KUAE)千卡智算集群與羽人系列模型解決方案的訓(xùn)練兼容適配。在本次測試中,羽人科技通過摩爾線程
    的頭像 發(fā)表于 08-27 16:19 ?820次閱讀

    摩爾線程攜手東華軟件完成AI大模型推理測試與適配

    近日,摩爾線程與東華軟件云筑AI創(chuàng)新中心宣布,雙方已完成大模型推理測試與適配。依托摩爾線程的全功能GPU
    的頭像 發(fā)表于 07-31 10:51 ?1942次閱讀

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學(xué)習(xí)
    • 獲取您個性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品