“芯合”異構混合并行訓練系統(tǒng)1.0發(fā)布
近日，中國移動研究院副院長段曉東攜手天數(shù)智芯、壁仞科技、中興、海光、瀚博等一眾產業(yè)合作伙伴，共同推出了“芯合”異構混合并行訓練系統(tǒng)1.0版本。
該系統(tǒng)具備兩大核心能力，首先是基于非均勻計算任務切分ITD(Inhomogeneous Task Distribution)算法的3D并行策略。該策略利用通用混合訓練框架，實現(xiàn)了異構數(shù)據并行和異構流水線并行，能夠靈活應對各種復雜的計算任務。通過這一技術，系統(tǒng)能夠根據異構算力的特點，自適應地調整數(shù)據微批次大小、數(shù)量以及流水線并行度等參數(shù)，從而充分發(fā)揮不同計算單元的性能優(yōu)勢。
其次，“芯合”系統(tǒng)還采用了基于GDR(GPU Direct RDMA)的異構芯片高速通信技術。這一技術為異構芯片之間的數(shù)據傳輸提供了高速通道，極大地提升了數(shù)據傳輸效率，從而進一步提升了系統(tǒng)的整體性能。
“芯合”異構混合并行訓練系統(tǒng)1.0的發(fā)布，標志著中國移動及其合作伙伴在異構計算領域取得了重要突破，為未來的高性能計算和人工智能應用提供了更加高效和靈活的訓練平臺。
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
通信技術
+關注
關注
20文章
1130瀏覽量
92254 -
數(shù)據
+關注
關注
8文章
7026瀏覽量
89025 -
中國移動
+關注
關注
22文章
5549瀏覽量
71152 -
人工智能
+關注
關注
1791文章
47274瀏覽量
238467
發(fā)布評論請先 登錄
相關推薦
壁仞科技聯(lián)合中國電信等合作伙伴共同發(fā)布智算異構四芯混訓解決方案
工智能實驗室等發(fā)布了“智算異構四芯混訓解決方案”，打造算力、網絡、平臺、通信庫、框架全棧異構方案，實現(xiàn)異構算力的互聯(lián)互通、互調互算，基于壁仞
壁仞科技、中國移動等發(fā)布“芯合”異構混合并行訓練系統(tǒng)1.0
近日，備受矚目的“2024中國信息通信大會暨中國通信學會學術年會”在四川成都順利舉行。此屆大會以“科技領航創(chuàng)新，產業(yè)共筑未來”為主題，聚集了來自“政產學研用”各方代表，集中展示算力及網絡通信領域的最新研究成果。
混合鍵合，成為“芯”寵
要求，傳統(tǒng)互聯(lián)技術如引線鍵合、倒裝芯片鍵合和硅通孔（TSV）鍵合等，正逐步顯露其局限。在這種背景下，混合鍵合技術以其革命性的互聯(lián)潛力，正成為
打造異構計算新標桿！國數(shù)集聯(lián)發(fā)布首款CXL混合資源池參考設計
、FPGA等多類異構資源的系統(tǒng)性融合，為特定應用提供高效、靈活的加速平臺。 國數(shù)集聯(lián)CXL混合資源池（CHRP） CHRP內部提供8個
此芯科技發(fā)布“此芯P1”異構高能效芯片，引領AI PC新紀元
近日，此芯科技集團有限公司（簡稱“此芯科技”）在上海隆重舉辦了AI PC戰(zhàn)略發(fā)布會，正式揭曉了其首款創(chuàng)新力作——“此芯P1”異構高能效芯片。
6nm異構多核！國內首款Arm架構AI PC處理器此芯P1發(fā)布
計算平臺因此得到了廣泛的關注?，F(xiàn)在，國內公司也完成了Arm架構AI PC處理器“破冰”，開始揚帆啟航。 ? 7月30日，在以“從此芯出發(fā)”為主題的此芯科技AI PC戰(zhàn)略暨首款芯片發(fā)布會上，此芯
HPMicro Arduino支持包v0.1.0發(fā)布，適配功能揭曉！
HPMicro Arduino支持包v0.1.0發(fā)布，適配功能揭曉！
WINDOWS系統(tǒng)有幾個版本
Windows系統(tǒng)自1985年發(fā)布以來，已經推出了多個版本。根據不同的分類方式，Windows系統(tǒng)的版本可以分為以下幾類：
按照時間順序。包括Windows 1.0、Windows 2
發(fā)表于 02-29 16:40
QE for Motor V1.3.0發(fā)布說明
電子發(fā)燒友網站提供《QE for Motor V1.3.0發(fā)布說明.pdf》資料免費下載
發(fā)表于 02-19 09:35
?0次下載
RZ/V2L DRP-AI支持包版本.7.41發(fā)布說明
電子發(fā)燒友網站提供《RZ/V2L DRP-AI支持包版本.7.41發(fā)布說明.pdf》資料免費下載
發(fā)表于 02-01 10:07
?0次下載
RZ/V多操作系統(tǒng)包V1.12發(fā)布說明
電子發(fā)燒友網站提供《RZ/V多操作系統(tǒng)包V1.12發(fā)布說明.pdf》資料免費下載
發(fā)表于 02-01 09:47
?0次下載
e2 studio 2024-01發(fā)布說明
電子發(fā)燒友網站提供《e2 studio 2024-01發(fā)布說明.pdf》資料免費下載
發(fā)表于 01-30 09:47
?1次下載
CS+適用于CC V8.11.00發(fā)布說明
電子發(fā)燒友網站提供《CS+適用于CC V8.11.00發(fā)布說明.pdf》資料免費下載
發(fā)表于 01-29 11:46
?0次下載
工商網監(jiān)
評論