摩爾線程、無問芯穹合作完成國產(chǎn)全功能GPU千卡集群

近日，摩爾線程與無問芯穹共同披露，他們成功地完成了由國產(chǎn)全功能GPU——摩爾線程MTT S4000所構(gòu)成的千卡集群驅(qū)動(dòng)的大規(guī)模AI模型“MT-infini-3B”的訓(xùn)練工作，并使用無問芯穹的AI Studio PaaS平臺(tái)進(jìn)行構(gòu)建。

據(jù)介紹，此項(xiàng)訓(xùn)練歷時(shí)13.2天，過程穩(wěn)定而有序，集群整體運(yùn)行穩(wěn)定性達(dá)到了100%。相較于單機(jī)訓(xùn)練，千卡集群的擴(kuò)展效率提升了超過90%。

此次實(shí)訓(xùn)被譽(yù)為“充分證明了夸娥千卡智算集群在大模型訓(xùn)練中的可靠性，同時(shí)開創(chuàng)了國產(chǎn)大語言模型與國產(chǎn)GPU千卡智算集群深度合作的新模式”。

值得注意的是，經(jīng)過此次實(shí)訓(xùn)，MT-infini-3B模型的性能在同類模型中名列前茅。在C-Eval、MMLU、CMMLU三個(gè)測試集中，其表現(xiàn)均優(yōu)于其他在國際主流硬件上訓(xùn)練的模型。

無問芯穹的聯(lián)合創(chuàng)始人兼CEO夏立雪表示，公司正致力于開發(fā)“M種模型”和“N種芯片”間的“MxN”中間層產(chǎn)品，以實(shí)現(xiàn)多種大模型算法在多元化芯片上的高效、統(tǒng)一部署。

他還透露，無問芯穹已與摩爾線程建立了深度戰(zhàn)略合作關(guān)系，而本次“MT-infini-3B”的訓(xùn)練成果則是業(yè)內(nèi)首例基于國產(chǎn)GPU芯片的從零開始到全面大模型實(shí)訓(xùn)的成功案例。