摩爾線(xiàn)程開(kāi)源高性能線(xiàn)性代數(shù)模板庫(kù)MUTLASS

近日，摩爾線(xiàn)程宣布開(kāi)源高性能線(xiàn)性代數(shù)模板庫(kù)MUTLASS，以便開(kāi)發(fā)者能夠更高效針對(duì)摩爾線(xiàn)程全功能GPU的MUSA Core及Tensor Core等單元進(jìn)行編程，加速基于國(guó)產(chǎn)GPU的算子開(kāi)發(fā)以及算法創(chuàng)新。

在數(shù)值計(jì)算和深度學(xué)習(xí)領(lǐng)域，矩陣乘法（GEMM）及其變種(如FlashAttention、Convolution）是構(gòu)建復(fù)雜上層應(yīng)用的基石。然而，為了追求更高的算子融合效率或者更創(chuàng)新的算法，開(kāi)發(fā)者們往往需要超越標(biāo)準(zhǔn)化計(jì)算接口的限制，如標(biāo)準(zhǔn)BLAS接口以及芯片廠商的計(jì)算庫(kù)接口，以實(shí)現(xiàn)高性能的定制化算子。

MUTLASS（MUSA Templates for Linear Algebra Subroutines）正是為滿(mǎn)足這一需求而設(shè)計(jì)。作為摩爾線(xiàn)程專(zhuān)為MUSA架構(gòu)優(yōu)化的高性能計(jì)算庫(kù)，MUTLASS是基于開(kāi)源模板庫(kù)CUTLASS進(jìn)行的MUSA適配和定制化開(kāi)發(fā)、優(yōu)化，針對(duì)矩陣乘法及相關(guān)變種，MUTLASS提供了一系列高性能的C++模板組件，并采用了與muDNN庫(kù)類(lèi)似的分層分解及數(shù)據(jù)搬運(yùn)策略，以確保性能的充分發(fā)揮。

在本次開(kāi)源的版本中，摩爾線(xiàn)程適配了CuTe后端庫(kù)，為其增加了第三代MUSA架構(gòu)的MMA計(jì)算原語(yǔ)，支持TF32/FP16/BF16/INT8等多種數(shù)據(jù)精度，并以此為基礎(chǔ)，初步實(shí)現(xiàn)了矩陣乘法、默認(rèn)實(shí)例庫(kù)、性能測(cè)試器及相關(guān)工具包的支持。

借助MUTLASS，開(kāi)發(fā)者們既可以靈活復(fù)用不同層級(jí)的模板組件，也可以按需修改各種模板組件的實(shí)現(xiàn)細(xì)節(jié)，以較低的開(kāi)發(fā)成本實(shí)現(xiàn)定制化的高性能算子，從而在摩爾線(xiàn)程全功能GPU上充分釋放性能，并嘗試更多的算法創(chuàng)新。

摩爾線(xiàn)程將持續(xù)優(yōu)化MUTLASS的性能，并不斷引入新的功能。我們誠(chéng)邀廣大開(kāi)發(fā)者體驗(yàn)MUTLASS，并提供寶貴的反饋意見(jiàn)，共同促進(jìn)MUTLASS在性能和功能上的持續(xù)完善，攜手推動(dòng)基于國(guó)產(chǎn)GPU的生態(tài)建設(shè)。

關(guān)于摩爾線(xiàn)程

摩爾線(xiàn)程成立于2020年10月，以全功能GPU為核心，致力于向全球提供加速計(jì)算的基礎(chǔ)設(shè)施和一站式解決方案，為各行各業(yè)的數(shù)智化轉(zhuǎn)型提供強(qiáng)大的AI計(jì)算支持。

我們的目標(biāo)是成為具備國(guó)際競(jìng)爭(zhēng)力的GPU領(lǐng)軍企業(yè)，為融合人工智能和數(shù)字孿生的數(shù)智世界打造先進(jìn)的加速計(jì)算平臺(tái)。我們的愿景是為美好世界加速。