寒武紀(jì)思元370芯片是基于7nm制程工藝，思元370是寒武紀(jì)首款采用chiplet（芯粒）技術(shù)的AI芯片，集成了390億個(gè)晶體管，最大算力高達(dá)256TOPS(INT8)，是寒武紀(jì)第二代產(chǎn)品思元270算力的2倍。憑借寒武紀(jì)最新智能芯片架構(gòu)MLUarch03，思元370實(shí)測(cè)性能表現(xiàn)更為優(yōu)秀。思元370也是國(guó)內(nèi)第一款公開(kāi)發(fā)布支持LPDDR5內(nèi)存的云端AI芯片，內(nèi)存帶寬是上一代產(chǎn)品的3倍，訪存能效達(dá)GDDR6的1.5倍。搭載MLU-Link?多芯互聯(lián)技術(shù)，在分布式訓(xùn)練或推理任務(wù)中為多顆思元370芯片提供高效協(xié)同能力。全新升級(jí)的寒武紀(jì)基礎(chǔ)軟件平臺(tái)，新增推理加速引擎MagicMind，實(shí)現(xiàn)訓(xùn)推一體，大幅提升了開(kāi)發(fā)部署的效率，降低用戶的學(xué)習(xí)成本、開(kāi)發(fā)成本和運(yùn)營(yíng)成本。

寒武紀(jì)思元370芯片參數(shù)特性詳解

http://www.wenjunhu.com/d/6566167.html

寒武紀(jì)? AIDC? MLU370?-X8智能加速卡訓(xùn)推一體人工智能加速卡

寒武紀(jì)?? AIDC?? MLU370 ?? -X8采用雙芯思元370配置，為雙槽位250w全尺寸智能加速卡，提供24TFLPOS(FP32)訓(xùn)練算力和256TOPS (INT8)推理算力，同時(shí)提供豐富的FP16、BF16等多種訓(xùn)練精度?；陔p芯思元370打造的MLU370-X8整合了兩倍于標(biāo)準(zhǔn)思元370加速卡的內(nèi)存、編解碼資源，同時(shí)MLU370-X8搭載MLU-Link多芯互聯(lián)技術(shù)，每張加速卡可獲得200GB/s的通訊吞吐性能，是PCIe 4.0帶寬的3.1倍，支持單機(jī)八卡部署，可高效執(zhí)行多芯多卡訓(xùn)練和分布式推理任務(wù)。

MLU370-X8智能加速卡是全面升級(jí)的數(shù)據(jù)中心訓(xùn)推一體AI加速卡，基于寒武紀(jì)全新一代思元370芯片，接口為PCIe 4.0 X16，是全高全長(zhǎng)雙寬（FHFL-Dual-Slot）的標(biāo)準(zhǔn)PCIe加速卡，適用于業(yè)內(nèi)最新的CPU平臺(tái)，可輕松搭載于最先進(jìn)的人工智能服務(wù)器，快速實(shí)現(xiàn) AI算力的部署。MLU370-X8加速卡功耗為250W，可為計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、語(yǔ)音等多樣化的人工智能應(yīng)用提供強(qiáng)大算力支持。

MLU370-X8 智能加速卡產(chǎn)品手冊(cè)免費(fèi)下載

*附件：MLU370-X8 智能加速卡產(chǎn)品手冊(cè)免費(fèi)下載.doc

產(chǎn)品規(guī)格

在寒武紀(jì)基礎(chǔ)軟件平臺(tái) SDK上實(shí)測(cè)，在常見(jiàn)的4個(gè)人工智能模型上，MLU370-X8單卡性能與主流350W RTX GPU相當(dāng)；而在多卡加速方面，MLU370-X8借助MLU-Link多芯互聯(lián)技術(shù)和寒武紀(jì)基礎(chǔ)軟件平臺(tái) CNCL通訊庫(kù)的優(yōu)化，在8卡環(huán)境下達(dá)到更優(yōu)的并行加速比。

性能對(duì)比

*** 測(cè)試環(huán)境

250W MLU370-X8：NF5468M5/Intel Xeon Gold 5218 CPU @ 2.30GHz/MLU370 SDK 1.2.0

350W GPU： Supermicro AS -4124GS-TNR/Intel Xeon Gold 6130 CPU @ 2.10GHz/Cuda11.2