寒武紀思元370芯片是基于7nm制程工藝，思元370是寒武紀首款采用chiplet（芯粒）技術(shù)的AI芯片，集成了390億個晶體管，最大算力高達256TOPS(INT8)，是寒武紀第二代產(chǎn)品思元270算力的2倍。憑借寒武紀最新智能芯片架構(gòu)MLUarch03，思元370實測性能表現(xiàn)更為優(yōu)秀。思元370也是國內(nèi)第一款公開發(fā)布支持LPDDR5內(nèi)存的云端AI芯片，內(nèi)存帶寬是上一代產(chǎn)品的3倍，訪存能效達GDDR6的1.5倍。搭載MLU-Link?多芯互聯(lián)技術(shù)，在分布式訓練或推理任務(wù)中為多顆思元370芯片提供高效協(xié)同能力。全新升級的寒武紀基礎(chǔ)軟件平臺，新增推理加速引擎MagicMind，實現(xiàn)訓推一體，大幅提升了開發(fā)部署的效率，降低用戶的學習成本、開發(fā)成本和運營成本。

寒武紀思元370芯片參數(shù)特性詳解

http://www.wenjunhu.com/d/6566167.html

寒武紀? AIDC? MLU370?-X8智能加速卡訓推一體人工智能加速卡

寒武紀?? AIDC?? MLU370 ?? -X8采用雙芯思元370配置，為雙槽位250w全尺寸智能加速卡，提供24TFLPOS(FP32)訓練算力和256TOPS (INT8)推理算力，同時提供豐富的FP16、BF16等多種訓練精度?；陔p芯思元370打造的MLU370-X8整合了兩倍于標準思元370加速卡的內(nèi)存、編解碼資源，同時MLU370-X8搭載MLU-Link多芯互聯(lián)技術(shù)，每張加速卡可獲得200GB/s的通訊吞吐性能，是PCIe 4.0帶寬的3.1倍，支持單機八卡部署，可高效執(zhí)行多芯多卡訓練和分布式推理任務(wù)。

MLU370-X8智能加速卡是全面升級的數(shù)據(jù)中心訓推一體AI加速卡，基于寒武紀全新一代思元370芯片，接口為PCIe 4.0 X16，是全高全長雙寬（FHFL-Dual-Slot）的標準PCIe加速卡，適用于業(yè)內(nèi)最新的CPU平臺，可輕松搭載于最先進的人工智能服務(wù)器，快速實現(xiàn) AI算力的部署。MLU370-X8加速卡功耗為250W，可為計算機視覺、自然語言處理、語音等多樣化的人工智能應(yīng)用提供強大算力支持。

MLU370-X8 智能加速卡產(chǎn)品手冊免費下載

*附件：MLU370-X8 智能加速卡產(chǎn)品手冊免費下載.doc

產(chǎn)品規(guī)格

在寒武紀基礎(chǔ)軟件平臺 SDK上實測，在常見的4個人工智能模型上，MLU370-X8單卡性能與主流350W RTX GPU相當；而在多卡加速方面，MLU370-X8借助MLU-Link多芯互聯(lián)技術(shù)和寒武紀基礎(chǔ)軟件平臺 CNCL通訊庫的優(yōu)化，在8卡環(huán)境下達到更優(yōu)的并行加速比。

性能對比

*** 測試環(huán)境

250W MLU370-X8：NF5468M5/Intel Xeon Gold 5218 CPU @ 2.30GHz/MLU370 SDK 1.2.0

350W GPU： Supermicro AS -4124GS-TNR/Intel Xeon Gold 6130 CPU @ 2.10GHz/Cuda11.2