寒武紀(jì)思元370芯片參數(shù)特性詳解

寒武紀(jì)思元370芯片是基于7nm制程工藝，思元370是寒武紀(jì)首款采用chiplet（芯粒）技術(shù)的AI芯片，集成了390億個(gè)晶體管，最大算力高達(dá)256TOPS(INT8)，是寒武紀(jì)第二代產(chǎn)品思元270算力的2倍。憑借寒武紀(jì)最新智能芯片架構(gòu)MLUarch03，思元370實(shí)測(cè)性能表現(xiàn)更為優(yōu)秀。思元370也是國(guó)內(nèi)第一款公開發(fā)布支持LPDDR5內(nèi)存的云端AI芯片，內(nèi)存帶寬是上一代產(chǎn)品的3倍，訪存能效達(dá)GDDR6的1.5倍。搭載MLU-Link?多芯互聯(lián)技術(shù)，在分布式訓(xùn)練或推理任務(wù)中為多顆思元370芯片提供高效協(xié)同能力。全新升級(jí)的寒武紀(jì)基礎(chǔ)軟件平臺(tái)，新增推理加速引擎MagicMind，實(shí)現(xiàn)訓(xùn)推一體，大幅提升了開發(fā)部署的效率，降低用戶的學(xué)習(xí)成本、開發(fā)成本和運(yùn)營(yíng)成本。

核心優(yōu)勢(shì)

先進(jìn)chiplet技術(shù)

寒武紀(jì)首次采用chiplet技術(shù)將2顆AI計(jì)算芯粒封裝為一顆AI芯片，通過(guò)不同芯粒組合規(guī)格多樣化的產(chǎn)品，為用戶提供適用不同場(chǎng)景的高性價(jià)比AI芯片。

MLUarch03芯片架構(gòu)

新一代張量運(yùn)算單元，內(nèi)置Supercharger模塊大幅提升各類卷積效率；采用全新的多算子硬件融合技術(shù)，在軟件融合的基礎(chǔ)上大幅減少算子執(zhí)行時(shí)間。

MagicMind推理加速引擎

業(yè)內(nèi)首個(gè)基于MLIR圖編譯技術(shù)達(dá)到商業(yè)化部署能力的推理引擎。用戶僅需投入極少的開發(fā)成本，即可將推理業(yè)務(wù)部署到寒武紀(jì)全系產(chǎn)品上，并獲得頗具競(jìng)爭(zhēng)力的性能。

訓(xùn)推一體軟件開發(fā)平臺(tái)

寒武紀(jì)基礎(chǔ)軟件平臺(tái)整合了訓(xùn)練和推理的全部底層軟件棧，包括底層驅(qū)動(dòng)、運(yùn)行時(shí)庫(kù)、算子庫(kù)以及工具鏈等，將MagicMind和人工智能框架Tensorflow，Pytorch深度融合，實(shí)現(xiàn)訓(xùn)推一體。

低功耗高帶寬LPDDR5內(nèi)存

思元370芯片在業(yè)內(nèi)率先支持LPDDR5內(nèi)存，高帶寬且低功耗，內(nèi)存帶寬是上一代產(chǎn)品的3倍，訪存能效達(dá)GDDR6的1.5倍，可在板卡有限的功耗范圍內(nèi)給AI芯片分配更多的能源，輸出更強(qiáng)大的算力。

新一代編解碼單元

全新視頻圖像編解碼單元，可支持132路1080p視頻解碼，支持10路8K視頻解碼。視頻編碼時(shí)，在相同圖像質(zhì)量（全高清視頻PSNR）的情況下比上一代產(chǎn)品節(jié)省42%帶寬，有效降低帶寬成本。

MLU-Link多芯互聯(lián)技術(shù)

MLU-Link多芯互聯(lián)技術(shù)，搭載于寒武紀(jì)思元370芯片，為每顆芯片提供200GB/s的額外跨芯片直接通訊能力。在思元370應(yīng)對(duì)多卡多芯并行任務(wù)時(shí)，提供更高效的并行效率。

為AI浮點(diǎn)計(jì)算優(yōu)化

思元370芯片具備完整的張量浮點(diǎn)運(yùn)算單元，可支持AI加速中繁重的FP32、FP16或BF16計(jì)算任務(wù)，讓計(jì)算的選擇變得更簡(jiǎn)單。

思元370系列板卡與業(yè)內(nèi)主流GPU性能對(duì)比

*** 測(cè)試環(huán)境：MLU370-S4：NF5468M6/2x Intel Xeon Gold 6330 CPU @ 2.0GHz/MagicMind v0.6

MLU370-X4：NF5468M6/2x Intel Xeon Gold 6330 CPU @ 2.0GHz/MagicMind v0.6

GPU數(shù)據(jù)：ResNet-50來(lái)自于相關(guān)產(chǎn)品官網(wǎng)，Transformer、VGG16、YOLOv3均取自實(shí)測(cè)最大吞吐性能。