寒武紀思元370芯片參數(shù)特性詳解

寒武紀思元370芯片是基于7nm制程工藝，思元370是寒武紀首款采用chiplet（芯粒）技術(shù)的AI芯片，集成了390億個晶體管，最大算力高達256TOPS(INT8)，是寒武紀第二代產(chǎn)品思元270算力的2倍。憑借寒武紀最新智能芯片架構(gòu)MLUarch03，思元370實測性能表現(xiàn)更為優(yōu)秀。思元370也是國內(nèi)第一款公開發(fā)布支持LPDDR5內(nèi)存的云端AI芯片，內(nèi)存帶寬是上一代產(chǎn)品的3倍，訪存能效達GDDR6的1.5倍。搭載MLU-Link?多芯互聯(lián)技術(shù)，在分布式訓(xùn)練或推理任務(wù)中為多顆思元370芯片提供高效協(xié)同能力。全新升級的寒武紀基礎(chǔ)軟件平臺，新增推理加速引擎MagicMind，實現(xiàn)訓(xùn)推一體，大幅提升了開發(fā)部署的效率，降低用戶的學(xué)習(xí)成本、開發(fā)成本和運營成本。

核心優(yōu)勢

先進chiplet技術(shù)

寒武紀首次采用chiplet技術(shù)將2顆AI計算芯粒封裝為一顆AI芯片，通過不同芯粒組合規(guī)格多樣化的產(chǎn)品，為用戶提供適用不同場景的高性價比AI芯片。

MLUarch03芯片架構(gòu)

新一代張量運算單元，內(nèi)置Supercharger模塊大幅提升各類卷積效率；采用全新的多算子硬件融合技術(shù)，在軟件融合的基礎(chǔ)上大幅減少算子執(zhí)行時間。

MagicMind推理加速引擎

業(yè)內(nèi)首個基于MLIR圖編譯技術(shù)達到商業(yè)化部署能力的推理引擎。用戶僅需投入極少的開發(fā)成本，即可將推理業(yè)務(wù)部署到寒武紀全系產(chǎn)品上，并獲得頗具競爭力的性能。

訓(xùn)推一體軟件開發(fā)平臺

寒武紀基礎(chǔ)軟件平臺整合了訓(xùn)練和推理的全部底層軟件棧，包括底層驅(qū)動、運行時庫、算子庫以及工具鏈等，將MagicMind和人工智能框架Tensorflow，Pytorch深度融合，實現(xiàn)訓(xùn)推一體。

低功耗高帶寬LPDDR5內(nèi)存

思元370芯片在業(yè)內(nèi)率先支持LPDDR5內(nèi)存，高帶寬且低功耗，內(nèi)存帶寬是上一代產(chǎn)品的3倍，訪存能效達GDDR6的1.5倍，可在板卡有限的功耗范圍內(nèi)給AI芯片分配更多的能源，輸出更強大的算力。

新一代編解碼單元

全新視頻圖像編解碼單元，可支持132路1080p視頻解碼，支持10路8K視頻解碼。視頻編碼時，在相同圖像質(zhì)量（全高清視頻PSNR）的情況下比上一代產(chǎn)品節(jié)省42%帶寬，有效降低帶寬成本。

MLU-Link多芯互聯(lián)技術(shù)

MLU-Link多芯互聯(lián)技術(shù)，搭載于寒武紀思元370芯片，為每顆芯片提供200GB/s的額外跨芯片直接通訊能力。在思元370應(yīng)對多卡多芯并行任務(wù)時，提供更高效的并行效率。

為AI浮點計算優(yōu)化

思元370芯片具備完整的張量浮點運算單元，可支持AI加速中繁重的FP32、FP16或BF16計算任務(wù)，讓計算的選擇變得更簡單。

思元370系列板卡與業(yè)內(nèi)主流GPU性能對比

*** 測試環(huán)境：MLU370-S4：NF5468M6/2x Intel Xeon Gold 6330 CPU @ 2.0GHz/MagicMind v0.6

MLU370-X4：NF5468M6/2x Intel Xeon Gold 6330 CPU @ 2.0GHz/MagicMind v0.6

GPU數(shù)據(jù)：ResNet-50來自于相關(guān)產(chǎn)品官網(wǎng)，Transformer、VGG16、YOLOv3均取自實測最大吞吐性能。