AI訓(xùn)練不可或缺的存儲(chǔ)，HBM3 DRAM再升級(jí)

電子發(fā)燒友網(wǎng)報(bào)道（文/黃晶晶） SK海力士近日發(fā)布全球首次實(shí)現(xiàn)垂直堆疊12個(gè)單品DRAM芯片，成功開(kāi)發(fā)出最高容量24GB的HBM3 DRAM新產(chǎn)品。

圖源：SK海力士

目前已向數(shù)多全球客戶公司提供了24GB HBM3 DRAM樣品正在進(jìn)行性能驗(yàn)證，預(yù)計(jì)從今年下半年起將其推向市場(chǎng)。而現(xiàn)有HBM3 DRAM的最大容量是垂直堆疊8個(gè)單品DRAM芯片的16GB。無(wú)論是堆疊數(shù)量還是容量上，此次發(fā)布的新品都有顯著提升。

HBM（高帶寬存儲(chǔ)器）是高價(jià)值、高性能存儲(chǔ)器，垂直互連多個(gè)DRAM芯片。目前SK海力士在HBM市場(chǎng)處于領(lǐng)先地位，約有60%-70%的份額。

圖源：SK海力士

SK海力士于2013年首次開(kāi)發(fā)HBM DRAM（第一代）產(chǎn)品，隨后以HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）的順序開(kāi)發(fā)。早在去年6月，SK海力士宣布其HBM3將與NVIDIA H100Tensor CoreGPU結(jié)合用于加速計(jì)算，SK hynix于2022年第三季度開(kāi)始發(fā)貨。今年年初隨著ChatGPT的火爆，HBM訂單激增。那么SK海力士有哪些技術(shù)來(lái)提升HBM的性能呢，以下結(jié)合SK海力士多位技術(shù)專家的分享進(jìn)行一些解讀。

訓(xùn)練計(jì)算需匹配高性能存儲(chǔ)

訓(xùn)練GPT-3、Megatron-Turing NLG 530B等超大語(yǔ)言模型所要求的算力提升速度呈數(shù)倍到數(shù)百倍的增長(zhǎng)。尤其是ChatGPT的訓(xùn)練，ChatGPT人工智能語(yǔ)言模型的背后就是Transformer架構(gòu)。這個(gè)架構(gòu)突破了傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（LSTM）的局限性，能夠在大規(guī)模數(shù)據(jù)集上進(jìn)行高效訓(xùn)練。為了實(shí)現(xiàn)高效訓(xùn)練計(jì)算，就需要有與之匹配的高性能存儲(chǔ)。

圖源：SK海力士

SK海力士于2021年10月推出全球首款HBM3，并在2022年6月實(shí)現(xiàn)量產(chǎn)。據(jù)介紹，該款HBM3每個(gè)引腳傳輸速率達(dá)6.4Gbps，1024位寬接口，最高帶寬可達(dá)819GB/s，較HBM2E（460GB/s）高約78%。16Gb內(nèi)核密度、尖端的TSV垂直堆疊技術(shù)，滿足了系統(tǒng)對(duì)更高密度的要求，該技術(shù)可實(shí)現(xiàn)12層堆疊內(nèi)存立方體，從而實(shí)現(xiàn)最大24GB封裝密度。HBM3配備On-die ECC（糾錯(cuò)碼）可靠性功能，可自我檢測(cè)和糾正數(shù)據(jù)錯(cuò)誤，從而在SoC和DRAM之間實(shí)時(shí)傳輸海量數(shù)據(jù)。

圖源：SK海力士

先進(jìn)的封裝技術(shù)

此次新產(chǎn)品采用了先進(jìn)（Advanced）MR-MUF和TSV技術(shù)。SK海力士表示，通過(guò)先進(jìn)MR-MUF技術(shù)加強(qiáng)了工藝效率和產(chǎn)品性能的穩(wěn)定性，又利用TSV技術(shù)將12個(gè)比現(xiàn)有芯片薄40%的單品DRAM芯片垂直堆疊，實(shí)現(xiàn)了與16GB產(chǎn)品相同的高度。這兩項(xiàng)技術(shù)也是SK海力士先進(jìn)封裝技術(shù)的重要組成。

首先來(lái)看先進(jìn)MR-MUF技術(shù)。根據(jù)SK海力士的官方資料，MR-MUF（Mass Reflow Molded Underfill, 批量回流模制底部填充）將半導(dǎo)體芯片貼附在電路上，并在堆疊芯片時(shí)使用“EMC (Epoxy Molding Compound, 液態(tài)環(huán)氧樹(shù)脂模塑料”填充芯片之間或芯片與凸塊之間間隙的工藝。這種新的工藝主要是比之前的NCF技術(shù)工藝有了很大提升。此前的NCF技術(shù)是在芯片之間使用薄膜進(jìn)行堆疊。與NCF相比，MR-MUF導(dǎo)熱率高出兩倍左右，工藝速度和良率都有提升。

另一個(gè)是TSV（Through Silicon Via， 硅通孔技術(shù)）。TSV技術(shù)是在DRAM芯片打上數(shù)千個(gè)細(xì)微的孔，并通過(guò)垂直貫通的電極連接上下芯片的先進(jìn)封裝技術(shù)。這種技術(shù)已經(jīng)成為一種提升DRAM性能和密度的重要手段，可以應(yīng)用于3D-TSV DRAM和HBM。

HBM主要用于彌補(bǔ)SoC高帶寬需求與主存儲(chǔ)器最大帶寬供應(yīng)能力之間的帶寬缺口。SK海力士專家表示，特別是在AI應(yīng)用中，每個(gè)SoC的帶寬需求可能都會(huì)超過(guò)幾TB/s，這是常規(guī)主存儲(chǔ)器無(wú)法滿足的。例如具有3200Mbps DDR4 DIMM的單個(gè)主存儲(chǔ)器通道只能提供25.6GB/s的帶寬。即使是具有8個(gè)存儲(chǔ)器通道的CPU平臺(tái)，其速度也只能達(dá)到204.8GB/s。而圍繞單個(gè)SoC的4個(gè)HBM2堆疊可提供大于1TB/s的帶寬。根據(jù)不同的應(yīng)用程序，HBM既可以單獨(dú)用作緩存，也可以用作兩層存儲(chǔ)中的第一層。

實(shí)際上除了GPU搭載了HBM之外，CPU也實(shí)現(xiàn)了封裝HBM。去年底，英特爾就正式推出了全球首款配備 HBM 內(nèi)存的 x86 CPU——Intel Xeon Max 系列。根據(jù)下圖介紹，它具有64 GB的HBM2e 內(nèi)存，分為4個(gè)16 GB的集群，總內(nèi)存帶寬為1 TB / s，每個(gè)內(nèi)核的HBM都超過(guò)1 GB。


當(dāng)前HBM的技術(shù)方向主要是在速度、密度、功耗、占板空間等方面的提升。SK海力士通過(guò)提高引腳數(shù)據(jù)速率、I/O總線位寬等方式提升速率；通過(guò)擴(kuò)展Die堆疊層數(shù)和物理堆疊高度，以及增加核心Die密度以優(yōu)化堆疊密度。通過(guò)評(píng)估內(nèi)存結(jié)構(gòu)和操作方案，最大限度地降低每帶寬擴(kuò)展的絕對(duì)功耗；為了實(shí)現(xiàn)總內(nèi)存Die尺寸最小化，則是通過(guò)在不擴(kuò)大現(xiàn)有物理尺寸的情況下增加存儲(chǔ)單元數(shù)量和功能。

小結(jié)

顯然，人工智能、數(shù)據(jù)中心的應(yīng)用還將拉動(dòng)HBM的需求，但從成本來(lái)看，HBM的平均售價(jià)至少是DRAM的三倍，前不久受ChatGPT的拉動(dòng)，HBM的價(jià)格更是水漲船高，消息人士稱，與性能最高的DRAM相比HBM3的價(jià)格上漲了五倍。不過(guò)，這一市場(chǎng)前景也正是DRAM存儲(chǔ)廠商投入技術(shù)和產(chǎn)品的動(dòng)力。