聊聊GPU背后的大贏家-HBM

HBM究竟是什么呢？為何在AI時(shí)代如此火熱？

各位ICT的小伙伴們大家好呀。

我是老貓。

今天我們聊聊GPU背后的大贏家-HBM。

HBM到底為何方神圣？

HBM全稱為High Bandwidth Memory，直接翻譯即是高帶寬內(nèi)存，是一款新型的CPU/GPU內(nèi)存芯片。其實(shí)就是將很多個(gè)DDR芯片堆疊在一起后和GPU封裝在一起，實(shí)現(xiàn)大容量、高位寬的DDR組合陣列。

打個(gè)比喻，就是傳統(tǒng)的DDR就是采用的"平房設(shè)計(jì)"方式，HBM則是"樓房設(shè)計(jì)"方式，從而可實(shí)現(xiàn)了更高的性能和帶寬。

如上圖，我們以AMD最新發(fā)布MI300XGPU芯片布局為例，中間的die是GPU，左右兩側(cè)的4個(gè)小die就是DDR顆粒的堆疊HBM。目前，在平面布局上，GPU現(xiàn)在一般常見(jiàn)有2/4/6/8四種數(shù)量的堆疊，立體上目前最多堆疊12層。

可能會(huì)說(shuō)，HBM跟DDR不就是"平房"和"樓房"的區(qū)別嗎？這也叫創(chuàng)新？

其實(shí)想要實(shí)現(xiàn)HBM生產(chǎn)并沒(méi)有說(shuō)起來(lái)這么簡(jiǎn)單，大家想想，建一個(gè)樓房可要比建一個(gè)平房要困難很多，從底層地基到布線都需要重新設(shè)計(jì)。HBM的構(gòu)建像樓房一樣，將傳輸信號(hào)、指令、電流都進(jìn)行了重新設(shè)計(jì)，而且對(duì)封裝工藝的要求也高了很多。

如上圖右側(cè)，DRAM通過(guò)堆疊的方式，疊在一起，Die之間用TVS方式連接；DRAM下面是DRAM邏輯控制單元， 對(duì)DRAM進(jìn)行控制；GPU和DRAM通過(guò)uBump和Interposer（起互聯(lián)功能的硅片）連通；Interposer再通過(guò)Bump和 Substrate(封裝基板）連通到BALL；最后BGA BALL 連接到PCB上。

HBM堆棧通過(guò)中介層緊湊而快速地連接，HBM具備的特性幾乎和芯片集成的RAM一樣，可實(shí)現(xiàn)更多的IO數(shù)量。同時(shí)HBM重新調(diào)整了內(nèi)存的功耗效率，使每瓦帶寬比GDDR5高出3倍還多。也即是功耗降低3倍多！另外，HBM 在節(jié)省產(chǎn)品空間方面也獨(dú)具匠心，HBM比GDDR5節(jié)省了 94% 的表面積！使游戲玩家可以擺脫笨重的GDDR5芯片，盡享高效。

鑒于技術(shù)上的復(fù)雜性，HBM是公認(rèn)最能夠展示存儲(chǔ)廠商技術(shù)實(shí)力的旗艦產(chǎn)品。

為什么需要HBM？

HBM的初衷，就是為了向GPU和其他處理器提供更多的內(nèi)存。

這主要是因?yàn)殡S著GPU 的功能越來(lái)越強(qiáng)大，需要更快地從內(nèi)存中訪問(wèn)數(shù)據(jù)，以縮短應(yīng)用處理時(shí)間。例如，AI和視覺(jué)，具有巨大內(nèi)存和計(jì)算和帶寬要求。

為了減小“內(nèi)存墻”的影響，提升內(nèi)存帶寬一直是存儲(chǔ)芯片聚焦的關(guān)鍵問(wèn)題。

半導(dǎo)體的先進(jìn)封裝為克服阻礙高性能計(jì)算應(yīng)用程序的內(nèi)存訪問(wèn)障礙提供了機(jī)會(huì)，內(nèi)存的延遲和密度都是可以在封裝級(jí)別解決的挑戰(zhàn)?；趯?duì)先進(jìn)技術(shù)和解決方案開(kāi)展的研究，內(nèi)存行業(yè)在新領(lǐng)域進(jìn)行了更深入的探索。

為了克服這些挑戰(zhàn)，半導(dǎo)體封裝設(shè)計(jì)人員采用了異構(gòu)集成路線，以在更靠近處理器的位置包含更多內(nèi)存。而HBM就為現(xiàn)代處理器和嵌入式系統(tǒng)當(dāng)前面臨的內(nèi)存障礙問(wèn)題提供了解決方案。這些存儲(chǔ)器為系統(tǒng)設(shè)計(jì)人員提供了兩個(gè)優(yōu)勢(shì)：一是減少組件占用空間和外部存儲(chǔ)器要求；二是更快的內(nèi)存訪問(wèn)時(shí)間和速率。

疊起來(lái)之后，直接結(jié)果就是接口變得更寬，其下方互聯(lián)的觸點(diǎn)數(shù)量遠(yuǎn)遠(yuǎn)多于DDR內(nèi)存連接到CPU的線路數(shù)量。因此，與傳統(tǒng)內(nèi)存技術(shù)相比，HBM具有更高帶寬、更多I/O數(shù)量、更低功耗、更小尺寸。

目前，HBM產(chǎn)品以HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）、HBM3E（第五代）的順序開(kāi)發(fā)，最新的HBM3E是HBM3的擴(kuò)展版本。

HBM每一次更新迭代都會(huì)伴隨著處理速度的提高。引腳（Pin）數(shù)據(jù)傳輸速率為1Gbps的第一代HBM，發(fā)展到其第五產(chǎn)品HBM3E，速率則提高到了8Gbps，即每秒可以處理1.225TB的數(shù)據(jù)。也就是說(shuō)，下載一部長(zhǎng)達(dá)163分鐘的全高清（Full-HD）電影（1TB）只需不到1秒鐘的時(shí)間。

當(dāng)然，存儲(chǔ)器的容量也在不斷加大：HBM2E的最大容量為16GB，目前，三星正在利用其第四代基于EUV光刻機(jī)的10nm制程（14nm）節(jié)點(diǎn)來(lái)制造24GB容量的HBM3芯片，此外8層、12層堆疊可在HBM3E上實(shí)現(xiàn)36GB（業(yè)界最大）的容量，比HBM3高出50%。

此前SK海力士、美光均已宣布推出HBM3E芯片，皆可實(shí)現(xiàn)超過(guò)1TB/s的帶寬。

同時(shí)，三星也宣布HBM4內(nèi)存將采用更先進(jìn)的芯片制造和封裝技術(shù)，雖然HBM4的規(guī)格尚未確定，但有消息稱業(yè)界正尋求使用2048位內(nèi)存接口，并使用FinFET晶體管架構(gòu)來(lái)降低功耗。三星希望升級(jí)晶圓級(jí)鍵合技術(shù)，從有凸塊的方式轉(zhuǎn)為無(wú)凸塊直接鍵合。因此，HBM4的成本可能會(huì)更高。

HBM的發(fā)展史

如同閃存從2D NAND向3D NAND發(fā)展一樣，DRAM也是從2D向3D技術(shù)發(fā)展，HBM也由此誕生。

在最初， HBM是通過(guò)硅通孔（Through Silicon Via， 簡(jiǎn)稱"TSV"）技術(shù)進(jìn)行芯片堆疊，以增加吞吐量并克服單一封裝內(nèi)帶寬的限制，將數(shù)個(gè)DRAM裸片像摩天大廈中的樓層一樣垂直堆疊，裸片之間用TVS技術(shù)連接。

從技術(shù)角度看，HBM使得DRAM從傳統(tǒng)2D轉(zhuǎn)變?yōu)榱Ⅲw3D，充分利用空間、縮小面積，正契合半導(dǎo)體行業(yè)小型化、集成化的發(fā)展趨勢(shì)。HBM突破了內(nèi)存容量與帶寬瓶頸，被視為新一代DRAM解決方案，業(yè)界認(rèn)為這是DRAM通過(guò)存儲(chǔ)器層次結(jié)構(gòu)的多樣化開(kāi)辟一條新的道路，革命性提升DRAM的性能。

在HBM的誕生與發(fā)展過(guò)程中，AMD和SK海力士可謂功不可沒(méi)。據(jù)了解，AMD在2009年就意識(shí)到DDR的局限性并產(chǎn)生開(kāi)發(fā)堆疊內(nèi)存的想法，后來(lái)其與SK海力士聯(lián)手研發(fā)HBM。

2013年，經(jīng)過(guò)多年研發(fā)后，AMD和SK海力士終于推出了HBM這項(xiàng)全新技術(shù)，還被定為了JESD235行業(yè)標(biāo)準(zhǔn)，HBM1的工作頻率約為1600 Mbps，漏極電源電壓為1.2V，芯片密度為2Gb（4-hi），其帶寬為4096bit，遠(yuǎn)超GDDR5的512bit。

除了帶寬外，HBM對(duì)DRAM能耗的影響同樣重要。此外，由于GPU核心和顯存封裝在了一起，還能一定程度上減輕散熱的壓力，原本是一大片的散熱區(qū)域，濃縮至一小塊，散熱僅需針對(duì)這部分區(qū)域，原本動(dòng)輒三風(fēng)扇的設(shè)計(jì)，可以精簡(jiǎn)為雙風(fēng)扇甚至是單風(fēng)扇，變相縮小了顯卡的體積。

在當(dāng)時(shí)，無(wú)論是AMD和SK海力士，還是媒體和眾多玩家，都認(rèn)定了這才是未來(lái)的顯存。第一代HBM面世商用后，SK海力士與三星即開(kāi)始了一場(chǎng)你追我趕的競(jìng)賽。

2016年1月，三星宣布開(kāi)始量產(chǎn)4GB HBM2 DRAM，并在同一年內(nèi)生產(chǎn)8GB HBM2 DRAM；2017年下半年，被三星趕超的SK海力士開(kāi)始量產(chǎn)HBM2；2018年1月，三星宣布開(kāi)始量產(chǎn)第二代8GB HBM2"Aquabolt"。

2018年末，JEDEC推出HBM2E規(guī)范，以支持增加的帶寬和容量。當(dāng)傳輸速率上升到每管腳3.6Gbps時(shí)，HBM2E可以實(shí)現(xiàn)每堆棧461GB/s的內(nèi)存帶寬。此外，HBM2E支持最多12個(gè)DRAM的堆棧，內(nèi)存容量高達(dá)每堆棧24GB。與HBM2相比，HBM2E具有技術(shù)更先進(jìn)、應(yīng)用范圍更廣泛、速度更快、容量更大等特點(diǎn)。

2019年8月，SK海力士宣布成功研發(fā)出新一代"HBM2E"；2020年2月，三星也正式宣布推出其16GB HBM2E產(chǎn)品"Flashbolt"，于2020年上半年開(kāi)始量產(chǎn)。

2020年，另一家存儲(chǔ)巨頭美光宣布加入到這一賽場(chǎng)中來(lái)。

美光在當(dāng)時(shí)的財(cái)報(bào)會(huì)議上表示，將開(kāi)始提供HBM2內(nèi)存/顯存，用于高性能顯卡，服務(wù)器處理器產(chǎn)品，并預(yù)計(jì)下一代HBMNext將在2022年底面世。但截至目前尚未看到美光相關(guān)產(chǎn)品動(dòng)態(tài)。

2022年1月，JEDEC組織正式發(fā)布了新一代高帶寬內(nèi)存HBM3的標(biāo)準(zhǔn)規(guī)范，繼續(xù)在存儲(chǔ)密度、帶寬、通道、可靠性、能效等各個(gè)層面進(jìn)行擴(kuò)充升級(jí)。JEDEC表示，HBM3是一種創(chuàng)新的方法，是更高帶寬、更低功耗和單位面積容量的解決方案，對(duì)于高數(shù)據(jù)處理速率要求的應(yīng)用場(chǎng)景來(lái)說(shuō)至關(guān)重要，比如圖形處理和高性能計(jì)算的服務(wù)器。

2022年6月量產(chǎn)了HBM3 DRAM芯片，并將供貨英偉達(dá)，持續(xù)鞏固其市場(chǎng)領(lǐng)先地位。隨著英偉達(dá)使用HBM3 DRAM，數(shù)據(jù)中心或?qū)⒂瓉?lái)新一輪的性能革命。

2023年，NVIDIA 發(fā)布H200芯片，是首款提供HBM3e內(nèi)存的GPU，HBM3e是目前全球最高規(guī)格的HBM內(nèi)存，由SK海力士開(kāi)發(fā)，將于明年上半年開(kāi)始量產(chǎn)。

2023年12月，AMD發(fā)布最新MI300X GPU芯片，2.5D硅中介層、3D混合鍵合集一身的3.5D封裝，集成八個(gè)5nm工藝的XCD模塊，內(nèi)置304個(gè)CU計(jì)算單元，又可分為1216個(gè)矩陣核心，同時(shí)還有四個(gè)6nm工藝的IOD模塊和256MB無(wú)限緩存，以及八顆共192GB HBM3高帶寬內(nèi)存。

從HBM1到HBM3，SK海力士和三星一直是HBM行業(yè)的領(lǐng)軍企業(yè)。但比較可惜的是，AMD卻在2016年發(fā)布完產(chǎn)品后完全轉(zhuǎn)向，近乎放棄了HBM。唯一仍然保留HBM技術(shù)的是用于AI計(jì)算的加速卡。

起了個(gè)大早，趕了個(gè)晚集，是對(duì)AMD在HBM上的最好概括。既沒(méi)有憑借HBM在游戲顯卡市場(chǎng)中反殺英偉達(dá)，反而被英偉達(dá)利用HBM鞏固了AI計(jì)算領(lǐng)域的地位，白白被別人摘了熟透甜美的桃子。

HBM的競(jìng)爭(zhēng)格局？

由生成式AI引發(fā)對(duì)HBM及相關(guān)高傳輸能力存儲(chǔ)技術(shù)的需求，HBM成為存儲(chǔ)巨頭在下行行情中對(duì)業(yè)績(jī)的重要扭轉(zhuǎn)力量，這也是近期業(yè)績(jī)會(huì)上的高頻詞。

調(diào)研機(jī)構(gòu)TrendForce集邦咨詢也指出，預(yù)估2023年全球HBM需求量將年增近六成，來(lái)到2.9億GB，2024年將再增長(zhǎng)三成。2023年HBM將處于供不應(yīng)求態(tài)勢(shì)，到2024年供需比有望改善。

但是HBM在整體存儲(chǔ)市場(chǎng)占比較低，目前還不是普及性應(yīng)用的產(chǎn)品。目前似乎競(jìng)爭(zhēng)都局限在SK海力士、三星和美光這三家企業(yè)之間。

目前，在HBM的競(jìng)爭(zhēng)格局中，SK海力士是技術(shù)領(lǐng)先并擁有最高市場(chǎng)份額的公司，其市占率為50%。緊隨其后的是三星，市占率約為40%，而美光占據(jù)了大約10%的市場(chǎng)份額。

根據(jù)預(yù)測(cè)，到23年，海力士的市場(chǎng)份額有望提升至53%，而三星和美光的市場(chǎng)份額將分別為38%和9%。

在下游廠商主要包括CPU/GPU制造商，例如英特爾、英偉達(dá)和AMD。由于HBM是與GPU封裝在一起的，因此HBM的封裝通常由晶圓代工廠完成。

反觀到我們國(guó)內(nèi)，由于起步較晚，目前HBM相關(guān)產(chǎn)業(yè)鏈布局相對(duì)較小，只有一些企業(yè)涉及封測(cè)領(lǐng)域。但是這也意味著，在信息安全的今天，HBM具有更大的成長(zhǎng)空間。

目前，在國(guó)內(nèi)涉及HBM產(chǎn)業(yè)鏈的公司主要包括雅克科技、中微公司、和拓荊科技等公司。其中，雅克的子公司UP Chemical是SK海力士的核心供應(yīng)商，為其提供HBM前驅(qū)體。

在HBM工藝中，ALD沉積（單原子層沉積）起著重要作用。拓荊科技就是國(guó)內(nèi)主要的ALD供應(yīng)商之一，公司的PEALD產(chǎn)品用于沉積SiO2、SiN等介質(zhì)薄膜，在客戶端驗(yàn)證中都取得了令人滿意的結(jié)果。

而TSV技術(shù)（硅通孔技術(shù)）也是HBM的核心技術(shù)之一，中微公司是TSV設(shè)備的主要供應(yīng)商。硅通孔技術(shù)用于連接硅晶圓兩面，并與硅襯底和其他通孔絕緣的電互連結(jié)構(gòu)。它能夠通過(guò)硅基板實(shí)現(xiàn)硅片內(nèi)部的垂直電互聯(lián)，是實(shí)現(xiàn)2.5D和3D先進(jìn)封裝的關(guān)鍵。

隨著HBM堆疊DRAM裸片數(shù)量逐步增加到8層和12層，HBM對(duì)DRAM材料的需求將呈倍數(shù)級(jí)增長(zhǎng)。同時(shí)，HBM前驅(qū)體的單位價(jià)值也將出現(xiàn)倍數(shù)級(jí)增長(zhǎng)，這為前驅(qū)體市場(chǎng)帶來(lái)了全新的發(fā)展機(jī)遇。

HBM的未來(lái)應(yīng)用前景

隨著AI大模型、智能駕駛等新技術(shù)的崛起，人們對(duì)高帶寬的內(nèi)存的需求越來(lái)越多。

首先，AI服務(wù)器的需求會(huì)在近兩年爆增，如今在市場(chǎng)上已經(jīng)出現(xiàn)了快速的增長(zhǎng)。AI服務(wù)器可以在短時(shí)間內(nèi)處理大量數(shù)據(jù)，GPU可以讓數(shù)據(jù)處理量和傳輸速率的大幅提升，讓AI服務(wù)器對(duì)帶寬提出了更高的要求，而HBM基本是AI服務(wù)器的標(biāo)配。

除了AI服務(wù)器，汽車也是HBM值得關(guān)注的應(yīng)用領(lǐng)域。汽車中的攝像頭數(shù)量，所有這些攝像頭的數(shù)據(jù)速率和處理所有信息的速度都是天文數(shù)字，想要在車輛周圍快速傳輸大量數(shù)據(jù)，HBM具有很大的帶寬優(yōu)勢(shì)。

另外，AR和VR也是HBM未來(lái)將發(fā)力的領(lǐng)域。因?yàn)閂R和AR系統(tǒng)需要高分辨率的顯示器，這些顯示器需要更多的帶寬來(lái)在 GPU 和內(nèi)存之間傳輸數(shù)據(jù)。而且，VR和AR也需要實(shí)時(shí)處理大量數(shù)據(jù)，這都需要HBM的超強(qiáng)帶寬來(lái)助力。

此外，智能手機(jī)、平板電腦、游戲機(jī)和可穿戴設(shè)備的需求也在不斷增長(zhǎng)，這些設(shè)備需要更先進(jìn)的內(nèi)存解決方案來(lái)支持其不斷增長(zhǎng)的計(jì)算需求，HBM也有望在這些領(lǐng)域得到增長(zhǎng)。并且，5G 和物聯(lián)網(wǎng) (IoT) 等新技術(shù)的出現(xiàn)也進(jìn)一步推動(dòng)了對(duì) HBM 的需求。

并且，AI的浪潮還在愈演愈烈，HBM今后的存在感或許會(huì)越來(lái)越強(qiáng)。據(jù)semiconductor-digest預(yù)測(cè)，到2031年，全球高帶寬存儲(chǔ)器市場(chǎng)預(yù)計(jì)將從2022年的2.93億美元增長(zhǎng)到34.34億美元，在2023-2031年的預(yù)測(cè)期內(nèi)復(fù)合年增長(zhǎng)率為31.3%。

HBM需要克服的問(wèn)題

1：HBM需要較高的工藝從而導(dǎo)致大幅度提升了成本。

針對(duì)更大數(shù)據(jù)集、訓(xùn)練工作負(fù)載所需的更高內(nèi)存密度要求，存儲(chǔ)廠商開(kāi)始著手研究擴(kuò)展Die堆疊層數(shù)和物理堆疊高度，以及增加核心Die密度以優(yōu)化堆疊密度。

但就像處理器芯片摩爾定律發(fā)展一樣，當(dāng)技術(shù)發(fā)展到一個(gè)階段，想要提升更大的性能，那么成本反而會(huì)大幅提升，導(dǎo)致創(chuàng)新放緩。

2：產(chǎn)生大量的熱，如何散熱是GPU極大的挑戰(zhàn)。

行業(yè)廠商需要在不擴(kuò)大現(xiàn)有物理尺寸的情況下增加存儲(chǔ)單元數(shù)量和功能，從而實(shí)現(xiàn)整體性能的飛躍。但更多存儲(chǔ)單元的數(shù)量讓GPU的功耗大幅提升。新型的內(nèi)存需要盡量減輕內(nèi)存和處理器之間搬運(yùn)數(shù)據(jù)的負(fù)擔(dān)。

最后總結(jié)：

隨著人工智能、機(jī)器學(xué)習(xí)、高性能計(jì)算、數(shù)據(jù)中心等應(yīng)用市場(chǎng)的興起，內(nèi)存產(chǎn)品設(shè)計(jì)的復(fù)雜性正在快速上升，并對(duì)帶寬提出了更高的要求，不斷上升的寬帶需求持續(xù)驅(qū)動(dòng)HBM發(fā)展。相信未來(lái)，存儲(chǔ)巨頭們將會(huì)持續(xù)發(fā)力、上下游廠商相繼入局，讓HBM得到更快的發(fā)展和更多的關(guān)注。

審核編輯：劉清