大模型市場(chǎng)，不止帶火HBM

近日，HBM成為芯片行業(yè)的火熱話題。據(jù)TrendForce預(yù)測(cè)，2023年高帶寬內(nèi)存（HBM）比特量預(yù)計(jì)將達(dá)到2.9億GB，同比增長(zhǎng)約60%，2024年預(yù)計(jì)將進(jìn)一步增長(zhǎng)30%。2008年被AMD提出的HBM內(nèi)存概念，在2013年被SK海力士通過TSV技術(shù)得以實(shí)現(xiàn)，問世10年后HBM似乎真的來到了大規(guī)模商業(yè)化的時(shí)代。

HBM的概念的起飛與AIGC的火爆有直接關(guān)系。AI服務(wù)器對(duì)帶寬提出了更高的要求，與 DDR SDRAM 相比，HBM 具有更高的帶寬和更低的能耗。超高的帶寬讓HBM成為了高性能GPU的核心組件，HBM基本是AI服務(wù)器的標(biāo)配。目前，HBM成本在AI服務(wù)器成本中占比排名第三，約占9%，單機(jī)平均售價(jià)高達(dá)18,000美元。

自從去年ChatGPT出現(xiàn)以來，大模型市場(chǎng)就開始了高速增長(zhǎng)，國內(nèi)市場(chǎng)方面，百度、阿里、科大訊飛、商湯、華為等科技巨頭接連宣布將訓(xùn)練自己的AI大模型。TrendForce預(yù)測(cè)，2025年將有5個(gè)相當(dāng)于ChatGPT的大型AIGC、25個(gè)Midjourney的中型AIGC產(chǎn)品、80個(gè)小型AIGC產(chǎn)品，即使是全球所需的最小計(jì)算能力資源也可能需要 145,600 至 233,700 個(gè)英偉達(dá)A100 GPU。這些都是HBM的潛在增長(zhǎng)空間。

2023年開年以來，三星、SK海力士HBM訂單就快速增加，HBM的價(jià)格也水漲船高，近期HBM3規(guī)格DRAM價(jià)格上漲了5倍。三星已收到AMD與英偉達(dá)的訂單，以增加HBM供應(yīng)。SK海力士已著手?jǐn)U建HBM產(chǎn)線，目標(biāo)將HBM產(chǎn)能翻倍。韓媒報(bào)道，三星計(jì)劃投資約7.6億美元擴(kuò)產(chǎn)HBM，目標(biāo)明年底之前將HBM產(chǎn)能提高一倍，公司已下達(dá)主要設(shè)備訂單。

01 HBM在AIGC中的優(yōu)勢(shì)

直接地說，HBM將會(huì)讓服務(wù)器的計(jì)算能力得到提升。由于短時(shí)間內(nèi)處理大量數(shù)據(jù)，AI服務(wù)器對(duì)帶寬提出了更高的要求。HBM的作用類似于數(shù)據(jù)的“中轉(zhuǎn)站”，就是將使用的每一幀、每一幅圖像等圖像數(shù)據(jù)保存到幀緩存區(qū)中，等待GPU調(diào)用。與傳統(tǒng)內(nèi)存技術(shù)相比，HBM具有更高帶寬、更多I/O數(shù)量、更低功耗、更小尺寸，能夠讓AI服務(wù)器在數(shù)據(jù)處理量和傳輸速率有大幅提升。

來源：rambus

可以看到HBM在帶寬方面有著“碾壓”級(jí)的優(yōu)勢(shì)。如果 HBM2E 在 1024 位寬接口上以 3.6Gbps 的速度運(yùn)行，那么就可以得到每秒 3.7Tb 的帶寬，這是 LPDDR5 或 DDR4 帶寬的 18 倍以上。

除了帶寬優(yōu)勢(shì)，HBM可以節(jié)省面積，進(jìn)而在系統(tǒng)中安裝更多GPU。HBM 內(nèi)存由與 GPU 位于同一物理封裝上的內(nèi)存堆棧組成。

這樣的架構(gòu)意味著與傳統(tǒng)的 GDDR5/6 內(nèi)存設(shè)計(jì)相比，可節(jié)省大量功耗和面積，從而允許系統(tǒng)中安裝更多 GPU。隨著 HPC、AI 和數(shù)據(jù)分析數(shù)據(jù)集的規(guī)模不斷增長(zhǎng)，計(jì)算問題變得越來越復(fù)雜，GPU 內(nèi)存容量和帶寬也越來越大是一種必需品。H100 SXM5 GPU 通過支持 80 GB（五個(gè)堆棧）快速 HBM3 內(nèi)存，提供超過 3 TB/秒的內(nèi)存帶寬，是 A100 內(nèi)存帶寬的 2 倍。

過去對(duì)于HBM來說，價(jià)格是一個(gè)限制因素。但現(xiàn)在大模型市場(chǎng)上正處于百家爭(zhēng)鳴時(shí)期，對(duì)于布局大模型的巨頭們來說時(shí)間就是金錢，因此“貴有貴的道理”的HBM成為了大模型巨頭的新寵。隨著高端GPU需求的逐步提升，HBM開始成為AI服務(wù)器的標(biāo)配。

目前英偉達(dá)的A100及H100，各搭載達(dá)80GB的HBM2e及HBM3，在其最新整合CPU及GPU的Grace Hopper芯片中，單顆芯片HBM搭載容量再提升20%，達(dá)96GB。

AMD的MI300也搭配HBM3，其中，MI300A容量與前一代相同為128GB，更高端MI300X則達(dá)192GB，提升了50%。

預(yù)期Google將于2023年下半年積極擴(kuò)大與Broadcom合作開發(fā)AISC AI加速芯片TPU也計(jì)劃搭載HBM存儲(chǔ)器，以擴(kuò)建AI基礎(chǔ)設(shè)施。

02 存儲(chǔ)廠商加速布局

這樣的“錢景”讓存儲(chǔ)巨頭們加速對(duì)HBM內(nèi)存的布局。目前，全球前三大存儲(chǔ)芯片制造商正將更多產(chǎn)能轉(zhuǎn)移至生產(chǎn)HBM，但由于調(diào)整產(chǎn)能需要時(shí)間，很難迅速增加HBM產(chǎn)量，預(yù)計(jì)未來兩年HBM供應(yīng)仍將緊張。

HBM的市場(chǎng)主要還是被三大DRAM巨頭把握。不過不同于DRAM市場(chǎng)被三星領(lǐng)先，SK海力士在HBM市場(chǎng)上發(fā)展的更好。如開頭所說，SK海力士開發(fā)了第一個(gè)HBM產(chǎn)品。2023年4月，SK 海力士宣布開發(fā)出首個(gè)24GB HBM3 DRAM產(chǎn)品，該產(chǎn)品用TSV技術(shù)將12個(gè)比現(xiàn)有芯片薄40%的單品DRAM芯片垂直堆疊，實(shí)現(xiàn)了與16GB產(chǎn)品相同的高度。同時(shí)，SK海力士計(jì)劃在2023年下半年準(zhǔn)備具備8Gbps數(shù)據(jù)傳輸性能的HBM3E樣品，并將于2024年投入量產(chǎn)。

國內(nèi)半導(dǎo)體公司對(duì)HBM的布局大多圍繞著封裝及接口領(lǐng)域。

國芯科技目前正在研究規(guī)劃合封多HBM內(nèi)存的2.5D的芯片封裝技術(shù)，積極推進(jìn)Chiplet技術(shù)的研發(fā)和應(yīng)用。

通富微電公司2.5D/3D生產(chǎn)線建成后，將實(shí)現(xiàn)國內(nèi)在HBM高性能封裝技術(shù)領(lǐng)域的突破。

佰維存儲(chǔ)已推出高性能內(nèi)存芯片和內(nèi)存模組，將保持對(duì)HBM技術(shù)的持續(xù)關(guān)注。

瀾起科技PCIe 5.0/CXL 2.0 Retimer芯片實(shí)現(xiàn)量產(chǎn)，該芯片是瀾起科技PCIe 4.0 Retimer產(chǎn)品的關(guān)鍵升級(jí)，可為業(yè)界提供穩(wěn)定可靠的高帶寬、低延遲PCIe5.0/ CXL 2.0互連解決方案。

HBM雖好但仍需冷靜，HBM現(xiàn)在依舊處于相對(duì)早期的階段，其未來還有很長(zhǎng)的一段路要走。而可預(yù)見的是，隨著越來越多的廠商在AI和機(jī)器學(xué)習(xí)等領(lǐng)域不斷發(fā)力，內(nèi)存產(chǎn)品設(shè)計(jì)的復(fù)雜性正在快速上升，并對(duì)帶寬提出了更高的要求，不斷上升的寬帶需求將持續(xù)驅(qū)動(dòng)HBM發(fā)展。

HBM火熱反映了AIGC的帶動(dòng)能力。那么除了HBM和GPU，是否還有別的產(chǎn)品在這波新風(fēng)潮中能夠順勢(shì)發(fā)展？

03 談?wù)勂渌粠Щ鸬男酒?/strong>