電子發(fā)燒友網(wǎng)報(bào)道(文/李彎彎)據(jù)報(bào)道,繼英偉達(dá)之后,全球多個(gè)科技巨頭都在競(jìng)購(gòu)SK海力士的第五代高帶寬內(nèi)存HBM3E。半導(dǎo)體行業(yè)知情人士稱(chēng),各大科技巨頭都已經(jīng)在向SK海力士請(qǐng)求獲取HBM3E樣本,包括AMD、微軟和亞馬遜等。
HBM(高帶寬存儲(chǔ)器),是由AMD和SK海力士發(fā)起的基于3D堆棧工藝的高性能DRAM,適用于高存儲(chǔ)器帶寬需求的應(yīng)用場(chǎng)合。如今HBM已經(jīng)發(fā)展出HBM2、HBM2e以及HBM3。HBM3E是HBM3的下一代產(chǎn)品,SK海力士目前是唯一能量產(chǎn)HBM3的廠商。
HBM成為AI芯片中存儲(chǔ)主流方案
HBM是一種高帶寬內(nèi)存技術(shù),它采用了3D堆疊技術(shù),將多個(gè)DRAM芯片堆疊在一起,形成一個(gè)高密度、高帶寬的內(nèi)存模塊。
隨著時(shí)間發(fā)展,存儲(chǔ)器與處理器性能差異逐漸擴(kuò)大,當(dāng)存儲(chǔ)器訪問(wèn)速度跟不上處理器數(shù)據(jù)處理速度時(shí),存儲(chǔ)與運(yùn)算之間便筑起了一道“內(nèi)存墻”。而隨著人工智能、高性能計(jì)算等應(yīng)用市場(chǎng)興起,數(shù)據(jù)量指數(shù)級(jí)增長(zhǎng),“內(nèi)存墻”問(wèn)題也愈發(fā)突出。
存儲(chǔ)器帶寬是指單位時(shí)間內(nèi)可以傳輸?shù)臄?shù)據(jù)量,要想增加帶寬,最簡(jiǎn)單的方法是增加數(shù)據(jù)傳輸線路的數(shù)量。HBM能夠通過(guò)系統(tǒng)級(jí)封裝(SIP)和硅通孔(TSV)技術(shù)實(shí)現(xiàn)垂直堆疊,擁有多達(dá)1024個(gè)數(shù)據(jù)引腳,可顯著提升數(shù)據(jù)傳輸速度,因此成為AI芯片中存儲(chǔ)的主流技術(shù)方案。
英偉達(dá)、AMD等企業(yè)高端AI芯片大多搭載HBM。據(jù)了解,英偉達(dá)歷代主流訓(xùn)練芯片基本都配置HBM,其2016年發(fā)布的首個(gè)采用帕斯卡架構(gòu)的顯卡TeslaP100已搭載了HBM2,隨后TeslaV100也采用了HBM2;2017年初,英偉達(dá)發(fā)布的Quadro系列專(zhuān)業(yè)卡中的旗艦GP100也采用了HBM2;2021年推出的TeslaA100計(jì)算卡也搭載了HBM2E,2022年推出了面向大陸地區(qū)的A800,同樣也配置HBM2E;2022年推出了市面上最強(qiáng)的面向AI服務(wù)器的GPU卡H100,采用的HBM3。
AMD今年6月推出的號(hào)稱(chēng)是最強(qiáng)的AI芯片MI300X,就是搭載由SK海力士及三星電子供應(yīng)的HBM。AMD稱(chēng),MI300X提供的HBM密度最高是英偉達(dá)AI芯片H100的2.4倍,其HBM帶寬最高是H100的1.6倍。這意味著,AMD的芯片可以運(yùn)行比英偉達(dá)芯片更大的模型。
蘇姿豐介紹,MI300X可以支持400億個(gè)參數(shù)的Hugging Face AI模型運(yùn)行,并演示了讓這個(gè)LLM寫(xiě)一首關(guān)于舊金山的詩(shī)。這是全球首次在單個(gè)GPU上運(yùn)行這么大的模型。單個(gè)MI300X可以運(yùn)行一個(gè)參數(shù)多達(dá)800億的模型。
另外,谷歌也將于2023年下半年擴(kuò)大與Broadcom合作開(kāi)發(fā)AISC,其AI加速芯片TPU亦采搭載HBM存儲(chǔ)器,以擴(kuò)建AI基礎(chǔ)設(shè)施。
目前,英偉達(dá)、AMD、微軟和亞馬遜等科技巨頭都在向SK海力士申請(qǐng)下一代HBM3E樣本,SK海力士正忙于應(yīng)對(duì)客戶對(duì)HBM3E樣品的大量請(qǐng)求。報(bào)道稱(chēng),英偉達(dá)是第一家申請(qǐng)HBM3E送樣的客戶;申請(qǐng)的客戶或許年底前即可收到樣品。
由于HBM3E需求暴增,SK海力士已決定明年大擴(kuò)產(chǎn)、采用最先進(jìn)的10nm等級(jí)第五代(1b)技術(shù),多數(shù)新增產(chǎn)能將用來(lái)生產(chǎn)HBM3E。
大模型帶動(dòng)HBM市場(chǎng)需求高增長(zhǎng)
大模型的發(fā)展正在帶動(dòng)HBM的市場(chǎng)需求。近大半年時(shí)間,國(guó)內(nèi)外科技互聯(lián)網(wǎng)龍頭企業(yè)都在參與大模型的研發(fā),國(guó)外的包括谷歌、微軟、Meta、Open AI,英偉達(dá)等,國(guó)內(nèi)的包括百度、華為、阿里、騰訊、商湯、可達(dá)訊飛、昆侖萬(wàn)維、云知聲等。
服務(wù)器是算力的核心基礎(chǔ)設(shè)施,大模型數(shù)據(jù)量的指數(shù)級(jí)增長(zhǎng)拉升AI服務(wù)器需求大幅提升。根據(jù)機(jī)構(gòu)調(diào)研,目前高端AI服務(wù)器GPU搭載HBM芯片已成主流,預(yù)計(jì)2023年全球HBM需求量將增近六成,達(dá)到2.9億GB,2024年將再增長(zhǎng)30%。
這對(duì)于HBM企業(yè)及上游產(chǎn)業(yè)鏈來(lái)說(shuō)無(wú)疑都是好消息。目前市場(chǎng)上的HBM主要由SK海力士、三星、美光三家廠商供應(yīng),根據(jù)2022年數(shù)據(jù),三家公司的市場(chǎng)占有率分別為50%、40%、10%。其中,預(yù)計(jì)2023年SK海力士將受益HBM3產(chǎn)品的量產(chǎn),市占率有望提升至53%。
在HBM領(lǐng)域,SK海力士走在業(yè)界前列,2014年SK海力士與AMD聯(lián)合開(kāi)發(fā)了全球首款硅穿孔HBM產(chǎn)品,其帶寬高于GDDR5產(chǎn)品。2022年6月實(shí)現(xiàn)HBM3的量產(chǎn),并向英偉達(dá)大量供貨,配置在英偉達(dá)高性能GPUH100之中。
三星緊隨其后,在HBM領(lǐng)域的發(fā)展也較為順利,于2016年首次量產(chǎn)HBM2產(chǎn)品,同時(shí)發(fā)布了4GB和8GB的HBM2 DRAM。2024年預(yù)計(jì)實(shí)現(xiàn)接口速度高達(dá)7.2Gbps的HBM3P,2025年在新一代面向AI的GPU中見(jiàn)到HBM3P的應(yīng)用。
在三家公司中,美光稍有落后,其于2020年7月宣布大規(guī)模量產(chǎn)HBM2E,HBM3在研發(fā)中。
除了這幾家公司之外,上游相關(guān)半導(dǎo)體設(shè)備、材料等企業(yè)預(yù)計(jì)也將會(huì)在這波AI大模型浪潮中受益。比如,硅通孔技術(shù)(TSV)是HBM的核心技術(shù)之一,中微公司是TSV設(shè)備的主要供應(yīng)商,TSV為連接硅晶圓兩面并與硅襯底和其他通孔絕緣的電互連結(jié)構(gòu),可以穿過(guò)硅基板實(shí)現(xiàn)硅片內(nèi)部垂直電互聯(lián),是實(shí)現(xiàn)2.5D、3D先進(jìn)封裝的關(guān)鍵技術(shù)之一,主要用于硅轉(zhuǎn)接板、芯片三維堆疊等方面。
中微公司在2010年就推出了首臺(tái)TSV深孔硅刻蝕設(shè)備Primo TSV?,提供的8英寸和12英寸硅通孔刻蝕設(shè)備,均可刻蝕孔徑從低至1微米以下到幾百微米的孔洞,并具有工藝協(xié)調(diào)性。
再比如,ALD沉積(單原子層沉積)在HBM工藝中不可或缺,雅克科技是ALD前驅(qū)體核心供應(yīng)商,拓荊科技是ALD設(shè)備核心供應(yīng)商。由于ALD設(shè)備可以實(shí)現(xiàn)高深寬比、極窄溝槽開(kāi)口的優(yōu)異臺(tái)階覆蓋率及精確薄膜厚度控制,在HBM中先進(jìn)DRAM加工工藝和TSV加工工藝中是必不可少的工藝環(huán)節(jié)。
雅克科技是國(guó)內(nèi)ALD沉積主要材料前驅(qū)體供應(yīng)商,公司前驅(qū)體產(chǎn)品供應(yīng)HBM核心廠商SK海力士,High-K、硅金屬前驅(qū)體產(chǎn)品覆蓋先進(jìn)1bDRAM、200層以上3DNAND以及3nm先進(jìn)邏輯電路等。
拓荊科技是國(guó)內(nèi)ALD設(shè)備的主要供應(yīng)商之一,公司PEALD產(chǎn)品用于沉積SiO2、SiN等介質(zhì)薄膜,在客戶端驗(yàn)證順利;Thermal-ALD產(chǎn)品已完成研發(fā),主要用于沉積Al2O3等金屬化合物薄膜。
此外,還有華海誠(chéng)科、聯(lián)瑞新材、國(guó)芯科技、長(zhǎng)電科技等企業(yè),也表示相關(guān)技術(shù)和產(chǎn)品可以用于HBM中。比如,華海誠(chéng)科的顆粒狀環(huán)氧塑封料用于HBM的封裝,已通過(guò)部分客戶認(rèn)證;國(guó)芯科技表示,目前正在研究規(guī)劃合封多HBM內(nèi)存的2.5D的芯片封裝技術(shù)。
小結(jié)
如今國(guó)內(nèi)外互聯(lián)網(wǎng)、科技企業(yè)都已經(jīng)紛紛參與大模型的研發(fā),而且從目前的情況來(lái)看,不少企業(yè)已經(jīng)在推進(jìn)大模型在各行業(yè)中的落地應(yīng)用。無(wú)論是研究過(guò)程中的訓(xùn)練,還是落地部署中的推理,大模型由于數(shù)據(jù)量龐大,都離不開(kāi)HBM的支持。
可以看到,在大模型發(fā)展的帶動(dòng)下,HBM的市場(chǎng)需求正在快速增長(zhǎng)。而除了SK海力士、三星、美光等供應(yīng)HBM的企業(yè)之外,上游相關(guān)的半導(dǎo)體設(shè)備、材料等企業(yè)也能從中獲益。
-
英偉達(dá)
+關(guān)注
關(guān)注
22文章
3776瀏覽量
91079 -
HBM
+關(guān)注
關(guān)注
0文章
380瀏覽量
14755
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論