美光推出性能更出色的大容量高帶寬內(nèi)存 (HBM) 助力生成式人工智能創(chuàng)新

業(yè)界首款8層堆疊的24GB容量第二代HBM3，帶寬超過1.2TB/s，先進(jìn)的1β制程節(jié)點(diǎn)提供卓越能效。

2023年7月27日，中國上?！狹icron Technology Inc.（美光科技股份有限公司，納斯達(dá)克股票代碼：MU）今日宣布，公司已開始出樣業(yè)界首款8層堆疊的24GB容量第二代HBM3內(nèi)存，其帶寬超過1.2TB/s，引腳速率超過9.2Gb/s，比當(dāng)前市面上現(xiàn)有的HBM3解決方案性能可提升最高50%。美光第二代HBM3產(chǎn)品與前一代產(chǎn)品相比，每瓦性能提高2.5倍，創(chuàng)下了關(guān)鍵型人工智能（AI）數(shù)據(jù)中心性能、容量和能效指標(biāo)的新紀(jì)錄，將助力業(yè)界縮短大型語言模型（如GPT-4及更高版本）的訓(xùn)練時(shí)間，為AI推理提供高效的基礎(chǔ)設(shè)施，并降低總體擁有成本（TCO）。

美光基于業(yè)界前沿的1β DRAM制程節(jié)點(diǎn)推出高帶寬內(nèi)存（HBM）解決方案，將24Gb DRAM裸片封裝進(jìn)行業(yè)標(biāo)準(zhǔn)尺寸的8層堆疊模塊中。此外，美光12層堆疊的36GB容量產(chǎn)品也將于2024年第一季度開始出樣。與當(dāng)前市面上其他的8層堆疊解決方案相比，美光HBM3解決方案的容量提升了50%。美光第二代HBM3產(chǎn)品的性能功耗比和引腳速度的提升對于管理當(dāng)今AI數(shù)據(jù)中心的極端功耗需求至關(guān)重要。美光通過技術(shù)革新實(shí)現(xiàn)了能效的顯著提升，例如與業(yè)界其他HBM3解決方案相比，美光將硅通孔（TSV）數(shù)量翻倍，增加5倍金屬密度以降低熱阻，以及設(shè)計(jì)更為節(jié)能的數(shù)據(jù)通路。

美光作為2.5D/3D堆疊和先進(jìn)封裝技術(shù)領(lǐng)域長久以來的存儲領(lǐng)導(dǎo)廠商，有幸成為臺積電3DFabric聯(lián)盟的合作伙伴成員，共同構(gòu)建半導(dǎo)體和系統(tǒng)創(chuàng)新的未來。在第二代HBM3產(chǎn)品開發(fā)過程中，美光與臺積電攜手合作，為AI及高性能計(jì)算（HPC）設(shè)計(jì)應(yīng)用中順利引入和集成計(jì)算系統(tǒng)奠定了基礎(chǔ)。臺積電目前已收到美光第二代HBM3內(nèi)存樣片，正與美光密切合作進(jìn)行下一步的評估和測試，助力客戶的下一代高性能計(jì)算應(yīng)用創(chuàng)新。

美光第二代HBM3解決方案滿足了生成式AI領(lǐng)域?qū)Χ嗄B(tài)、數(shù)萬億參數(shù)AI模型日益增長的需求。憑借高達(dá)24GB的單模塊容量和超過9.2Gb/s的引腳速率，美光HBM3能使大型語言模型的訓(xùn)練時(shí)間縮短30%以上，從而降低總體擁有成本。此外，美光HBM3將觸發(fā)每日查詢量的顯著增加，從而更有效地利用訓(xùn)練過的模型。美光第二代HBM3內(nèi)存擁有業(yè)界一流的每瓦性能，將切實(shí)推動(dòng)現(xiàn)代AI數(shù)據(jù)中心節(jié)省運(yùn)營開支。在已經(jīng)部署的1,000萬個(gè)圖形處理器（GPU）用例中，單個(gè)HBM模塊可節(jié)約5W功耗，能在五年內(nèi)節(jié)省高達(dá)5.5億美元的運(yùn)營費(fèi)用。

美光副總裁暨計(jì)算與網(wǎng)絡(luò)事業(yè)部計(jì)算產(chǎn)品事業(yè)群總經(jīng)理Praveen Vaidyanathan表示：“美光第二代HBM3解決方案旨在為客戶及業(yè)界提供卓越的人工智能和高性能計(jì)算解決方案。我們的一個(gè)重要考量標(biāo)準(zhǔn)是，該產(chǎn)品在客戶平臺上是否易于集成。美光HBM3具有完全可編程的內(nèi)存內(nèi)建自測試（MBIST）功能，可在完整規(guī)格的引腳速度下運(yùn)行，使美光能為客戶提供更強(qiáng)大的測試能力，實(shí)現(xiàn)高效協(xié)作，助力客戶縮短產(chǎn)品上市時(shí)間?！?br />
英偉達(dá)超大規(guī)模和高性能計(jì)算副總裁Ian Buck表示：“生成式AI的核心是加速計(jì)算，HBM的高帶寬至關(guān)重要，并帶來更出色的能效。我們與美光在眾多產(chǎn)品領(lǐng)域保持了長期合作，非常期待與美光在第二代HBM3產(chǎn)品上繼續(xù)合作，加速AI創(chuàng)新?！?br />
第二代HBM3是美光領(lǐng)先技術(shù)的又一個(gè)里程碑。美光此前宣布推出基于1α（1-alpha）節(jié)點(diǎn)、24Gb單塊DRAM裸片的96GB容量DDR5模組用于大容量服務(wù)器解決方案；如今推出基于1β節(jié)點(diǎn)、24Gb單塊DRAM裸片的24GB容量HBM3產(chǎn)品，并計(jì)劃于2024年上半年推出基于1β節(jié)點(diǎn)、32Gb單塊DRAM裸片的128GB容量DDR5模組。這些新品展現(xiàn)了美光在AI服務(wù)器領(lǐng)域的前沿技術(shù)創(chuàng)新。