美光推出業(yè)界首款8層堆疊的24GB容量第二代HBM3內(nèi)存

Micron Technology Inc.（美光科技股份有限公司，納斯達(dá)克股票代碼：MU）今日宣布，公司已開始出樣業(yè)界首款 8 層堆疊的 24GB 容量第二代 HBM3 內(nèi)存，其帶寬超過 1.2TB/s，引腳速率超過 9.2Gb/s，比當(dāng)前市面上現(xiàn)有的 HBM3 解決方案性能可提升最高 50%。美光第二代 HBM3 產(chǎn)品與前一代產(chǎn)品相比，每瓦性能提高 2.5 倍，創(chuàng)下了關(guān)鍵型人工智能（AI）數(shù)據(jù)中心性能、容量和能效指標(biāo)的新紀(jì)錄，將助力業(yè)界縮短大型語言模型（如 GPT-4 及更高版本）的訓(xùn)練時(shí)間，為 AI 推理提供高效的基礎(chǔ)設(shè)施，并降低總體擁有成本（TCO）。

美光基于業(yè)界前沿的 1β DRAM 制程節(jié)點(diǎn)推出高帶寬內(nèi)存（HBM）解決方案，將 24Gb DRAM 裸片封裝進(jìn)行業(yè)標(biāo)準(zhǔn)尺寸的 8 層堆疊模塊中。此外，美光 12 層堆疊的 36GB 容量產(chǎn)品也將于 2024 年第一季度開始出樣。與當(dāng)前市面上其他的 8 層堆疊解決方案相比，美光 HBM3 解決方案的容量提升了 50%。美光第二代 HBM3 產(chǎn)品的性能功耗比和引腳速度的提升對于管理當(dāng)今 AI 數(shù)據(jù)中心的極端功耗需求至關(guān)重要。美光通過技術(shù)革新實(shí)現(xiàn)了能效的顯著提升，例如與業(yè)界其他 HBM3 解決方案相比，美光將硅通孔（TSV）數(shù)量翻倍，增加 5 倍金屬密度以降低熱阻，以及設(shè)計(jì)更為節(jié)能的數(shù)據(jù)通路。

美光作為 2.5D/3D 堆疊和先進(jìn)封裝技術(shù)領(lǐng)域長久以來的存儲領(lǐng)導(dǎo)廠商，有幸成為臺積電 3DFabric 聯(lián)盟的合作伙伴成員，共同構(gòu)建半導(dǎo)體和系統(tǒng)創(chuàng)新的未來。在第二代 HBM3 產(chǎn)品開發(fā)過程中，美光與臺積電攜手合作，為 AI 及高性能計(jì)算（HPC）設(shè)計(jì)應(yīng)用中順利引入和集成計(jì)算系統(tǒng)奠定了基礎(chǔ)。臺積電目前已收到美光第二代 HBM3 內(nèi)存樣片，正與美光密切合作進(jìn)行下一步的評估和測試，助力客戶的下一代高性能計(jì)算應(yīng)用創(chuàng)新。

美光第二代 HBM3 解決方案滿足了生成式 AI 領(lǐng)域?qū)Χ嗄B(tài)、數(shù)萬億參數(shù) AI 模型日益增長的需求。憑借高達(dá) 24GB 的單模塊容量和超過 9.2Gb/s 的引腳速率，美光 HBM3 能使大型語言模型的訓(xùn)練時(shí)間縮短 30% 以上，從而降低總體擁有成本。此外，美光 HBM3 將觸發(fā)每日查詢量的顯著增加，從而更有效地利用訓(xùn)練過的模型。美光第二代 HBM3 內(nèi)存擁有業(yè)界一流的每瓦性能，將切實(shí)推動現(xiàn)代 AI 數(shù)據(jù)中心節(jié)省運(yùn)營開支。在已經(jīng)部署的 1,000 萬個(gè)圖形處理器（GPU）用例中，單個(gè) HBM 模塊可節(jié)約 5W 功耗，能在五年內(nèi)節(jié)省高達(dá) 5.5 億美元的運(yùn)營費(fèi)用。

美光副總裁暨計(jì)算與網(wǎng)絡(luò)事業(yè)部計(jì)算產(chǎn)品事業(yè)群總經(jīng)理 Praveen Vaidyanathan 表示：“美光第二代 HBM3 解決方案旨在為客戶及業(yè)界提供卓越的人工智能和高性能計(jì)算解決方案。我們的一個(gè)重要考量標(biāo)準(zhǔn)是，該產(chǎn)品在客戶平臺上是否易于集成。美光 HBM3 具有完全可編程的內(nèi)存內(nèi)建自測試（MBIST）功能，可在完整規(guī)格的引腳速度下運(yùn)行，使美光能為客戶提供更強(qiáng)大的測試能力，實(shí)現(xiàn)高效協(xié)作，助力客戶縮短產(chǎn)品上市時(shí)間?！?/p>

英偉達(dá)超大規(guī)模和高性能計(jì)算副總裁 Ian Buck 表示：“生成式 AI 的核心是加速計(jì)算，HBM 的高帶寬至關(guān)重要，并帶來更出色的能效。我們與美光在眾多產(chǎn)品領(lǐng)域保持了長期合作，非常期待與美光在第二代 HBM3 產(chǎn)品上繼續(xù)合作，加速 AI 創(chuàng)新?！?/p>

第二代 HBM3 是美光領(lǐng)先技術(shù)的又一個(gè)里程碑。美光此前宣布推出基于 1α（1-alpha）節(jié)點(diǎn)、24Gb 單塊 DRAM 裸片的 96GB 容量 DDR5 模組用于大容量服務(wù)器解決方案；如今推出基于 1β 節(jié)點(diǎn)、24Gb 單塊 DRAM 裸片的 24GB 容量 HBM3 產(chǎn)品，并計(jì)劃于 2024 年上半年推出基于 1β 節(jié)點(diǎn)、32Gb 單塊 DRAM 裸片的 128GB 容量 DDR5 模組。這些新品展現(xiàn)了美光在 AI 服務(wù)器領(lǐng)域的前沿技術(shù)創(chuàng)新。

審核編輯：湯梓紅