0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

速度優(yōu)勢是HBM產品成功的關鍵

jf_pJlTbmA9 ? 來源:SK海力士 ? 作者:SK海力士 ? 2023-11-29 16:22 ? 次閱讀

高帶寬存儲器(HBM, High Bandwidth Memory)是一種可以實現(xiàn)高帶寬的高附加值DRAM產品,適用于超級計算機、AI加速器等對性能要求較高的計算系統(tǒng)。隨著計算技術的發(fā)展,機器學習的應用日漸廣泛,而機器學習的基礎是自20世紀80年代以來一直作為研究熱點的神經網絡模型。作為速度最快的DRAM產品,HBM在克服計算技術的局限性方面發(fā)揮著關鍵的作用。

HBM的高帶寬離不開各種基礎技術和先進設計工藝的支持。由于HBM是在3D結構中將一個邏輯die與4-16個DRAM die堆疊在一起,因此開發(fā)過程極為復雜。鑒于技術上的復雜性,HBM是公認最能夠展示廠商技術實力的旗艦產品。

從2015年推出HBM1到2021年10月開發(fā)業(yè)界第一款HBM3 DRAM1,SK海力士一直是HBM行業(yè)的領軍企業(yè)。SK海力士的HBM產品大獲成功的首要因素是產品特性,具體而言,產品設計在保證市場競爭力方面發(fā)揮了重要作用。SK海力士HBM設計團隊負責將產品規(guī)格落實到實際電路中,同時開發(fā)配套的產品架構和設計技術,以確保準確實現(xiàn)產品功能、高性能和低功耗特性。得益于對產品的全面了解,HBM設計團隊還在未來產品規(guī)劃及規(guī)格定義方面發(fā)揮著至關重要的作用。此外,HBM設計團隊會聆聽客戶反饋,并圍繞問題展開分析。

產品特性通常分為三類:性能、功耗和面積,即PPA (Power, Performance, Area)。本文著重探討如何通過卓越的設計工藝來提高產品性能或創(chuàng)造速度優(yōu)勢。如前所述,HBM支持高帶寬,而帶寬指的是在特定單位時間內可以傳輸?shù)臄?shù)據(jù)量。由于具有高帶寬的特性,HBM主要應用于高性能計算場景。

通過機器學習解決偏移問題

過去八年來,HBM產品帶寬增加了七倍,目前已接近1TB/秒的里程碑節(jié)點。鑒于同期內其他產品的帶寬僅增加兩到三倍,我們有理由將HBM產品的快速發(fā)展歸功于存儲器制造商之間激烈的競爭。

wKgZomVdhUuAR0K_AADTaO1O_Z8422.png

<圖1:ISSCC上發(fā)表的HBM相關文章的趨勢 >

存儲器帶寬指單位時間內可以傳輸?shù)臄?shù)據(jù)量,要想增加帶寬,最簡單的方法是增加數(shù)據(jù)傳輸線路的數(shù)量。事實上,每個HBM由多達1024個數(shù)據(jù)引腳組成,HBM內部的數(shù)據(jù)傳輸路徑隨著每一代產品的發(fā)展而顯著增長,如圖2所示。

wKgaomVdhVGAS4sZAACw98uIyow744.png

<圖2:各代HBM產品的數(shù)據(jù)傳輸路徑配置>

但是,芯片的尺寸限制了傳輸路徑的增加。因為增加的不僅是數(shù)據(jù)傳輸線路,還有使用每條傳輸線路的傳輸/接收電路。此外,隨著傳輸線路的增加,等量匹配每條傳輸線路長度和配置的難度加大,使得運行速度無法提升。

傳輸線路之間的時序差異就是我們所說的偏移。為了減少偏移,每條傳輸線路的總長度和電子元件應采用相似的設計。然而,HBM有數(shù)千條內部傳輸線路,逐一匹配幾乎是不可能的任務。為此,SK海力士引入了機器學習。強化學習(Reinforcement learning)技術可以在每條傳輸線路上附加多余的傳輸路徑,無需工程師手動作業(yè),即可精確地優(yōu)化偏移問題,由此減少整個傳輸路徑間的偏移。

wKgZomVdhVeAAZyMAAHChtH5VY4259.png

<圖3:基于機器學習技術的信號線路優(yōu)化>

圖3顯示了這一優(yōu)化過程。一些90度彎曲的線路具有不同的特性,因此必須通過增加紅色附加線的方式來減少偏移(Skew)。與初始的隨機解決方案(如圖3左側所示)相比,強化學習技術的使用可以帶來最優(yōu)結果(如右圖所示)。通過這種方法,偏移從100皮秒(100 ps)縮短至70皮秒(70 ps),降幅達30%。

通過PVT感知時序優(yōu)化來提高速度

即使偏移問題得到優(yōu)化,各種信號之間相對時序關系的匹配仍然是一個難題。例如,每32個數(shù)據(jù)信號對應一個時鐘信號(clock signal)*,如果需要由時鐘信號來控制數(shù)據(jù)信號,那么時鐘信號必須采用與數(shù)據(jù)信號不同的電路。電路配置的差異也會導致關系的變化,具體取決于工藝、電壓、溫度(PVT)的變化。無論何種情況下,時鐘都必須位于數(shù)據(jù)的特定時序部分。但是,隨著運行速度的提升,時序部分會減少,由此增加了設計復雜度。

* 時鐘信號(clock signal):在同步數(shù)字電路中,時鐘信號在高位和低位狀態(tài)之間振蕩,并且像節(jié)拍器一樣用于協(xié)調數(shù)字電路的動作。

為了解決這一問題,SK海力士采用PVT感知時序優(yōu)化技術來檢測HBM3中的PVT變化,以找到最佳時序。這項技術可以確定單元電路的哪一個分級與精確循環(huán)的外部時鐘輸入具有相同的周期,并基于該數(shù)據(jù)自動優(yōu)化主時序裕量電路(timing margin circuit)中的電路配置。如圖4所示,隨著PVT的變化,時鐘時序通常會將時鐘移動到一側,而PVT感知時序優(yōu)化技術可以在任何情況下讓時鐘始終保持在中心位置,以此來提高速度。

wKgZomVdhVmARwMWAAPPkgr6kvQ520.png

<圖4:PVT感知時序優(yōu)化技術>

為了增加作為HBM關鍵性能指標的帶寬,SK海力士正在開發(fā)一系列設計技術,包括數(shù)據(jù)路徑優(yōu)化、基于機器學習的信號線路優(yōu)化、PVT感知時序優(yōu)化技術以及全新工藝技術等?;Adie與典型DRAM工藝的不同之處在于基礎die沒有單元,利用這一特性,我們正在開發(fā)HBM優(yōu)化工藝技術以及用于3D堆棧的先進封裝技術。

通過上述一系列努力,SK海力士實現(xiàn)了HBM的快速發(fā)展。然而,為了滿足客戶不斷增加的期望,打破現(xiàn)有框架進行新技術開發(fā)勢在必行。此外,SK海力士還在與HBM生態(tài)系統(tǒng)中的參與者(客戶、代工廠和IP公司等)通力合作,以提升生態(tài)系統(tǒng)等級。商業(yè)模式的轉變同樣是大勢所趨。作為HBM領軍企業(yè),SK海力士將致力于在計算技術領域不斷取得進步,全力實現(xiàn)HBM的長期發(fā)展。

wKgaomVdhWCABUEQAADSfvrqUVw088.png

文章來源:SK海力士

審核編輯 黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • DRAM
    +關注

    關注

    40

    文章

    2315

    瀏覽量

    183483
  • 帶寬
    +關注

    關注

    3

    文章

    929

    瀏覽量

    40921
  • 機器學習
    +關注

    關注

    66

    文章

    8418

    瀏覽量

    132628
  • HBM
    HBM
    +關注

    關注

    0

    文章

    380

    瀏覽量

    14755
收藏 人收藏

    評論

    相關推薦

    風景獨好?12層HBM3E量產,16層HBM3E在研,產業(yè)鏈涌動

    海力士宣布公司已開始量產12H HBM3E芯片,實現(xiàn)了現(xiàn)有HBM產品中最大的36GB容量。該產品堆疊12顆3GB DRAM芯片,實現(xiàn)與現(xiàn)有的8層產品
    的頭像 發(fā)表于 10-06 01:03 ?3827次閱讀
    風景獨好?12層<b class='flag-5'>HBM</b>3E量產,16層<b class='flag-5'>HBM</b>3E在研,產業(yè)鏈涌動

    HBM4到來前夕,HBM熱出現(xiàn)兩極分化

    電子發(fā)燒友網報道(文/黃晶晶)高帶寬存儲器HBM由于生成式AI的到來而異軍突起,成為AI訓練不可或缺的存儲產品。三大HBM廠商SK海力士、三星電子、美光科技也因HBM的供應迎來了業(yè)績的
    的頭像 發(fā)表于 09-23 12:00 ?2594次閱讀

    HBM格局生變!傳三星HBM3量產供貨英偉達,國內廠商積極布局

    一家獨大,變?yōu)槿?、SK海力士和美光的“三分天下”。 ? 當然,國產HBM也迎來了積極進展,國芯科技和紫光國微都公開透露過進展。 ? HBM對高性能計算至關重要 HBM也就是?高帶寬存儲器,?以其高帶寬和快速的數(shù)據(jù)傳輸
    的頭像 發(fā)表于 07-23 00:04 ?3782次閱讀

    美光發(fā)布HBM4與HBM4E項目新進展

    2048位接口,這一技術革新將大幅提升數(shù)據(jù)傳輸速度和存儲效率。美光計劃于2026年開始大規(guī)模生產HBM4,以滿足日益增長的高性能計算需求。 除了HBM4,美光還透露了HBM4E的研發(fā)計
    的頭像 發(fā)表于 12-23 14:20 ?109次閱讀

    SK海力士發(fā)布HBM3e 16hi產品

    在近日舉辦的SK AI Summit 2024活動中,SK hynix(SK海力士)透露了一項令人矚目的新產品計劃。據(jù)悉,該公司正在積極開發(fā)HBM3e 16hi產品,這款產品的每顆
    的頭像 發(fā)表于 11-14 18:20 ?511次閱讀

    SK海力士12層堆疊HBM3E率先量產

    SK海力士近日宣布了一項重大突破,公司已成功在全球范圍內率先實現(xiàn)12層堆疊HBM3E的量產,這一里程碑式的成就標志著其在高端存儲技術領域的持續(xù)領先地位。這款新品不僅將HBM產品的容量提
    的頭像 發(fā)表于 09-27 16:49 ?550次閱讀

    HBM上車之后,移動HBM有望用在手機上

    和連接LPDDR DRAM來增加內存帶寬,它與HBM類似,通過將常規(guī)DRAM堆疊8層或12層來提高數(shù)據(jù)吞吐量,并具有低功耗的優(yōu)勢。 ? 以LPDDR為代表的移動DRAM芯片由于其較小的尺寸,并不適用于與HBM相同的TSV連接方案
    的頭像 發(fā)表于 09-06 00:21 ?3386次閱讀
    繼<b class='flag-5'>HBM</b>上車之后,移動<b class='flag-5'>HBM</b>有望用在手機上

    臺積電攜手創(chuàng)意電子斬獲HBM4關鍵界面芯片大單

    在科技浪潮的涌動下,臺積電再次展現(xiàn)其行業(yè)領導者的地位。據(jù)臺媒《經濟日報》6月24日報道,繼獨家代工英偉達、AMD等科技巨頭AI芯片之后,臺積電近日攜手旗下創(chuàng)意電子,成功斬獲下一代HBM4(高帶寬內存
    的頭像 發(fā)表于 06-24 15:06 ?751次閱讀

    三星電子否認HBM產品未達標,多家合作公司保證質量

    針對媒體報道三星電子高帶寬存儲(HBM產品未達英偉達品質標準的傳聞,三星予以明確否認。該報道列舉了散熱及功耗等問題,并稱三星的HBM產品尚未經過英偉達嚴謹?shù)臏y試環(huán)節(jié)。
    的頭像 發(fā)表于 05-27 09:51 ?389次閱讀

    臺積電在歐洲技術研討會上展示HBM4的12FFC+和N5制造工藝

    目前,我們正在攜手眾多HBM存儲伙伴(如美光、三星、SK海力士等)共同推進HBM4在先進制程中的全面集成。12FFC+基礎Dies在滿足HBM性能需求的同時,具有顯著的成本優(yōu)勢;而N5
    的頭像 發(fā)表于 05-17 10:07 ?568次閱讀

    HBM:突破AI算力內存瓶頸,技術迭代引領高性能存儲新紀元

    HBM制造集成前道工藝與先進封裝,TSV、EMC、鍵合工藝是關鍵。HBM制造的關鍵在于TSV DRAM,以及每層TSV DRAM之間的連接方式。
    發(fā)表于 03-14 09:58 ?1251次閱讀
    <b class='flag-5'>HBM</b>:突破AI算力內存瓶頸,技術迭代引領高性能存儲新紀元

    三星電子發(fā)布業(yè)界最大容量HBM

    三星電子近日宣布,公司成功研發(fā)并發(fā)布了其首款12層堆疊HBM3E DRAM,即HBM3E 12H,該產品在帶寬和容量上均實現(xiàn)了顯著的提升,這也意味著三星已開發(fā)出業(yè)界迄今為止容量最大的新
    的頭像 發(fā)表于 03-08 10:10 ?695次閱讀

    HBM、HBM2、HBM3和HBM3e技術對比

    AI服務器出貨量增長催化HBM需求爆發(fā),且伴隨服務器平均HBM容量增加,經測算,預期25年市場規(guī)模約150億美元,增速超過50%。
    發(fā)表于 03-01 11:02 ?1473次閱讀
    <b class='flag-5'>HBM</b>、<b class='flag-5'>HBM</b>2、<b class='flag-5'>HBM</b>3和<b class='flag-5'>HBM</b>3e技術對比

    三星發(fā)布首款12層堆疊HBM3E DRAM

    近日,三星電子宣布,已成功發(fā)布其首款12層堆疊的高帶寬內存(HBM3E)產品——HBM3E 12H,再次鞏固了其在半導體技術領域的領先地位。據(jù)了解,
    的頭像 發(fā)表于 02-27 14:28 ?1072次閱讀

    三星電子成功發(fā)布其首款12層堆疊HBM3E DRAM—HBM3E 12H

    2024年2月27日 - 三星電子今日宣布,公司成功發(fā)布其首款12層堆疊HBM3E DRAM——HBM3E 12H,這是三星目前為止容量最大的HBM
    的頭像 發(fā)表于 02-27 11:07 ?780次閱讀