為什么需要HBM？

半導體的先進封裝為克服阻礙高性能計算應用程序的內存訪問障礙提供了機會。在數(shù)據(jù)中心和邊緣運行的技術，如 AI 和視覺，具有與之相關的巨大內存和計算要求，內存的延遲和密度都是可以在封裝級別解決的挑戰(zhàn)。

為了克服這些挑戰(zhàn)，半導體封裝設計人員采用了異構集成路線，以在更靠近處理器的位置包含更多內存。而高帶寬內存就為現(xiàn)代處理器和嵌入式系統(tǒng)當前面臨的內存障礙問題提供了解決方案。這些存儲器為系統(tǒng)設計人員提供了兩個優(yōu)勢：一是減少組件占用空間和外部存儲器要求；二是更快的內存訪問時間和速率。

由于這些優(yōu)勢，預計會看到更多更先進的處理器在封裝和模塊中包含更多的高帶寬內存。

查看標準組件數(shù)據(jù)表（例如，微控制器和 MPU）和計算機/服務器 CPU，您會發(fā)現(xiàn)大量具有片上/封裝內存的組件。組件封裝中使用了許多不同的存儲器，其中閃存最為常見。經常看到中等大小的片上或封裝內閃存塊用于存儲小型二進制文件或嵌入式應用程序的配置設置。較舊的封裝中可能還包含少量同步隨機存取存儲器 (SRAM) 或動態(tài)隨機存取存儲器 (DRAM)；許多流行的微控制器都將片上 SRAM 作為標準功能。

因此，為了增加高性能計算系統(tǒng)的內存容量，半導體制造商在其 CPU 封裝中包括 3D 堆疊 DRAM 小芯片以及處理器核心硅片。就在去年（2022 年），AMD在面向數(shù)據(jù)中心基礎設施的產品中推出了第一批帶有堆疊DRAM 和 SRAM芯片的服務器 CPU。隨著越來越多的公司完善該技術，預計會有更多產品包含這些 DRAM 堆棧，它們通過高帶寬內存 (HBM) 接口與內核通信。

下圖顯示了典型的異構集成封裝中的典型堆疊 DRAM 結構。堆棧 DRAM 位于基板/中介層堆棧上，線路通過這些線路連接到 CPU，以提供所需的內存接口。這些 DRAM 芯片與垂直硅通孔 (TSV) 連接，以提供返回到中介層并最終返回到內核所需的連接。

目前，由 JEDEC 發(fā)布的 HBM3 標準是 HBM 結構特性和性能的管理標準。HBM3 標準中的一些規(guī)定總結如下。

用于構建 DRAM 堆棧的技術最初是為圖形處理器開發(fā)的，但它已經擴展到內存以實現(xiàn)上表所示的超高帶寬。

與其他 JEDEC RAM 類型的比較，總的來說，JEDEC 定義了三種其他類型的 RAM，它們不同于 HBM 并且出現(xiàn)在處理器封裝之外：

雙倍數(shù)據(jù)速率 (DDR) — 用于計算機、筆記本電腦的標準 RAM

圖形 DDR (GDDR) — 用于 GPU 中的板載內存

低功耗 DDR (LPDDR) — 主要用于移動設備（手機、平板電腦）

最近的趨勢繼續(xù)將這些新一代 RAM 推向更快的時鐘速度，以便可以不斷提高數(shù)據(jù)傳輸速率。這些存儲器的前幾代面臨的挑戰(zhàn)是，這是獲得高數(shù)據(jù)傳輸速率的唯一途徑，因為總線寬度非常窄。HBM 不是這種情況；HBM 中的總線寬度非常寬，因此內存接口可以以較低的速率運行，但仍能在寬總線上提供極快的數(shù)據(jù)傳輸。這是將 HBM與其他 DDR 區(qū)分開來的主要操作因素之一。

對于嵌入式系統(tǒng)設計師、嵌入式計算模塊設計師、封裝設計師和相關領域的許多其他芯片設計師來說，則可以從采用 HBM 的處理器中獲益匪淺。最大的好處是通過消除主板上的外部存儲芯片來減小系統(tǒng)尺寸。目前 3D 堆疊 DRAM 的成本相當高，但隨著這些組件市場的發(fā)展和工藝的進步，預計價格將比標準 RAM 選項更具競爭力。

將內存模塊放置在封裝中的另一個好處是減少了高計算處理操作所需的時間。這是抑制視覺等領域大型數(shù)據(jù)集實時處理的主要因素。每次必須從外部存儲器獲取數(shù)據(jù)時，處理時間都會增加。將處理和內存放在同一個包中消除了這個障礙并實現(xiàn)了更快的計算。

在數(shù)據(jù)中心之外需要這些類型的組件的一些現(xiàn)代系統(tǒng)包括機器人技術、高級駕駛輔助系統(tǒng)、成像雷達、傳感器與視覺融合、高性能計算。

在這五個應用領域列表中，針對前四個領域的系統(tǒng)正在為實時系統(tǒng)構建，這需要 HBM 可以提供的極低處理延遲。


審核編輯：湯梓紅