HBM4進一步打破內存墻，Rambus控制器IP先行

電子發(fā)燒友網(wǎng)報道（文/黃晶晶）2022年11月發(fā)布的GPT-3使用1750億個參數(shù)，而今年5月發(fā)布的最新版本GPT-4o則使用超過1.5萬億個參數(shù)。在過去幾年里，這些大語言模型的規(guī)模增長了超過400倍。但我們看到，在相同時間內硬件內存的規(guī)模僅增長了兩倍。

那么要完成這些AI模型的任務，就必須投入額外數(shù)量的GPU和AI加速器，才能滿足對內存容量和帶寬的需求。同時內存系統(tǒng)也必須不斷升級。Rambus在內存系統(tǒng)領域擁有超過30年的高性能內存系統(tǒng)開發(fā)和研究經(jīng)驗，一直以來都是市場的領導者。近日，Rambus研究員兼杰出發(fā)明家Steven Woo博士和Rambus大中華區(qū)總經(jīng)理蘇雷先生接受媒體采訪，分享了Rambus的HBM4控制器IP新品，以及對內存市場的看法。

HBM內存技術演進

HBM高性能內存具有非常高的帶寬和密度，遠高于市面上常見的普通DRAM。HBM內存非常適用于AI訓練、高性能計算和網(wǎng)絡應用。

Steven Woo博士解析，HBM的DRAM堆棧使用多層堆棧的架構，實現(xiàn)高內存帶寬、高容量和高能效。其中一個內存晶片通過中介層的物理連接，與處理器進行相應的連接，每個HBM內存設備與處理器之間的數(shù)據(jù)通路由1024根“線”或信號路徑組成。上面這些部分共同與一個基板相連接，最后基板焊接在PCB上面。


他進一步指出，隨著命令、地址、時鐘和其他附加信號的加入，HBM3所需的信號路徑數(shù)量增加到約1700條。上千條信號路徑遠遠超出了標準PCB所能支持的范圍。因此，采用硅中介層作為橋梁，將內存設備和處理器連接起來。類似于集成電路，硅中介層上可以蝕刻出間距非常小的信號路徑，從而實現(xiàn)所需數(shù)量的信號線來滿足HBM接口的要求。正是由于這種精巧的結構設計和HBM DRAM的堆疊方式，HBM內存才能提供極高的內存帶寬、優(yōu)異的能效、極低的延遲，同時占用最小的面積。

下圖可以看到，不同代際的HBM內存在數(shù)據(jù)傳輸速度、單個堆棧帶寬、堆棧厚度以及最大設備容量等方面的具體參數(shù)。



可以看到，每一代HBM最明顯變化就是單個堆棧帶寬的急劇增加。HBM3E單個設備的帶寬超過了1.2TB/s。HBM3設備正在變得非常流行，主要的DRAM制造商，如SK海力士、美光和三星，已經(jīng)宣布推出HBM3E設備，數(shù)據(jù)傳輸速率最高可達9.6Gbps。從單個堆棧的角度來看，HBM4的帶寬將達到1.6TB/s，而這只是單個堆棧的帶寬，最終的實際帶寬可能會更高。隨著行業(yè)推出越來越快的HBM內存器件，Rambus作為內存控制器IP提供商，在這一過程中扮演著重要角色。

Rambus HBM4控制器IP

Rambus最新推出業(yè)內首款HBM4控制器IP，可以支持新一代HBM內存的部署，適用于最先進的處理器，包括AI加速器、圖形處理器和高性能計算應用。

HBM4的控制器IP提供了32個獨立通道的接口，總數(shù)據(jù)寬度可達2048位?；谶@一數(shù)據(jù)寬度，當數(shù)據(jù)速率為6.4Gbps時，HBM4的總內存吞吐量將比HBM3高出兩倍以上，達到1.64TB/s。與Rambus的HBM3E控制器一樣，HBM4內存控制器IP也是一個模塊化、高度可配置的解決方案。




根據(jù)客戶在應用場景中的獨特需求，可提供定制化服務，涵蓋尺寸、性能和功能等方面。關鍵的可選功能包括ECC、RMW和錯誤清理等。此外，為了確保客戶能夠根據(jù)需要選擇各種第三方PHY并應用于系統(tǒng)中，Rambus與領先的PHY供應商開展了合作，確保客戶在開發(fā)過程中能夠一次流片成功。

依托于多年來在HBM內存領域積累的豐富經(jīng)驗。在HBM市場上，Rambus的市場份額位居第一，并且已經(jīng)成功完成了超過100次的HBM設計。此前，其成功交付了業(yè)界領先的HBM3E內存控制器，以及業(yè)界最高數(shù)據(jù)傳輸速率的HBM2E內存控制器，速率達到每秒4 Gbps。因此，客戶可以放心選擇Rambus，因為Rambus在構建成功系統(tǒng)方面擁有多年的經(jīng)驗，能夠為他們提供所需的全方位支持。


為了幫助客戶實現(xiàn)一次流片成功，Rambus提供的三大支持包括控制器測試平臺、驗證IP、物理層PHY支持，支持各種第三方PHY。



其IP產(chǎn)品組合提供了高性能芯片和處理器解決方案的核心構建模塊，包括HBM和GDDR內存控制器、PCIe和CXL協(xié)議控制器，以及后量子密碼學、Root of Trust和加密等安全功能。


Rambus大中華區(qū)總經(jīng)理蘇雷先生表示，得益于我們在HBM領域多年的經(jīng)驗和專業(yè)知識，在整個中華區(qū)，乃至于整個全球市場份額Rambus都是排名前列。Rambus的HBM控制器IP能夠得到中國客戶的認可，除了Rambus HBM的技術先進，比如說信號完整性、電源完整性，以及應對其他挑戰(zhàn)等之外，也非常注重售中和售后的服務。針對客戶的項目產(chǎn)品規(guī)格、配置方面我們會在技術方面給予一些最佳的建議和參考。幫助客戶提前規(guī)避一些技術難題，并且更加快速地推出產(chǎn)品，這對客戶來說是非常寶貴的產(chǎn)品附加值。這些都不斷驅動著我們在HBM領域繼續(xù)保持全球領先。

Rambus HBM4控制器IP現(xiàn)已開放授權，早期設計客戶可立即申請。預計客戶在2025年將其集成到芯片設計中，這些芯片設計預計將在2026年上市。


小結：

Rambus認為未來的人工智能將繼續(xù)在性能、功效和內存容量方面取得重大改進。這將需要許多不同的公司共同努力，Rambus 這樣的內存IP公司將改進內存系統(tǒng)，處理器廠商也必須通過壓縮數(shù)據(jù)和使用新的數(shù)字格式等方式來改進處理。軟件開發(fā)人員將來要與硬件開發(fā)人員更多地合作，進行軟硬件協(xié)同設計?？傊狭ν苿覣I的應用進程。