新一代AI/ML加速器新型內(nèi)存解決方案——HBM2E內(nèi)存接口

近年來，隨著內(nèi)存帶寬逐漸成為影響人工智能持續(xù)增長的關(guān)鍵焦點領(lǐng)域之一，以高帶寬內(nèi)存(HBM、HBM2、HBM2E)和GDDR開始逐漸顯露頭角，成為搭配新一代AI/ML加速器和專用芯片的新型內(nèi)存解決方案。

人工智能/機器學(xué)習(xí)(AI/ML)在全球范圍內(nèi)的迅速興起，正推動著制造業(yè)、交通、醫(yī)療、教育和金融等各個領(lǐng)域的驚人發(fā)展。從2012年到2019年，人工智能訓(xùn)練能力增長了30萬倍，平均每3.43個月翻一番，就是最有力的證明。支持這一發(fā)展速度需要的遠(yuǎn)不止摩爾定律，人工智能計算機硬件和軟件的各個方面都需要不斷的快速改進(jìn)。

2012-2019年，人工智能訓(xùn)練能力增長30萬倍(圖片來源：openai.com)

而中國作為全球人工智能發(fā)展最快的國家之一，正備受矚目。根據(jù)德勤最新發(fā)布的統(tǒng)計預(yù)測數(shù)據(jù)顯示，2020年全球人工智能市場規(guī)模將達(dá)到6800億元人民幣，復(fù)合增長率(CAGR)達(dá)26%。而中國人工智能市場的表現(xiàn)尤為突出，2019年末已經(jīng)達(dá)到了510億元人民幣的市場規(guī)模，人工智能企業(yè)超過2600家。預(yù)計到2020年，中國AI市場規(guī)模將達(dá)到710億元人民幣，五年間(2015-2020)的復(fù)合增長率高達(dá)44.5%。

近年來，中國正在積極推動人工智能與實體經(jīng)濟的融合，從而實現(xiàn)產(chǎn)業(yè)的優(yōu)化升級。2017年7月，國務(wù)院印發(fā)了《新一代人工智能發(fā)展規(guī)劃》，這一規(guī)劃與2015年5月發(fā)布的《中國制造2025》共同構(gòu)成了中國人工智能戰(zhàn)略的核心。這份具有里程碑意義的規(guī)劃，對人工智能發(fā)展進(jìn)行了戰(zhàn)略性部署，力爭到2030年把中國建設(shè)成為世界主要人工智能創(chuàng)新中心。此外，2020年還是中國的新基建元年，而人工智能作為一大重點板塊，勢必成為新基建的核心支撐。

內(nèi)存帶寬將是影響AI發(fā)展的關(guān)鍵因素

“內(nèi)存帶寬將成為人工智能持續(xù)增長的關(guān)鍵焦點領(lǐng)域之一。”Rambus IP核產(chǎn)品營銷高級總監(jiān) Frank Ferro日前在接受《電子工程專輯》采訪時表示，以先進(jìn)的駕駛員輔助系統(tǒng)(ADAS)為例，L3級及更高級別系統(tǒng)的復(fù)雜數(shù)據(jù)處理需要超過200GB/s的內(nèi)存帶寬。這些高帶寬是復(fù)雜AI/ML算法的基本需求，自駕過程中需要這些算法快速執(zhí)行大量計算并安全地執(zhí)行實時決策。而在L5級，如果車輛要能夠獨立地對交通標(biāo)志和信號的動態(tài)環(huán)境做出反應(yīng)，以便準(zhǔn)確地預(yù)測汽車、卡車、自行車和行人的移動，將需要超過500GB/s的內(nèi)存帶寬。

不同ADAS級別對存儲帶寬的要求(圖片來源：anandtech.com)

鑒于此，高帶寬內(nèi)存(HBM、HBM2、HBM2E)和GDDR開始逐漸顯露頭角，成為搭配新一代AI/ML加速器和專用芯片的新型內(nèi)存解決方案。他說過去幾年內(nèi)，HBM、HMC、PAM4等標(biāo)準(zhǔn)在市場上展開了激烈的競爭，但從目前的發(fā)展態(tài)勢來看，還是HBM占據(jù)了更多的市場份額。不過他同時也坦承，由于汽車安全等級要求很高，考慮到HBM本身采用的是復(fù)雜的2.5D架構(gòu)，再結(jié)合DRAM設(shè)備，所以目前為止在汽車市場上并沒有得到突破性的應(yīng)用，相比之下，GDDR反而會是比較好的解決方案。

高帶寬內(nèi)存(HBM)于2013年推出，是一種高性能3D堆棧SDRAM構(gòu)架。與前一代產(chǎn)品一樣，HBM2為每個堆棧包含最多8個內(nèi)存芯片，同時將管腳傳輸速率翻倍，達(dá)到2Gbps。HBM2實現(xiàn)每個封裝256GB/s的內(nèi)存帶寬(DRAM堆棧)，采用HBM2規(guī)格，每個封裝支持高達(dá)8GB的容量。

2018年末，JEDEC宣布推出HBM2E規(guī)范，以支持增加的帶寬和容量。當(dāng)傳輸速率上升到每管腳3.6Gbps時，HBM2E可以實現(xiàn)每堆棧461GB/s的內(nèi)存帶寬。此外，HBM2E支持12個DRAM的堆棧，內(nèi)存容量高達(dá)每堆棧24GB。

單一DRAM堆棧的HBM2E內(nèi)存系統(tǒng)(圖片來源：Rambus)

HBM2E提供了達(dá)成巨大內(nèi)存帶寬的能力。連接到一個處理器的四塊HBM2E內(nèi)存堆棧將提供超過1.8TB/s的帶寬。通過3D堆疊內(nèi)存，可以以極小的空間實現(xiàn)高帶寬和高容量需求。進(jìn)一步，通過保持相對較低的數(shù)據(jù)傳輸速率，并使內(nèi)存靠近處理器，總體系統(tǒng)功率得以維持在較低水位。

坦率的說，采用HBM的設(shè)計的代價是增加復(fù)雜性和成本，因此Frank Ferro并不建議在人工智能推理應(yīng)用中使用HBM技術(shù)。然而，對于人工智能訓(xùn)練應(yīng)用，HBM2E的優(yōu)點使其成為一個更好的選擇。它的性能非常出色，所增加的采用和制造成本可以透過節(jié)省的電路板空間和電力相互的緩解。在物理空間日益受限的數(shù)據(jù)中心環(huán)境中，HBM2E緊湊的體系結(jié)構(gòu)提供了切實的好處。它的低功率意味著它的熱負(fù)荷較低，在這種環(huán)境中，冷卻成本通常是幾個最大的運營成本之一。官方數(shù)據(jù)顯示，Rambus IP系統(tǒng)以及IP產(chǎn)品在實驗室經(jīng)過了非常嚴(yán)苛的環(huán)境測試，確保從零下50到125攝氏度范圍內(nèi)均能夠正常運行。

同時，F(xiàn)rank Ferro也不認(rèn)為在芯片上采取分布式內(nèi)存的方法會給HBM2E和GDDR長期的發(fā)展帶來影響。原因在于盡管SRAM的速度和延遲性都高于DRAM，但在固定的芯片面積上能安裝的SRAM數(shù)量卻非常少，很多情況下為了滿足人工智能訓(xùn)練的需求，一部分SRAM設(shè)備不得不裝在芯片之外，這就是問題所在。但總體來說，這兩種方案屬于從不同角度出發(fā)解決同一個問題，兩者之間是互補而非相互阻礙。

創(chuàng)紀(jì)錄的性能

針對高帶寬和低延遲進(jìn)行了優(yōu)化，Rambus HBM2E內(nèi)存接口解決方案實現(xiàn)了創(chuàng)紀(jì)錄的4Gbps性能。該解決方案由完全集成且經(jīng)過驗證的PHY和內(nèi)存控制器IP組成，搭配SK Hynix 3.6Gbps運行速度的HBM2E DRAM，在物理層面實現(xiàn)了完整的集成互聯(lián)，可以從單個HBM2E設(shè)備提供460GB/s的帶寬，這也被Frank Ferro視作其HBM2E 產(chǎn)品的核心差異化優(yōu)勢之一。這意味著，除了提供完整的內(nèi)存子系統(tǒng)、硬核PHY和時序收斂外，用戶額外需要的系統(tǒng)級支持、工具套件和技術(shù)服務(wù)也都包含在內(nèi)，集成難度和設(shè)計時間得以大幅度下降。

Rambus HBM2E 4Gbps發(fā)送端眼圖(圖片來源：Rambus)

從2017年正式投產(chǎn)HBM解決方案以來，Rambus目前已經(jīng)擁有第三代PHY和第二代內(nèi)存控制器IP，全球范圍內(nèi)的成功案例項目超過50個。除了4Gbps HBM2E外，Rambus在其他不同工藝節(jié)點的產(chǎn)品還包括采用Global Foundries 12nm/14nm工藝的HBM2，速度為2.0 Gbps/s；采用Global Foundries 12LP+和三星14nm/11nm工藝的HBM2E產(chǎn)品。

不可否認(rèn)，4.0Gbps是一個全新的行業(yè)標(biāo)桿。在這一過程中，Rambus與SK hynix和Alchip展開了合作，采用臺積電N7工藝和CoWoS?先進(jìn)封裝技術(shù)，實現(xiàn)了HBM2E 2.5D系統(tǒng)在硅中驗證Rambus HBM2E PHY和內(nèi)存控制器IP。Alchip與Rambus的工程團隊共同設(shè)計，負(fù)責(zé)中介層和封裝基板的設(shè)計。

“在我們提供的完整參考設(shè)計框架中，最重要的一點就是如何更好地對中介層進(jìn)行完整的設(shè)計和表征化處理，以確保信號完整性。此外，我們還協(xié)助用戶對每個信號通道進(jìn)行仿真分析，通過Lab Station工具對內(nèi)存子系統(tǒng)進(jìn)行最優(yōu)化設(shè)計，并提供在SI高速信號完整性和電源完整性方面的經(jīng)驗等等?！盕rank Ferro說Rambus的初衷，不僅僅只是扮演IP供應(yīng)商的角色，更是希望在系統(tǒng)層面降低用戶設(shè)計難度。

信號完整性之所以如此重要，是因為HBM作為高速內(nèi)存接口，在與中介層互聯(lián)的過程中包括至少上千條不同的數(shù)據(jù)鏈路，必須要確保所有鏈路的物理空間得到良好的控制，整個信號的完整性也必須得到驗證。因此，Rambus的做法如果從表征化層面來講，不但需要對整個中介層的材料做出非常精細(xì)的選擇，還要考慮漸進(jìn)層的厚度以及整個電磁反射相關(guān)的物理參數(shù)，并在此基礎(chǔ)上進(jìn)行完整的分析和仿真，以實現(xiàn)信號一致性的處理。

HBM2E內(nèi)存接口子系統(tǒng)示例

燧原科技是Frank Ferro在發(fā)布會上提及的中國合作伙伴。在此次合作中，燧原科技為自己下一代人工智能訓(xùn)練芯片選擇了Rambus HBM2 PHY和內(nèi)存控制器IP，可實現(xiàn)2Tb/s的性能。而在今年4月和5月，長鑫存儲、兆易創(chuàng)新兩家公司還分別和Rambus簽署了DRAM(動態(tài)隨機存取存儲)與RRAM(電阻式隨機存取存儲器，也可寫作ReRAM)技術(shù)專利授權(quán)。

Rambus大中華區(qū)總經(jīng)理 Raymond Su表示，通過對IP控制器公司Northwest Logic和Verimatrix安全I(xiàn)P業(yè)務(wù)部門的收購，Rambus實現(xiàn)了在內(nèi)存IP層面提供一站式采購和“turn key”服務(wù)的目標(biāo)。接下來，在中國市場，公司將緊密地與云廠商、OEM和ODM合作，推動整個內(nèi)存產(chǎn)業(yè)生態(tài)系統(tǒng)的建設(shè)。

編輯：hfy