先進(jìn)工藝下的SRAM功耗和性能挑戰(zhàn)

雖然SRAM目前仍將是主力存儲器，但在先進(jìn)工藝下使用SRAM有了新的挑戰(zhàn)。

盡管SRAM的設(shè)計年代久遠(yuǎn)，但它已成為AI的主力存儲器。但SRAM無法進(jìn)一步縮放對功耗和性能目標(biāo)提出了挑戰(zhàn)，迫使系統(tǒng)從硬件創(chuàng)新到重新思考系統(tǒng)整體的布局。?

SRAM及其稍年輕的表親DRAM之間需要權(quán)衡取舍。SRAM通常配置為六個晶體管，這使得其訪問時間比DRAM更快，但代價是讀取和寫入會消耗更多的功耗。相比之下，DRAM采用單晶體管/單電容設(shè)計，成本更低。但DRAM會影響性能，因為電容器由于電荷泄漏而需要刷新，有時在內(nèi)存升溫時會自刷新。因此，自推出以來的60多年里，SRAM一直是優(yōu)先考慮低延遲和可靠性應(yīng)用的首選存儲器。

SRAM對于人工智能至關(guān)重要，尤其是嵌入式SRAM。它是性能最高的存儲器，你可以將其直接與高密度邏輯集成。

功耗和性能挑戰(zhàn)

但是，在跟上CMOS工藝縮放的步伐方面，SRAM卻表現(xiàn)平平，這對功耗和性能產(chǎn)生了影響。在傳統(tǒng)的工藝縮放中，柵極長度和柵極氧化物厚度一起縮小，以提高性能和對短溝道效應(yīng)的控制。更稀的氧化物可以在較低的VDD水平下實現(xiàn)性能提升，這對SRAM在減少泄漏和動態(tài)功耗方面都是有利的。然而，在最近的工藝節(jié)點遷移中，我們幾乎沒有看到氧化物或VDD水平的進(jìn)一步縮放。此外，晶體管的幾何收縮導(dǎo)致金屬互連更薄，導(dǎo)致寄生電阻增加，從而增加功率損耗和 RC 延遲。

隨著AI設(shè)計對內(nèi)部存儲器訪問的要求越來越高，SRAM在工藝節(jié)點遷移中進(jìn)一步增加功耗已成為一個的問題。

這些問題，加上SRAM的高成本，不可避免地導(dǎo)致性能下降。

如果你無法獲得足夠的SRAM來滿足處理器內(nèi)核的數(shù)據(jù)存儲需求，那么內(nèi)核最終將不得不從更遠(yuǎn)的地方移動數(shù)據(jù)。在SRAM和DRAM之間移動數(shù)據(jù)需要額外的功耗，而且從DRAM訪問這些數(shù)據(jù)需要更長的時間，因此性能會下降。

在繼續(xù)更新的工藝節(jié)點上，情況可能不會改善，甚至可能變得更糟。

SRAM工藝縮放慢于邏輯是一個問題，因為cache比整個處理器大是不正常的。但如果你把cache放在芯片外，處理器的表現(xiàn)又會明顯下降。

臺積電正在招聘更多的內(nèi)存設(shè)計人員來提高SRAM密度，但他們是否能解決問題還有待觀察。有時可以通過雇用更多的人來推進(jìn)事務(wù)的進(jìn)一步發(fā)展，但大多數(shù)時候作用都很有限。關(guān)鍵的一步是靠極少數(shù)人走出去的。

隨著時間的推移，客戶將會考慮那些不像現(xiàn)在這樣密集使用SRAM的架構(gòu)。

事實上，早在20nm時代，SRAM就無法與邏輯一起縮放，這預(yù)示著當(dāng)片上存儲器可能變得比邏輯本身更大時，將面臨功耗和性能挑戰(zhàn)。為了應(yīng)對這些問題，系統(tǒng)設(shè)計人員和硬件開發(fā)人員都在應(yīng)用新的解決方案和開發(fā)新技術(shù)。

按照這些思路，AMD采取了不同的方法。他們引入了一種稱為3D V-Cache的技術(shù)，該技術(shù)將單獨芯片上的額外SRAM緩存堆疊在處理器頂部，從而增加處理器內(nèi)核可用的緩存量。額外的芯片增加了成本，但允許訪問額外的SRAM。另一種策略是具有多個級別的緩存。處理器內(nèi)核可以具有只有它們才能訪問的專用（非共享）level 1 和level 2 cache，以及在處理器內(nèi)核之間共享的更大的last-level cache（LLC）。由于處理器具有如此多的內(nèi)核，共享 LLC 允許某些內(nèi)核有時使用更多容量，而某些內(nèi)核使用更少的容量，從而在所有處理器內(nèi)核中更有效地使用總?cè)萘俊?/p>

糾錯
SRAM縮放也增加了可靠性問題。因此，糾錯可能會成為一種普遍的要求，特別是對于汽車設(shè)備而言。

其他存儲器，其他結(jié)構(gòu)

這在設(shè)計方面引起了很多變化。每個人都在嘗試在芯片上使用更少的SRAM。如果你能承受延遲，大型存儲要么被轉(zhuǎn)移到DRAM，要么被轉(zhuǎn)移到HBM（成本會更大）。

新的嵌入式存儲器類型通常作為SRAM的替代品出現(xiàn)，但每種類型都有自己的一系列問題。領(lǐng)先的競爭者M(jìn)RAM和ReRAM只占用一個晶體管面積，雖然它比SRAM中的晶體管大，但它們的整體單元尺寸仍然約為SRAM的三分之一，包括外圍電路在內(nèi)的尺寸約為SRAM的一半。有明顯的尺寸優(yōu)勢，但寫入速度的性能仍然遠(yuǎn)慢于SRAM。

如果物理學(xué)不允許更小的SRAM，那么替代方案將需要重新思考架構(gòu)并采用chiplet，可以將更先進(jìn)工藝的邏輯芯片與采用舊工藝制造的SRAM芯片相結(jié)合。這種方法將受益于改進(jìn)的邏輯PPA，同時為SRAM使用具有成本效益（較舊，可能更高產(chǎn)量和更便宜）的工藝節(jié)點。

chiplet解決方案正好適合正在進(jìn)行的集成革命。模擬電路很久以前就停止了縮放，除了少數(shù)例外，它們并沒有從縮放中受益匪淺。從DRAM到SRAM再到NVM，所有類型的存儲器都傾向于在不同的節(jié)點上制造，因為功耗、性能和成本原因。

邏輯更傾向于在仍滿足成本和泄漏要求的最小工藝節(jié)點上制造。通過多芯片集成，我們在“理想”工藝節(jié)點中制造每個電路，然后將芯片組合成一個封裝。

許多人在移動和數(shù)據(jù)中心領(lǐng)域都聽說過這一點，但在終端人工智能和物聯(lián)網(wǎng)領(lǐng)域也正在迅速發(fā)生。

在有限的情況下，系統(tǒng)技術(shù)協(xié)同優(yōu)化 （STCO） 也可以提供幫助。對于某些應(yīng)用，原則上不需要片上緩存。例如，在人工智能訓(xùn)練中，訓(xùn)練數(shù)據(jù)只使用一次，而模型參數(shù)應(yīng)該在芯片上隨時訪問。軟件和芯片架構(gòu)可以利用這種一次性數(shù)據(jù)移動，繞過緩存層次結(jié)構(gòu)，具有很大的潛力。

所有這些都激發(fā)了人們對新布局和互連協(xié)議的興趣，例如 UCIe 和 CXL。當(dāng)你擁有更大的 AI 工作負(fù)載時，內(nèi)存會隨著計算而擴(kuò)展，但如果其中一個組件的擴(kuò)展速度比另一個組件快一點，那么根據(jù)系統(tǒng)的設(shè)計方式，你會遇到不同的瓶頸。人工智能工作負(fù)載大大增加了所需的處理器數(shù)量。他們甚至突破了芯片光罩尺寸的極限，所以現(xiàn)在你需要像UCIe這樣的高速互連器件來處理芯片到芯片系統(tǒng)，這意味著多芯片系統(tǒng)是不可避免的，以處理人工智能工作負(fù)載。

解決問題

Winbond通過其 CUBE 堆棧（定制的超帶寬元素）重新思考了內(nèi)存架構(gòu)。

CUBE 堆棧使用DRAM作為存儲單元，但也通過通孔進(jìn)行3D堆疊。基本上，你可以提供從底部基板一直到SoC芯片的連接。它更具成本效益，因為DRAM不使用SRAM的六個晶體管。

CUBE可以提供足夠的高密度，以取代SRAM到3級緩存。為了達(dá)到某些帶寬要求，只有兩種選擇——提高時鐘速度或增加 I/O 數(shù)量。有了CUBE，你可以隨心所欲地增加它們，這在系統(tǒng)層面帶來了很多好處，包括減少對電源的需求。CUBE目前處于原型階段，但預(yù)計將于2024年第四季度或2025年初投入生產(chǎn)。

結(jié)論
改變是漸進(jìn)式的。當(dāng)設(shè)計師談?wù)撍麄儜?yīng)該擁有多大的緩存時，他們將一如既往地在性能和價格之間取得平衡。如果SRAM的價格上漲，他們會在其他地方付出一些性能損失或者通過擁有更多的DRAM帶寬來彌補(bǔ)這一點。

就目前而言，將是這種漸進(jìn)式的權(quán)衡。但如果這種趨勢繼續(xù)下去，這將導(dǎo)致人們思考完全不同的方法，你就會看到完全不同的架構(gòu)。

至于SRAM被完全取代，這似乎不太可能，至少在短期內(nèi)是這樣。當(dāng)它真的發(fā)生時，預(yù)計也會導(dǎo)致架構(gòu)和操作系統(tǒng)軟件的變化。

審核編輯：黃飛