幾種新興存儲(chǔ)器的技術(shù)對(duì)比

ChatGPT的火爆預(yù)示了自動(dòng)駕駛的方向：大模型（至少超過100億個(gè)參數(shù)）和高算力（至少1000TOPS@FP16）。ChatGPT完美展示了大模型的優(yōu)勢(shì)，也讓英偉達(dá)欣喜若狂，英偉達(dá)、AMD和英特爾是最大受益者（英偉達(dá)最頂級(jí)的DGX-H100中的CPU是英特爾的W3495X，國(guó)內(nèi)售價(jià)高達(dá)每片8萬人民幣），還有幾乎壟斷高端服務(wù)器市場(chǎng)的中國(guó)臺(tái)灣企業(yè)廣達(dá)和英業(yè)達(dá)，科技巨頭每年需要花費(fèi)數(shù)百億乃至上千億美元購買新的服務(wù)器來處理越來越大的AI模型，并且會(huì)持續(xù)數(shù)十年。 ? 高算力讓存儲(chǔ)墻愈加明顯，存儲(chǔ)系統(tǒng)的成本也持續(xù)攀升，AI芯片價(jià)格越來越高，未來10萬美元甚至百萬美元級(jí)AI芯片也極有可能。要完美解決存儲(chǔ)墻問題是不可能的，折中的辦法是存算一體。這雖然無法解決芯片成本趨高的問題，但是可以解決1000TOPS算力的問題。

根據(jù)存儲(chǔ)與計(jì)算的距離遠(yuǎn)近，將廣義存算一體的技術(shù)方案分為三大類，分別是近存計(jì)算 (Processing Near Memory，PNM)、存內(nèi)處理(Processingln Memory，PIM) 和存內(nèi)計(jì)算(Computing in Memory, CIM)。其中，存內(nèi)計(jì)算即狹義的存算一體。 存內(nèi)計(jì)算面臨的最大挑戰(zhàn)是內(nèi)存和高性能計(jì)算都是高度集中的行業(yè)，巨頭們出于利潤(rùn)的考量，不會(huì)允許革命性的存內(nèi)計(jì)算顛覆其所屬的壟斷行業(yè)。內(nèi)存行業(yè)，美光、三星和SK Hynix在高性能存儲(chǔ)領(lǐng)域市占率達(dá)100%。高性能計(jì)算領(lǐng)域，英特爾、AMD和英偉達(dá)的市場(chǎng)占有率也接近100%。臺(tái)積電和三星聯(lián)合壟斷了高性能芯片代工領(lǐng)域。

7納米以下晶圓廠產(chǎn)能是最具話語權(quán)的武器，沒有這個(gè)，高性能計(jì)算便是空中樓閣。 PNM已經(jīng)非常常見，即HBM與CPU一體，所有高性能計(jì)算芯片都是如此，采用HBM堆疊，2.5D封裝，硅中介層（Interposer）內(nèi)聯(lián)在基板上。也可以反推，沒有采用HBM就不是高性能計(jì)算芯片。特斯拉二代FSD已經(jīng)用上了GDDR6，下一代基本可以肯定是HBM3了。

PIM則是再下一階段熱點(diǎn) 圖片來源：Planet

PIM已經(jīng)有商業(yè)化的實(shí)例，最早的實(shí)例是Xilinx的Alveo U280 圖片來源：Planet

PIM可以大幅度降低存取功耗 圖片來源：Planet

圖片來源：三星

AMD收購Xilinx，其中最看中的就是PIM堆疊技術(shù)，AMD后來將其用在InstinctMI100/MI250/MI150/MI210系列GPU上，這也是美國(guó)商務(wù)部禁止向中國(guó)出售的芯片。MI100的性能能夠超越英偉達(dá)的上一代旗艦A100，功耗較A100降低約25%，價(jià)格也低于A100約30%。MI250與英偉達(dá)新旗艦H100持平，在FP32和FP64上，MI250更強(qiáng)；在FP16上，H100遠(yuǎn)超MI250。? PIM的主角還是三星，配角是AMD，三星Aquabolt-XLHBM2-PIM是目前唯一PIM內(nèi)存。

Aquabolt-XL HBM2-PIM架構(gòu)

圖片來源：三星

PIM非常簡(jiǎn)單，就是用硅通孔（Through Silicon Via, TSV）技術(shù)將計(jì)算單元塞進(jìn)內(nèi)存上下BANK之間。TSV技術(shù)人類2010年就掌握了，只不過迄今還不算特別成熟，價(jià)格還是有點(diǎn)高。

圖片來源：三星

計(jì)算單元很簡(jiǎn)單，一個(gè)FP16矩陣乘法，一個(gè)FP16矩陣加法。輸入命令解碼和行列地址即可。

PIM運(yùn)作模式

圖片來源：三星

PIM的軟件棧

圖片來源：三星 在2023CES消費(fèi)電子展上，AMD推出了MI300，PIM似乎升級(jí)到了HBM3。

圖片來源：AMD 國(guó)人一心打破美國(guó)的科技?jí)艛?，由于缺乏先進(jìn)2.5D和3D封裝產(chǎn)能和技術(shù)，中國(guó)企業(yè)對(duì)PNM和PIM完全不感興趣，聚焦的是真正的存算一體，即存內(nèi)計(jì)算。 其本質(zhì)是利用不同存儲(chǔ)介質(zhì)的物理特性，對(duì)存儲(chǔ)電路進(jìn)行重新設(shè)計(jì)使其同時(shí)具備計(jì)算和存儲(chǔ)能力，直接消除“存〞“算〞界限，使計(jì)算能效達(dá)到數(shù)量級(jí)提升的目標(biāo)。在存儲(chǔ)原位上實(shí)現(xiàn)計(jì)算，是真正的存算一體。存算一體理論上完美，但目前離實(shí)用至少還有10年距離。 存內(nèi)計(jì)算主要包含數(shù)字和模擬兩種實(shí)現(xiàn)方式，二者適用于不同應(yīng)用場(chǎng)景。模擬存內(nèi)計(jì)算能效高，但誤差較大，適用于低精度、低功耗計(jì)算場(chǎng)景，如端側(cè)可穿戴設(shè)備等。

模擬存內(nèi)計(jì)算還涉及復(fù)雜的模數(shù)轉(zhuǎn)換器（ADC）、數(shù)模轉(zhuǎn)換器(DAC)、跨阻放大器（TIA) 等模塊。ADC和DAC領(lǐng)域需要幾十年經(jīng)驗(yàn)長(zhǎng)期摸索，全球精通ADC和DAC的僅有ADI、德州儀器和NXP三家，其中ADI最強(qiáng)，正是牽涉大量模擬部分，存內(nèi)計(jì)算無法使用EDA工具，導(dǎo)致芯片開發(fā)成本高、周期長(zhǎng)、規(guī)模小、算力低。 一直以來，主流的存內(nèi)計(jì)算大多采用模擬計(jì)算實(shí)現(xiàn)，近兩年數(shù)字存內(nèi)計(jì)算的研究熱度也有所提升。模擬存內(nèi)計(jì)算主要基于物理定律（歐姆定律和基爾霍夫定律)，在存算陣列上實(shí)現(xiàn)乘加運(yùn)算。數(shù)字存內(nèi)計(jì)算通過在存儲(chǔ)陣列內(nèi)部加入邏輯計(jì)算電路，如與門和加法器等，使數(shù)字存內(nèi)計(jì)算陣列具備存儲(chǔ)及計(jì)算能力。

數(shù)字存內(nèi)計(jì)算精度高，但是其存儲(chǔ)單元只能存儲(chǔ)單比特?cái)?shù)據(jù)，而目前主流人工智能訓(xùn)練是32或64比特?cái)?shù)據(jù)，這嚴(yán)重限制了其應(yīng)用范圍，并且數(shù)字存內(nèi)計(jì)算需增加加法樹邏輯電路，很大程度上限制了面積及能效優(yōu)勢(shì)。也就是目前存內(nèi)計(jì)算在高算力領(lǐng)域沒有容身之地的原因。 存內(nèi)計(jì)算最重要的部分就是存儲(chǔ)器件本身，算法之類的軟件部分幾乎可以忽略。目前存儲(chǔ)器主要有易失性存儲(chǔ)器和非易失存儲(chǔ)器件。易失性存儲(chǔ)器在設(shè)備掉電之后數(shù)據(jù)丟失，如SRAM等。非易失性存儲(chǔ)器在設(shè)備掉電后數(shù)據(jù)可保持不變，如NOR Flash、可變電阻隨機(jī)存儲(chǔ)器 (Resistive Random Access Memory, RRAM或ReRAM)、磁性隨機(jī)存儲(chǔ)器(Magnetoresistive Random Access Memory, MRAM)、相變存儲(chǔ)器 (Phase ChangeMemory, PCM）等。中國(guó)企業(yè)或機(jī)構(gòu)主要研究的是鐵電晶體管FeFET。傳統(tǒng)的SRAM、DRAM、NAND被三星、美光和SK Hynix壟斷，因此基于傳統(tǒng)存儲(chǔ)的存內(nèi)計(jì)算無論如何都無法對(duì)抗這三大巨頭，大部分機(jī)構(gòu)或企業(yè)都選擇另辟蹊徑。

幾種新興存儲(chǔ)器的技術(shù)對(duì)比

需要指出，目前存儲(chǔ)器制造也需要EUV***了，而EUV***被ASML壟斷，又聽命于美國(guó)政府。通常認(rèn)為，DRAM的天花板是10nm。其原因是在傳統(tǒng)1T1C架構(gòu)下，單位元件面積不斷減小，如何保證電容能夠存儲(chǔ)足夠的電荷、防止相鄰存儲(chǔ)單元之間的耦合，是DRAM推進(jìn)到10nm以下的無解難題，而EUV是用來做7nm以下的，DRAM目前主流是14納米。

14納米理論上完全可以用DUV來完成，不需要EUV。 但實(shí)際情況并非如此，三星電子的1Znm節(jié)點(diǎn)DRAM量產(chǎn)結(jié)果表明，相比于DUV浸沒式光學(xué)***，EUV***極大簡(jiǎn)化了制造流程，不僅可以大幅度提高光刻分辨率和DRAM性能，而且可以減少所使用的掩模數(shù)量，從而減少流程步驟的數(shù)量，減少缺陷、提高存儲(chǔ)密度，并大幅降低DRAM生產(chǎn)成本，縮短生產(chǎn)周期。

也就是說，即使EUV掩模費(fèi)用（達(dá)數(shù)百萬美元）遠(yuǎn)高于DUV掩模費(fèi)用，使用EUV***量產(chǎn)DRAM也具有更高的性價(jià)比。三星電子和SK海力士公司將EUV***引入1Znm節(jié)點(diǎn)DRAM的量產(chǎn)進(jìn)展順利，并一路高歌到第五代1β節(jié)點(diǎn)，令DRAM三巨頭中最為保守的美光公司很無奈。美光一度宣稱自己用DUV也做到了11納米，然而進(jìn)入2023年后的DDR5時(shí)代，韓國(guó)雙雄再一次依靠EUV***碾壓了美光。美光在DDR5方面嚴(yán)重落后韓國(guó)雙雄。

全球智能汽車領(lǐng)域，特斯拉是第一個(gè)用上GDDR6的企業(yè)，特斯拉也很可能第一個(gè)用上HBM2或HBM3，當(dāng)然代價(jià)是芯片成本超過1000美元以上，不過以特斯拉的溢價(jià)能力，消費(fèi)者愿意為高價(jià)買單。要想超越特斯拉，不如一步到位，直接上HBM3。當(dāng)然了，對(duì)中國(guó)企業(yè)來說最困難的不是技術(shù)，而是供應(yīng)鏈，晶圓級(jí)2.5D封裝HBM的產(chǎn)能95%都在臺(tái)積電手中，5%在三星手中。

編輯：黃飛

?