六類存內(nèi)計(jì)算技術(shù)原理解析

過去幾十年來，在摩爾定律的推動(dòng)下，處理器的性能有了顯著提高。然而，傳統(tǒng)的計(jì)算架構(gòu)將數(shù)據(jù)的處理和存儲(chǔ)分離開來，隨著以數(shù)據(jù)為中心的計(jì)算（如機(jī)器學(xué)習(xí)）的發(fā)展，在這兩個(gè)物理分離的單元之間傳輸數(shù)據(jù)的成本越來越高，在整體延遲和能耗方面占據(jù)了主導(dǎo)地位。

專用處理器的能效

同時(shí)，盡管傳統(tǒng)邏輯門具有通用性和魯棒性，但其計(jì)算效率低下，在進(jìn)行乘法、加法和非線性函數(shù)等算術(shù)計(jì)算時(shí)需要消耗大量資源。此外，通過在底層硬件層面構(gòu)建多個(gè)內(nèi)核來提高計(jì)算并行性也需要耗費(fèi)大量資源。

傳統(tǒng)的計(jì)算硬件基于馮-諾依曼架構(gòu)，處理和內(nèi)存分離，數(shù)據(jù)需要在兩者之間來回穿梭。這在處理機(jī)器學(xué)習(xí)任務(wù)時(shí)效率很低，既限制了計(jì)算速度，又浪費(fèi)了電力。神經(jīng)形態(tài)計(jì)算有各種不同的形式，是一種可能的解決方案，例如，IBM研究院的研究人員最新設(shè)計(jì)的芯片中受大腦啟發(fā)，它將內(nèi)存和處理元件共置一地，無需訪問片外內(nèi)存。這種被稱為NorthPole的芯片能以比現(xiàn)有架構(gòu)更快的速度和更低的能耗執(zhí)行圖像識(shí)別任務(wù)。

另一種也可歸入神經(jīng)形態(tài)計(jì)算的方法是存內(nèi)計(jì)算。在這里，計(jì)算任務(wù)被轉(zhuǎn)移到存儲(chǔ)它們的內(nèi)存單元中。迄今為止，已開發(fā)出了一系列復(fù)雜的存內(nèi)計(jì)算技術(shù)，用于克服馮-諾依曼瓶頸，并持續(xù)提高計(jì)算吞吐量和能效。

01.在后摩爾時(shí)代提高計(jì)算機(jī)性能

存內(nèi)計(jì)算（CIM）技術(shù)是解決摩爾定律瓶頸的潛在方案之一。

CIM與“存算一體化”（in-memory computing）和內(nèi)存處理密切相關(guān)，其子領(lǐng)域有時(shí)被稱為存內(nèi)邏輯。CIM的基本思想是，將數(shù)據(jù)計(jì)算移至存儲(chǔ)數(shù)據(jù)的內(nèi)存單元，從而實(shí)現(xiàn)原位計(jì)算，消除帶寬限制和數(shù)據(jù)移動(dòng)成本。

它通常利用物理定律（如基爾霍夫電流定律）和內(nèi)存陣列中的電荷共享來進(jìn)行模擬計(jì)算，創(chuàng)建高效的計(jì)算基元，包括邏輯門和乘積（MAC）操作。此外，交叉點(diǎn)隨機(jī)存取存儲(chǔ)器（RAM）架構(gòu)允許自然扇出，從而促進(jìn)了大規(guī)模計(jì)算并行性。

這些優(yōu)勢(shì)催生了各種CIM研究方向，目的是在后摩爾時(shí)代提高計(jì)算機(jī)性能，并為人工智能（AI）等應(yīng)用構(gòu)建計(jì)算加速器。

CIM研究涉及從基礎(chǔ)電子器件到高級(jí)架構(gòu)和大規(guī)模系統(tǒng)的各個(gè)層面，可以使用新興的電阻式存儲(chǔ)器，也可以使用成熟的硅基存儲(chǔ)器。盡管名稱相同，但CIM技術(shù)的基本原理卻大相徑庭，這取決于全部或部分輸入操作數(shù)是否由存儲(chǔ)單元就地提供、計(jì)算完成后是否將輸出重新就地存儲(chǔ)在存儲(chǔ)單元中、輸入/輸出數(shù)據(jù)是易失性還是非易失性，以及輸入/輸出數(shù)據(jù)是否以相同的物理方式表示......這些差異使得我們很難對(duì)CIM技術(shù)形成全面的認(rèn)識(shí)。

計(jì)算基元和CIM的基礎(chǔ)部件。a）馮-諾依曼體系結(jié)構(gòu)和CIM體系結(jié)構(gòu)中計(jì)算原語的ouroboros模型。在馮-諾依曼計(jì)算機(jī)中，計(jì)算路線從基本邏輯門開始，提供算術(shù)運(yùn)算，以支持人工神經(jīng)網(wǎng)絡(luò)等算法。所有這些計(jì)算都在處理器中執(zhí)行，處理器與整個(gè)內(nèi)存層次結(jié)構(gòu)通信，以運(yùn)行完整的程序。在當(dāng)今的CIM提議中，計(jì)算一般基于存內(nèi)單元中的物理MAC運(yùn)算，利用物理定律進(jìn)行乘法和求和。物理MAC可以很容易地在內(nèi)存陣列中并行化，以進(jìn)行向量和矩陣運(yùn)算，這反過來又為ANN奠定了基礎(chǔ)。b）CIM架構(gòu)，包括內(nèi)存陣列瓦片組、輸入/輸出（I/O）緩沖器和控制器。c）包括VM和NVM在內(nèi)的存儲(chǔ)器技術(shù)，所有這些技術(shù)都可以在交叉點(diǎn)架構(gòu)中實(shí)現(xiàn)CIM

MAC是計(jì)算機(jī)運(yùn)算的基本操作，它與基礎(chǔ)布爾邏輯門的關(guān)系如圖所示。在馮-諾依曼計(jì)算機(jī)中，所有操作都依賴于功能完整的邏輯門，而邏輯門又是由互補(bǔ)金屬氧化物半導(dǎo)體（CMOS）晶體管構(gòu)成的。邏輯門用于構(gòu)建算術(shù)計(jì)算的處理核心，其中最重要的是MAC運(yùn)算。由于矩陣代數(shù)的常規(guī)形式，標(biāo)量MAC運(yùn)算可通過順序處理或多核并行化擴(kuò)展到矢量/矩陣運(yùn)算。

最后，矩陣代數(shù)為大量算法奠定了基石，其中，ANN（和深度學(xué)習(xí)）是當(dāng)今最受關(guān)注的算法。就CIM而言，其理念始于嵌入式電路物理的MAC運(yùn)算，它通過基于ANN的閾值邏輯概念為邏輯門奠定了基礎(chǔ)，而邏輯門又是通過向量運(yùn)算實(shí)現(xiàn)的。并行MAC或邏輯門都可以沿著存儲(chǔ)器陣列中的一列進(jìn)行，盡管前者是后者的基礎(chǔ)。在這種方法中，并行MAC和復(fù)合邏輯門都用于執(zhí)行矩陣計(jì)算，例如神經(jīng)網(wǎng)絡(luò)。

與CMOS邏輯門相比，CIM邏輯門的優(yōu)勢(shì)在于能將計(jì)算融合到存儲(chǔ)器陣列中，以及交叉點(diǎn)RAM架構(gòu)提供的大規(guī)模計(jì)算并行性。由于CIM邏輯門依賴于物理定律的模擬計(jì)算，任何線性可分離的邏輯功能都可以在一次操作中完成。因此，復(fù)雜的邏輯功能可以通過減少運(yùn)算次數(shù)和降低硬件成本來輕松實(shí)現(xiàn)。

02.六類存內(nèi)計(jì)算技術(shù)

全方位的CIM技術(shù)可抽象為一個(gè)等式Z = X¤Y，其中符號(hào)¤代表邏輯門或點(diǎn)乘運(yùn)算。對(duì)于點(diǎn)乘，X和Y分別代表權(quán)重向量和輸入向量，Z是標(biāo)量輸出；對(duì)于邏輯門，X和Y是兩個(gè)輸入操作數(shù)，Z是邏輯輸出。

根據(jù)X和Y是否由存儲(chǔ)單元提供，以及計(jì)算結(jié)束時(shí)輸出Z是否重新存儲(chǔ)在存儲(chǔ)單元中，CIM被分為六類：XYZ-CIM、XZ-CIM、Z-CIM、XY-CIM、X-CIM和O-CIM。

全方位的CIM技術(shù)。每種類型的CIM都標(biāo)明了候選存儲(chǔ)器、計(jì)算基元和主要應(yīng)用。頻譜是在將并行MAC（點(diǎn)積）和邏輯門抽象為Z = X¤Y的基礎(chǔ)上建立的，其中X和Y可以是標(biāo)量或向量，Z是標(biāo)量，¤是表示CIM操作的符號(hào)。所有CIM技術(shù)分為六種類型，從全部在內(nèi)存中到不在內(nèi)存中，每種類型都有若干NVM和/或VM種類，進(jìn)而針對(duì)通用或特定應(yīng)用

XYZ-CIM

X和Y均由陣列中的存儲(chǔ)單元提供，輸出Z也重新存儲(chǔ)在一個(gè)存儲(chǔ)單元中。計(jì)算依賴于X和Y的隱式讀出，從而修改BL電位，最終改寫輸出單元。XYZ-CIM是典型的布爾邏輯運(yùn)算，已通過單位非易失性RRAM、PCM、MRAM和易失性DRAM實(shí)現(xiàn)。

XZ-CIM

在計(jì)算過程中，只有一個(gè)輸入操作數(shù)駐留在內(nèi)存單元中。另一個(gè)輸入由外部施加的電壓編碼，輸出Z在計(jì)算結(jié)束時(shí)重新存儲(chǔ)為單位單元狀態(tài)。XZ-CIM僅適用于基于NVM的邏輯運(yùn)算，典型的存儲(chǔ)器技術(shù)包括RRAM和MRAM。

Z-CIM

存儲(chǔ)單元中只存儲(chǔ)輸出Z，輸入通過BL和WL提供?？紤]到BL和WL電壓的所有可能組合，由此產(chǎn)生的單比特單元狀態(tài)構(gòu)成一個(gè)邏輯門。Z-CIM已在RRAM、MRAM和PCM等NVM上實(shí)現(xiàn)。

XY-CIM

輸入操作數(shù)X和Y均由存儲(chǔ)單元提供，而輸出Z則通過BL檢測(cè)放大器 (SA) 獲得。它也適用于邏輯運(yùn)算，存儲(chǔ)器技術(shù)可以是電阻式NVM或SRAM。它的工作原理是并行讀出兩個(gè)單比特存儲(chǔ)單元，并將讀出結(jié)果感應(yīng)和離散化為二進(jìn)制輸出。

X-CIM

只有輸入X由陣列中沿一列的存儲(chǔ)單元提供，Y由施加到WL的外部電壓表示，輸出Z則在BL外圍獲得。與上述類型的CIM不同，X-CIM通常旨在以高度并行的方式執(zhí)行兩個(gè)向量的點(diǎn)乘。所有存內(nèi)技術(shù)，包括單比特或多比特NVM和單比特VM都已實(shí)現(xiàn)了X-CIM，這為進(jìn)一步鼓勵(lì)其研究提供了積極反饋。

O-CIM

這里沒有存儲(chǔ)單元之間的交互，而是將傳統(tǒng)邏輯門或計(jì)算模塊置于存儲(chǔ)單元或陣列附近進(jìn)行計(jì)算。O-CIM通常采用成熟的存儲(chǔ)器技術(shù)進(jìn)行設(shè)計(jì)，包括SRAM和DRAM。它類似于早期的近存儲(chǔ)器計(jì)算概念，但其進(jìn)步在于進(jìn)一步縮短了存儲(chǔ)器與處理器之間的距離。

由于全面識(shí)別了輸入的來源和輸出的方向，基于該分類法的頻譜應(yīng)涵蓋所有CIM技術(shù)。在頻譜的末端，它與傳統(tǒng)的馮-諾依曼范式相聯(lián)系。在這一范圍內(nèi)，特定的存儲(chǔ)技術(shù)可能被用于多種類型的CIM，但原理各不相同。另一方面，某些類型的CIM在技術(shù)上可能只適用于特定的內(nèi)存設(shè)備，或只值得關(guān)注。此外，計(jì)算基元與CIM類型相關(guān)，并最終與存儲(chǔ)器載體相關(guān)。

除O-CIM外，所有其他CIM類型都依賴于模擬乘法、加法和電路中物理定律的非線性激活。將前兩種運(yùn)算結(jié)合起來，就可以得到用于并行MAC運(yùn)算的點(diǎn)乘，而將所有三種運(yùn)算結(jié)合起來，就可以得到布爾邏輯門。

03.各種CIM技術(shù)的原理

XYZ-CIM、XZ-CIM和Z-CIM的共同點(diǎn)是將輸出Z原位存儲(chǔ)在存儲(chǔ)單元中。它們都主要使用新興的NVM進(jìn)行邏輯運(yùn)算。由于新興NVM通常是基于電阻的存儲(chǔ)器，因此可將其視為一般的兩端電阻開關(guān) (RS) 器件。通常情況下，當(dāng)器件兩端的電壓足夠大且具有正負(fù)極性時(shí)，就會(huì)通過“設(shè)置”切換到高導(dǎo)狀態(tài)（HCS），或通過“復(fù)位”切換到低導(dǎo)狀態(tài)（LCS）。

這種描述適用于RRAM、MRAM和FTJ。由于CIM通常只使用一種開關(guān)極性，因此單極性開關(guān)PCM也可包含在此模型中。兩種電導(dǎo)狀態(tài)編碼二進(jìn)制1和0，與傳統(tǒng)存儲(chǔ)器應(yīng)用相同。對(duì)于邏輯門，計(jì)算依賴于器件的條件開關(guān)，這是其他器件狀態(tài)和外加電壓的函數(shù)。這種非線性特性可視為 ANN中的激活函數(shù)。

因此，任何基于RS的NVM器件都有可能用于這三種類型的CIM。

XYZ-CIM、XZ-CIM和Z-CIM。a）電阻式存儲(chǔ)器件示意圖及其RS行為；b）XYZ-CIM的狀態(tài)IMP邏輯；c）XYZ-CIM的SFNN；d）DRAM位向邏輯；e）XZ-CIM 的邏輯運(yùn)算；f）Z-CIM 的邏輯運(yùn)算

XYZ-CIM：NVM有狀態(tài)邏輯

在XYZ-CIM建議中，一種突出的方法是基于所謂的有狀態(tài)邏輯，利用NVM器件（通常是RRAM）實(shí)現(xiàn)。蘊(yùn)含（IMP）門最初是為有狀態(tài)邏輯運(yùn)算而提出的，一個(gè)RRAM單元的電導(dǎo)狀態(tài)編碼輸入操作數(shù)X，而另一個(gè)單元?jiǎng)t代表操作前和操作后的輸入Y和輸出Z。電阻的電導(dǎo)值大致設(shè)定在LCS和HCS的對(duì)數(shù)值中間。

Vp（例如，Vw/2）和Vw分別施加到兩個(gè)WL中的一個(gè)不同的WL上，其中Vw足夠大以實(shí)現(xiàn)設(shè)定的轉(zhuǎn)換，而Vp則不然，同時(shí)BL電阻器接地。激活后，單元Y的最終狀態(tài)，即輸出Z，根據(jù)IMP函數(shù)確定。具體來說，如果Y單元最初處于HCS (1)，則施加的電壓極性不會(huì)觸發(fā)開關(guān)；如果Y最初處于LCS (0)，則其開關(guān)取決于X：如果X處于LCS，由于兩個(gè)LCS設(shè)備的隔離，BL電位將接近于0。

因此，器件Y上的壓降足以將其切換到HCS；但如果X位于HCS中，Vp將大大提高BL電位，從而阻止Y的切換。

XYZ-CIM：DRAM位向邏輯

DRAM位向邏輯是另一項(xiàng)重要的XYZ-CIM提議，它依賴于計(jì)算期間的鎖存型SA同步重寫。商用DRAM產(chǎn)品只需少量修改甚至無需修改即可實(shí)現(xiàn)該功能。

圖（d）顯示了由三個(gè)DRAM單元組成的一列，在BL的末端有一個(gè)鎖存型SA。SA是一個(gè)雙穩(wěn)態(tài)電路，由兩個(gè)CMOS反相器組成，形成一個(gè)正反饋回路。與BL相連的終端既是輸入節(jié)點(diǎn)，也是輸出節(jié)點(diǎn)，通過它來檢測(cè)和修改BL電壓。當(dāng)BL電壓高于（或低于）VDD/2時(shí)，SA迅速做出反應(yīng)，將輸出穩(wěn)定在VDD（或0）。在邏輯運(yùn)算中，多行同時(shí)被激活。因此，電路自然會(huì)執(zhí)行三個(gè)輸入單元的多數(shù)邏輯功能，邏輯結(jié)果最終會(huì)重新存儲(chǔ)在所有三個(gè)單元中。

第一步，將BL預(yù)充電至VDD/2，以實(shí)現(xiàn)位向邏輯。然后，用VDD同時(shí)激活三個(gè)WL，而SA尚未激活。存儲(chǔ)在DRAM單元X、Y和Q中的電荷由所有DRAM電容（電容CC）和寄生BL電容（電容CB）共享，從而使BL電位達(dá)到VDD/2。

多數(shù)邏輯函數(shù)是線性可分離的，DRAM電路可視為單層感知器，類似于SFNN。在該模型中，輸入是存儲(chǔ)的電壓電平，網(wǎng)絡(luò)權(quán)重由電容給出，非線性激活神經(jīng)元由閾值為VDD/2的鎖存型SA激活。在多數(shù)門的基礎(chǔ)上，可以方便地實(shí)現(xiàn)更復(fù)雜的功能，例如全加法器。為了實(shí)現(xiàn)一套完整的邏輯門，可以利用SA中的互補(bǔ)位設(shè)計(jì)NOT門，通過另一個(gè)選擇晶體管將互補(bǔ)位寫入雙觸點(diǎn)單元。與保留所有輸入的SFNN不同，DRAM位邏輯對(duì)邏輯輸入具有破壞性。為解決這一問題，可在陣列中專門設(shè)計(jì)三行用于邏輯運(yùn)算。

此外，在邏輯運(yùn)算之前和之后，應(yīng)執(zhí)行RowClone操作，即利用相同的電荷共享原理將源行中的數(shù)據(jù)復(fù)制到目的行，以便在陣列內(nèi)傳輸輸入和輸出。

XZ-CIM

XZ-CIM還依賴于RRAM和MRAM等NVM器件的條件切換。有狀態(tài)邏輯以兩個(gè)輸入存儲(chǔ)單元的電導(dǎo)狀態(tài)為條件，而XZ-CIM中用于調(diào)節(jié)的兩個(gè)輸入則分別用電導(dǎo)狀態(tài)和電壓表示。

這種編碼方法為邏輯門的構(gòu)建提供了更多便利，并使XOR等線性不可分割函數(shù)的一步操作成為可能，但卻增加了級(jí)聯(lián)時(shí)轉(zhuǎn)換輸入和輸出異質(zhì)屬性的成本?；趦蓚€(gè)RRAM單元的典型XZ-CIM邏輯門如圖（e）所示。一個(gè)輸入操作數(shù)X由RRAM器件的電導(dǎo)狀態(tài)提供，而另一個(gè)輸入操作數(shù)Y則由外加電壓編碼。

輸出重新存儲(chǔ)在第二個(gè)單元中，該單元初始化為L(zhǎng)CS（0）。BL負(fù)載電阻的電導(dǎo)值設(shè)置在LCS和HCS之間，以便進(jìn)行適當(dāng)?shù)姆謮?。輸出存?chǔ)單元采用恒定的Vp，條件是Vset/2 < Vp < Vset，然后WL1和BL的電壓決定邏輯門的類型。在XOR的情況下，WL1和BL的電壓分別為 (Y - 1)Vp 和 (-Y)Vp 。

通過改變所加電壓的編碼方案，該電路可以實(shí)現(xiàn)所有16個(gè)雙輸入布爾邏輯門，從而簡(jiǎn)化復(fù)雜函數(shù)的邏輯合成，進(jìn)而縮短CIM的延遲時(shí)間。

Z-CIM

基于NVM的邏輯可擴(kuò)展到Z-CIM，其中輸入操作數(shù)X和Y均通過施加電壓來提供。輸出Z作為存儲(chǔ)單元的電導(dǎo)狀態(tài)就地存儲(chǔ)（圖f）。除了MRAM和PCM之外，RRAM一直是Z-CIM研究最活躍的對(duì)象。

它基本上基于NVM的傳統(tǒng)寫入操作，但對(duì)傳統(tǒng)上被認(rèn)為無效的其他輸入組合進(jìn)行了邏輯擴(kuò)展。RRAM的切換取決于壓降的極性和初始電導(dǎo)狀態(tài)。當(dāng)存儲(chǔ)單元最初處于LCS狀態(tài)（Z0 = 0）時(shí)，只有X = 1 (Vw)和Y = 0的輸入組合才能將設(shè)備切換到HCS，即Z = 1，而在其他輸入情況下，設(shè)備仍處于LCS狀態(tài)（Z = 0）。當(dāng)存儲(chǔ)單元最初處于HCS狀態(tài)（Z0 = 1）時(shí)，只有X = 0和Y = 1 (Vw) 的組合才會(huì)關(guān)閉設(shè)備并存儲(chǔ) Z = 0，而在其他情況下，設(shè)備仍處于Z = 1狀態(tài)。這兩種情況分別對(duì)應(yīng)于非蘊(yùn)涵函數(shù)（NIMP）和互補(bǔ)蘊(yùn)涵函數(shù)（CIMP）。

通過將一個(gè)輸入固定為1或0，或通過交換應(yīng)用于WL和BL的操作數(shù)以及級(jí)聯(lián)此類操作，所有14個(gè)線性可分離邏輯門都可以用存儲(chǔ)單元來實(shí)現(xiàn)。

線性不可分離的XOR/XNOR是例外。為使其可行，應(yīng)采用基于堆疊兩個(gè)極性相反的電阻開關(guān)的互補(bǔ)RRAM概念，利用其非對(duì)稱讀出過程。另外，1T1R單元可以更有效地執(zhí)行Z-CIM的XOR邏輯，這要?dú)w功于該結(jié)構(gòu)的終端數(shù)量較多，便于對(duì)輸入操作數(shù)進(jìn)行編碼。

XY-CIM

基于NVM或SRAM的邏輯運(yùn)算也提出了XY-CIM。

就NVM而言，兩個(gè)輸入操作數(shù)是存儲(chǔ)單元的二進(jìn)制電導(dǎo)狀態(tài)（LCS或HCS）?；旧?，任何具有兩種不同電阻狀態(tài)的NVM器件都可用于XY-CIM，包括本征三端器件，如 FeFET。在同時(shí)激活兩個(gè)WL時(shí)，存儲(chǔ)單元的狀態(tài)被讀出到BL，其中的電流（ILCS或IHCS）被累加，并由電流模式SA感測(cè)?？梢詫A視為二元神經(jīng)元電路，以參考電流作為激活閾值，產(chǎn)生邏輯輸出。

兩個(gè)輸入的四種組合會(huì)產(chǎn)生以2ILCS、ILCS + IHCS和2IHCS為中心的三種BL電流分布。因此，在2ILCS和ILCS + IHCS之間（或ILCS + IHCS和2IHCS之間）設(shè)置SA的閾值，就能得到線性可分離的OR（或AND）邏輯函數(shù)。

鑒于神經(jīng)元激活是通過CMOS電路實(shí)現(xiàn)的，因此很容易得到兩個(gè)邏輯門的倒數(shù)，即NOR和NAND。OR和NAND的組合將產(chǎn)生線性不可分割的XOR邏輯，通過連續(xù)施加兩個(gè)參考電流來實(shí)現(xiàn)。

XY-CIM和X-CIM。a）XY-CIM基于電阻式NVM的邏輯運(yùn)算。b）基于SRAM的XY-CIM邏輯運(yùn)算。c-f）基于被動(dòng)1R NVM（c）、基于1T1R NVM（d）、基于NOR閃存（也基于FeFET）（e）和基于SRAM（f）的點(diǎn)積運(yùn)算

就SRAM而言，XY-CIM的兩個(gè)輸入操作數(shù)由存儲(chǔ)在SRAM單元中的電壓電平提供。

SRAM單元的核心是雙穩(wěn)態(tài)電路，其兩個(gè)內(nèi)部節(jié)點(diǎn)存儲(chǔ)二進(jìn)制電壓電平及其補(bǔ)碼。在標(biāo)準(zhǔn)6T SRAM結(jié)構(gòu)中，兩個(gè)選擇晶體管控制BL和互補(bǔ)BLB，以訪問兩個(gè)節(jié)點(diǎn)。在進(jìn)行邏輯運(yùn)算時(shí)，BL和BLB首先被預(yù)充電到VDD，如同SRAM的讀出過程。

同時(shí)激活兩個(gè)WL時(shí)，BL和BLB 可能會(huì)放電，這取決于兩個(gè)SRAM單元的狀態(tài)。具體來說，只有當(dāng)輸入X和Y均為1時(shí)，BL才會(huì)保持在VDD位置。如果有一個(gè)單元處于0狀態(tài)，則BL放電至較低電壓；在兩個(gè)單元都處于0狀態(tài)的情況下，BL電壓的降低會(huì)加劇。

通過為SA設(shè)置參考電壓，以區(qū)分VDD和其他降低的BL電壓，SA輸出被識(shí)別為AND邏輯結(jié)果。當(dāng)BLB訪問輸入位X和Y的補(bǔ)碼時(shí)，SA采用相同的參考電壓提供NOR邏輯。

同樣，AND和NOR的組合也有助于XOR邏輯。傳統(tǒng)6T SRAM的位邏輯運(yùn)算會(huì)受到存儲(chǔ)單元的干擾，這是由于通過同一端口的寫入和讀取路徑耦合所致。當(dāng)多個(gè)WL同時(shí)開啟時(shí)，BL/BLB可能會(huì)放電，進(jìn)而導(dǎo)致存儲(chǔ)單元狀態(tài)翻轉(zhuǎn)。為解決這一問題，主要策略是通過增加存取晶體管或修改其配置來解耦寫入和讀取路徑，從而形成4 + 2T/8T/10T SRAM結(jié)構(gòu)。此外，WL的欠驅(qū)動(dòng)或異步激活也有助于解決干擾問題。

X-CIM

X-CIM的基本物理原理與XY-CIM基本相同，只是輸入操作數(shù)的定義不同。

通常，X-CIM以實(shí)現(xiàn)并行MAC運(yùn)算為目標(biāo)，其中一個(gè)輸入操作數(shù)由表示權(quán)重向量x的存儲(chǔ)單元列提供，另一個(gè)輸入則是外部施加到WL或其他線路上的電壓向量y。因此，這兩個(gè)向量的點(diǎn)積在BL上以電流或放電累積的形式產(chǎn)生，然后由BL外圍電路感應(yīng)。人們對(duì)ANN加速器的濃厚興趣促使所有存儲(chǔ)器技術(shù)都被用于X-CIM，該技術(shù)正在積極研究中，并努力實(shí)現(xiàn)模擬-數(shù)字混合浮點(diǎn)精度方案。

X-CIM也可能意味著基于非易失性存儲(chǔ)器（如MRAM和FeFET）的邏輯運(yùn)算。然而，人工智能加速器在并行MAC運(yùn)算方面的大量工作使這方面的努力黯然失色。

在虛擬機(jī)方面，SRAM憑借其獨(dú)特的優(yōu)勢(shì)和工業(yè)成熟度，包括快速讀/寫速度、低功耗、無限耐久性以及與最先進(jìn)邏輯工藝的兼容性，在利用X-CIM進(jìn)行并行MAC加速方面?zhèn)涫荜P(guān)注，盡管其代價(jià)是單元占用空間較大。值得注意的是，在鎖存器電路中，還包括x的補(bǔ)碼二進(jìn)制向量，這對(duì)帶符號(hào)計(jì)算非常有用。

SRAM結(jié)構(gòu)具有豐富的靈活性，可用于可靠、高效的X-CIM優(yōu)化，但4T鎖存器電路始終是權(quán)重存儲(chǔ)的核心。一種策略是通過采用8T/10T/12T結(jié)構(gòu)來解耦讀出路徑，以保護(hù)SRAM單元免受干擾，但這會(huì)進(jìn)一步加劇單元占用空間的問題。在一些基于標(biāo)準(zhǔn)6T SRAM陣列的方案中，加入了專門設(shè)計(jì)的局部計(jì)算單元和全局BL，以平衡電路功能和面積開銷之間的權(quán)衡。

根據(jù)存儲(chǔ)器技術(shù)的不同，存儲(chǔ)在存儲(chǔ)器單元中的權(quán)重向量x可以是單位或多位的。雖然VM通常是單比特器件，但許多NVM顯示多比特甚至模擬狀態(tài)，這是提高X-CIM吞吐量的關(guān)鍵因素，而機(jī)器學(xué)習(xí)加速非常需要這種吞吐量。閃存、FeFET、PCM、RRAM和FTJ是出色的模擬電導(dǎo)器件，這要?dú)w功于它們的基本物理特性，允許對(duì)電荷存儲(chǔ)、鐵電極性比、晶體體積和導(dǎo)電絲直徑等狀態(tài)變量進(jìn)行持續(xù)調(diào)整。

因此，這些非易失性存儲(chǔ)器件的存儲(chǔ)窗口很大，從10到10^6不等，這使它們能夠在單個(gè)單元中存儲(chǔ)多比特信息。由于電導(dǎo)開關(guān)比小，MRAM被認(rèn)為是單比特存儲(chǔ)器，盡管目前正在努力開發(fā)多比特器件。為了最大限度地提高計(jì)算效率，輸入矢量y通常編碼為多比特值，如具有模擬幅度或?qū)挾鹊腤L電壓脈沖，不過也可能采用串行二進(jìn)制脈沖以節(jié)省數(shù)據(jù)轉(zhuǎn)換成本。

因此，CIM操作是在電流域、時(shí)域或電荷域進(jìn)行的。鑒于x和y都可能是二進(jìn)制值、模擬值或由差分運(yùn)算實(shí)現(xiàn)的雙極值，兩個(gè)元素的乘法運(yùn)算可能采用AND邏輯、雙極XNOR或純模擬結(jié)果的形式。由于多位輸入和同時(shí)激活的多個(gè)WL（通常為?2），點(diǎn)乘的檢測(cè)需要一個(gè)能量化多個(gè)離散輸出電平的轉(zhuǎn)換電路，這通常通過多級(jí)SA或模數(shù)轉(zhuǎn)換器 (ADC) 來實(shí)現(xiàn)。與存儲(chǔ)單元相比，SA和ADC通常要大得多，耗電量也更大。因此，除了原位計(jì)算和X-CIM固有的并行性，SA或ADC已成為另一個(gè)效率瓶頸，需要進(jìn)行設(shè)計(jì)優(yōu)化，以保持CIM帶來的性能提升。

O-CIM

最近，基于SRAM的CIM通過在存儲(chǔ)單元附近加入傳統(tǒng)邏輯門，逐步轉(zhuǎn)向全數(shù)字領(lǐng)域。由于在計(jì)算過程中不需要融合存儲(chǔ)單元，因此被合理地稱為O-CIM。

在這種方法中，一個(gè)輸入操作數(shù)通過一條專門設(shè)計(jì)的線路從外部提供，另一個(gè)輸入操作數(shù)從SRAM單元讀出并輸入到鄰近的邏輯門，由邏輯門執(zhí)行兩個(gè)操作數(shù)的乘法運(yùn)算。為了對(duì)乘法結(jié)果進(jìn)行求和，必須在附近部署分層加法器樹，在數(shù)字域中產(chǎn)生部分和。

就DRAM而言，傳統(tǒng)的計(jì)算模塊不是將單個(gè)邏輯門嵌入存儲(chǔ)單元周圍，而是靠近陣列構(gòu)建，從而利用陣列級(jí)并行性實(shí)現(xiàn)MAC加速。O-CIM通常采用成熟的易失性存儲(chǔ)器進(jìn)行設(shè)計(jì)，以尋求與當(dāng)代商業(yè)產(chǎn)品的工業(yè)兼容性。通過采用標(biāo)準(zhǔn)數(shù)字計(jì)算單元，O-CIM比其他基于模擬計(jì)算的CIM更為可靠。

04.CIM技術(shù)發(fā)展的挑戰(zhàn)與展望

不同CIM方案的主要特點(diǎn)和挑戰(zhàn)，以及這些方法在器件可靠性和計(jì)算效率方面面臨的挑戰(zhàn)

CIM技術(shù)可用于融合內(nèi)存和計(jì)算，并為加速計(jì)算提供空間并行性。它們還可以通過使用非常規(guī)但功能強(qiáng)大的邏輯門（例如多數(shù)函數(shù)），以及將算術(shù)運(yùn)算直接映射到硬件電路，來提供高效計(jì)算。

CIM可通過同時(shí)激活多個(gè)WL來實(shí)現(xiàn)，從而通過陣列中的物理規(guī)律啟動(dòng)存儲(chǔ)單元之間的交互。目前已開發(fā)出一系列CIM技術(shù)，其中許多技術(shù)都基于交叉點(diǎn)陣列架構(gòu)——該架構(gòu)可容納幾乎所有存儲(chǔ)器技術(shù)。

新興的NVM已成為CIM的重要候選技術(shù)，并被用于探索一系列超越內(nèi)存的應(yīng)用。相反，DRAM和SRAM等成熟內(nèi)存技術(shù)的修改較少：DRAM已針對(duì)存儲(chǔ)密度和減少漏電進(jìn)行了優(yōu)化，因此不利于工藝修改，盡管CIM在陣列中造成的開銷不到1%；SRAM的優(yōu)勢(shì)在于其在現(xiàn)代邏輯制造工藝中的靈活性，允許定制存儲(chǔ)器陣列設(shè)計(jì)，盡管標(biāo)準(zhǔn)的6T SRAM仍受到重視。

在CIM中，邏輯門的開發(fā)旨在為通用計(jì)算提供功能完整的邏輯集，所有XYZ/XZ/Z/XY-CIM類型都能通過眾所周知的邏輯集（如AND + OR + NOT 門或單一NAND或NOR門）或非常規(guī)邏輯集（如IMP + FALSE門）提供這種功能。相比之下，并行MAC是為加速神經(jīng)網(wǎng)絡(luò)等特定應(yīng)用而開發(fā)的。

在不同的邏輯門CIM方案中，有兩個(gè)因素可用來區(qū)分不同的方法：計(jì)算（即非線性激活）是否由被動(dòng)RS單元執(zhí)行，以及輸入和輸出操作數(shù)的物理屬性是否相同。在前一種情況下，使用RS單元作為神經(jīng)元的NVM有狀態(tài)邏輯、XZ-CIM和Z-CIM實(shí)現(xiàn)非常緊湊，但DRAM比特邏輯和XY-CIM方案需要額外的有源SA進(jìn)行計(jì)算，因此犧牲了部分面積效率。在后一種情況下，XYZ-CIM被認(rèn)為是一種真正的CIM方法，因?yàn)樗休斎?輸出操作數(shù)都由陣列中的存儲(chǔ)單元就地表示；它沒有轉(zhuǎn)換過程，因此可以輕松實(shí)現(xiàn)級(jí)聯(lián)，并有利于順序處理的整體延遲。

相反，NVM的XZ-CIM、Z-CIM和XY-CIM則需要額外的操作來將輸出讀出為電壓（或?qū)⑤敵鰧懭霝殡妼?dǎo)），以便級(jí)聯(lián)下一個(gè)邏輯門，從而造成延遲，阻礙吞吐量的提高。就SRAM而言，可能需要設(shè)計(jì)一個(gè)特殊單元，將邏輯輸出寫入單元，以便后續(xù)訪問。

X-CIM和O-CIM均用于并行MAC，但使用方式不同：即模擬與數(shù)字。X-CIM可以提供很高的能量/面積效率，這要?dú)w功于將計(jì)算基元直接映射到存儲(chǔ)器陣列的高效方法。然而，由于計(jì)算過程的模擬性質(zhì)，它的精度會(huì)因設(shè)備（如電阻單元、電容器或晶體管）、陣列和電路的非理想性而下降。在一次操作中，還可以提高輸入的分辨率、NVM的存儲(chǔ)容量和CIM單元的并行性，從而提高計(jì)算吞吐量。然而，這種優(yōu)勢(shì)也帶來了輸入數(shù)模轉(zhuǎn)換和輸出模數(shù)轉(zhuǎn)換的開銷。

在NVM的X-CIM應(yīng)用中，神經(jīng)網(wǎng)絡(luò)已被提出，由于每?jī)蓪由窠?jīng)元之間的權(quán)重矩陣是固定的，因此MVM可以自然級(jí)聯(lián)。對(duì)于通用應(yīng)用，由于存儲(chǔ)單元中一個(gè)向量的隔離，可能需要像邏輯門一樣的屬性轉(zhuǎn)換過程來進(jìn)行級(jí)聯(lián)操作。

O-CIM在數(shù)字域中使用傳統(tǒng)的CMOS邏輯門。因此，它的計(jì)算穩(wěn)健性更高。此外，由于省去了ADC和數(shù)模轉(zhuǎn)換器 (DAC)，數(shù)據(jù)轉(zhuǎn)換的負(fù)擔(dān)也得以克服。模擬X-CIM的硬件映射是固定的，與之相比，數(shù)字O-CIM具有更高的靈活性，可以適應(yīng)更廣泛的問題。不過，由于每個(gè)處理元件都包括一個(gè)乘法器和一個(gè)用于MAC運(yùn)算的加法器，因此它在面積和能效之間進(jìn)行了權(quán)衡，類似于其他數(shù)字加速器，如基于收縮陣列的設(shè)計(jì)。

在用于邏輯運(yùn)算的CIM類型中，NVM狀態(tài)邏輯、XZ-CIM和Z-CIM依賴于存儲(chǔ)器單元的動(dòng)態(tài)RS，因此要求器件具有較高的耐用性，以支持頻繁的邏輯門操作。因此，PCM（據(jù)報(bào)道其耐用性超過10^10）似乎更適合（盡管還不夠）這些類型的CIM。RRAM的最新耐用性相當(dāng)有限（超過10^6），必須加以改進(jìn)才能達(dá)到要求。MRAM的表現(xiàn)甚至更好，一般顯示出10^12的耐用性。然而，MRAM本身受限于較小的內(nèi)存窗口，這對(duì)可靠的模擬計(jì)算，尤其是多輸入邏輯門構(gòu)成了障礙。

由于XY-CIM和X-CIM基本上是兩個(gè)或多個(gè)單元的并行讀出過程，因此可以采用任何具有兩個(gè)或多個(gè)不同狀態(tài)的存儲(chǔ)器件。因此，NVM器件的時(shí)間保持特性和狀態(tài)變化應(yīng)足以保證可靠的讀出、求和和離散化，分別由用于邏輯運(yùn)算或并行MAC的SA或ADC完成。雖然NVM器件在傳統(tǒng)的二進(jìn)制存儲(chǔ)器應(yīng)用中一般都能保持足夠的存儲(chǔ)時(shí)間（85°C時(shí)超過10年），但在邏輯運(yùn)算中，兩個(gè)或多個(gè)單元狀態(tài)的線性疊加會(huì)對(duì)存儲(chǔ)性能造成更嚴(yán)格的限制。特別是在用于并行MAC的X-CIM中，最好有一個(gè)多比特單元，通常會(huì)同時(shí)激活多個(gè)單元以提高吞吐量。

在這種情況下，除MRAM外，所有NVM設(shè)備都顯示出較大的存儲(chǔ)窗口，從而實(shí)現(xiàn)了多位存儲(chǔ)。然而，由于受到狀態(tài)變化的嚴(yán)重限制，最先進(jìn)的NVM只能提供可靠的兩比特容量。因此，要實(shí)現(xiàn)更大容量的存儲(chǔ)單元，仍有很大的器件優(yōu)化空間，成熟的多級(jí)NAND閃存可以作為很好的參考。

非易失性存儲(chǔ)器的模擬電導(dǎo)經(jīng)常被用于計(jì)算，通常是為了在人工智能加速器等典型應(yīng)用中實(shí)現(xiàn)較高的等效吞吐量和能效。然而，必須注意的是，傳統(tǒng)的存儲(chǔ)器模式應(yīng)始終保持，在這種模式下，應(yīng)能以足夠的讀出余量區(qū)分多種狀態(tài)。為了開發(fā)可靠的基于電阻式NVM的CIM技術(shù)，在算法和系統(tǒng)層面已經(jīng)做出了許多努力，但這些努力通常僅限于特定應(yīng)用。

位切片、分而治之和補(bǔ)償?shù)炔呗砸驯挥糜跀U(kuò)展大規(guī)模問題的計(jì)算精度。雖然這些解決方案可方便地應(yīng)用于正向矩陣乘法，但對(duì)于X-CIM的矩陣反演而言，這些問題變得難以解決，從而為基于電阻式NVM的通用矩陣計(jì)算留下了探索空間。

NVM設(shè)備的耐用性不足是有狀態(tài)邏輯、XZ-CIM和Z-CIM所面臨的關(guān)鍵問題，阻礙了它們?cè)趯?shí)際應(yīng)用中的發(fā)展。對(duì)于有狀態(tài)邏輯和XZ-CIM而言，由于兩者都依賴于模擬乘法、求和及非線性激活，因此必須保證設(shè)置/復(fù)位電壓以及LCS和HCS在周期與周期之間以及設(shè)備與設(shè)備之間的低變化，以限制邏輯運(yùn)算的誤碼率。

Z-CIM不需要模擬乘法和求和。因此，它只需要較低的設(shè)定/復(fù)位電壓變化。相比之下，XY-CIM和X-CIM則需要較低的LCS和HCS變化，以實(shí)現(xiàn)可靠的CIM操作。特別是在使用多位NVM器件的并行MAC中，輸入存儲(chǔ)單元的電導(dǎo)分布和點(diǎn)乘結(jié)果會(huì)變得更加復(fù)雜，因此需要設(shè)計(jì)精細(xì)的讀出電路（SA/ADC）。此外，X-CIM還可能涉及神經(jīng)網(wǎng)絡(luò)訓(xùn)練。因此，電導(dǎo)更新在電導(dǎo)范圍的最小或最大邊界具有良好的線性非常重要。

要克服NVM器件的耐久性、時(shí)空一致性和更新線性等挑戰(zhàn)，從根本上說，這些都是由器件物理特性控制的，因此必須對(duì)器件材料和結(jié)構(gòu)進(jìn)行優(yōu)化，從源頭上解決這些問題。所有這些CIM方案都依賴于模擬計(jì)算，而模擬計(jì)算很容易受到工藝-電壓-溫度（PVT）變化的干擾。不過，對(duì)于使用新興NVM的CIM的PVT問題，目前僅有偶爾的研究，但這是實(shí)際應(yīng)用過程中的一個(gè)重要挑戰(zhàn)。

要最大限度地提高CIM的能效，需要解決幾個(gè)問題：

1）在基于RS的CIM方案中，每個(gè)事件都會(huì)導(dǎo)致相當(dāng)大的功耗。因此，需要優(yōu)化設(shè)置/復(fù)位電壓和電流。

在使用靜態(tài)存儲(chǔ)單元狀態(tài)的XY-CIM和X-CIM中，NVM器件較低的絕對(duì)電導(dǎo)率應(yīng)有助于降低能耗。盡管如此，這種優(yōu)化并不容易，因?yàn)榈碗妼?dǎo)通常伴隨著非線性電流-電壓特性，這會(huì)帶來額外的計(jì)算誤差。

2）在合成具有完整功能邏輯集的復(fù)雜邏輯運(yùn)算時(shí)，可選擇的方法多種多樣。

它可以由許多雙輸入門電路或少數(shù)幾個(gè)多輸入門電路組成，從而導(dǎo)致硬件和延遲成本的巨大差異，以及對(duì)模擬非理想性的不同敏感性。因此，要實(shí)現(xiàn)可靠而高效的邏輯合成，就必須權(quán)衡利弊。X-CIM一直在努力解決ADC和DAC的開銷問題，而這正是提高能效的主要挑戰(zhàn)。在O-CIM中，雖然使用單邏輯門（例如NOR門）可以方便地實(shí)現(xiàn)乘法器，但加法器樹一直是公認(rèn)的瓶頸。因此，需要在這方面進(jìn)一步努力，以提高能效和面積效率。

3）此外，雖然X-CIM的并行MAC已被證明在加速計(jì)算方面具有相當(dāng)大的潛力，但它本質(zhì)上無法提供通用計(jì)算系統(tǒng)。在這種情況下，CIM方法中邏輯門與并行MAC運(yùn)算的結(jié)合值得進(jìn)一步探索。

05.存內(nèi)計(jì)算開辟數(shù)據(jù)處理新范式

目前，存內(nèi)計(jì)算提供了多種技術(shù)，但迄今為止最重要的是存內(nèi)數(shù)據(jù)庫(kù)（以下簡(jiǎn)稱IMDB），市場(chǎng)上已有相關(guān)軟件及其應(yīng)用。

早在1984年，市場(chǎng)上就出現(xiàn)了存內(nèi)數(shù)據(jù)庫(kù)，最早的產(chǎn)品之一是IBM TM1 - OLAP數(shù)據(jù)庫(kù)。然而，由于操作系統(tǒng)和可用硬件的限制，這些系統(tǒng)無法發(fā)揮其優(yōu)勢(shì)。近年來，這些限制逐漸被淘汰，市場(chǎng)上出現(xiàn)了幾種來自主要供應(yīng)商的IMDB解決方案。

2008年，IBM推出了SolidDB作為IMDB，它通過兩個(gè)獨(dú)立但永久同步的數(shù)據(jù)庫(kù)副本以及硬盤上的永久日志來提供數(shù)據(jù)的完整性。一旦發(fā)生數(shù)據(jù)丟失，整個(gè)數(shù)據(jù)庫(kù)可在幾秒鐘內(nèi)恢復(fù)而不會(huì)丟失數(shù)據(jù)。Oracle于2009年推出了 TimesTen作為IMDB，可用作傳統(tǒng)RDBMS的緩存或獨(dú)立數(shù)據(jù)庫(kù)。TimesTen使用事務(wù)日志和數(shù)據(jù)庫(kù)檢查點(diǎn)作為數(shù)據(jù)完整性措施。2010年，SAP推出了HANA數(shù)據(jù)庫(kù)技術(shù)，這是一種高性能分析設(shè)備。

SQLite是一個(gè)包含關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)的程序庫(kù)，由于具有許多數(shù)據(jù)庫(kù)接口，是世界上使用最廣泛的SQL數(shù)據(jù)庫(kù)。要在主內(nèi)存中使用SQLite數(shù)據(jù)庫(kù)，可以在數(shù)據(jù)庫(kù)連接中使用：“存內(nèi)”選項(xiàng)。一旦關(guān)閉數(shù)據(jù)庫(kù)連接，數(shù)據(jù)庫(kù)就會(huì)被寫入磁盤。

隨著技術(shù)不斷發(fā)展，內(nèi)存數(shù)據(jù)庫(kù)正變得越來越流行，主要用于時(shí)間緊迫的應(yīng)用程序、實(shí)時(shí)數(shù)據(jù)輸出以及海量數(shù)據(jù)分析等領(lǐng)域。例如，谷歌、Twitter和Facebook使用的都是定制的存內(nèi)數(shù)據(jù)庫(kù)，以確保對(duì)不斷增加的數(shù)據(jù)量做出快速反應(yīng)。

事實(shí)上，關(guān)于存內(nèi)計(jì)算的話題，IT專家們認(rèn)為這是一種范式轉(zhuǎn)變，是數(shù)據(jù)處理或?qū)崟r(shí)業(yè)務(wù)的新時(shí)代。

在進(jìn)行研究和實(shí)驗(yàn)的過程中，可以證明這些說法并不那么籠統(tǒng)。存內(nèi)計(jì)算的高效使用為大數(shù)據(jù)和實(shí)時(shí)分析領(lǐng)域提供了全新的可能性，但大型企業(yè)在硬件和軟件領(lǐng)域的轉(zhuǎn)換和購(gòu)置成本仍然很高。

在不太復(fù)雜的領(lǐng)域，如軟件開發(fā)中的單元測(cè)試，中小型企業(yè)已經(jīng)開始使用存內(nèi)數(shù)據(jù)庫(kù)。在不久的將來，由于數(shù)據(jù)量的穩(wěn)步增長(zhǎng)和硬件價(jià)格的下降，存內(nèi)計(jì)算技術(shù)將變得越來越重要。

審核編輯：湯梓紅