DDR SDRAM工作原理簡介

1， 簡介

DDR SDRAM（Double Data Rate Synchronous Dynamic Random Access Memory，雙數(shù)據(jù)率同步動態(tài)隨機(jī)存儲器）通常被我們稱為DDR，其中的“同步”是指內(nèi)存工作需要同步時鐘，內(nèi)部命令的發(fā)送與數(shù)據(jù)傳輸都以它為基準(zhǔn)。DDR是一種掉電就丟失數(shù)據(jù)的存儲器件，并且需要定時的刷新來保持?jǐn)?shù)據(jù)的完整性。

DDR是我們嵌入式系統(tǒng)使用比較多的硬件，但是平時我們在做軟件開發(fā)或者優(yōu)化的時候，對它的組成及工作原理了解卻很少。主要原因是對于DDR的軟件開發(fā)主要是配置參數(shù)，而這些參數(shù)由芯片廠商已經(jīng)提供好了。其實(shí)，要想對系統(tǒng)做深度的功耗優(yōu)化和性能優(yōu)化，是很有必要深挖DDR的組成與工作原理的細(xì)節(jié)。

現(xiàn)在嵌入式系統(tǒng)設(shè)計或者計算機(jī)設(shè)計，考慮到存儲性能、存儲容量、成本等因素，通常采用存儲金字塔式的設(shè)計，比如CPU后面緊接著寄存器，寄存器后面跟著cache，cache后面緊接著DDR，然后DDR后面跟著SSD、EMMC等非易失。通過利用程序的時間及空間局部性原理，可以在盡可能少的影響性能的前提下，增加存儲容量，降低存儲成本。

隨著CPU 發(fā)展，內(nèi)存也發(fā)生了巨大的變革，DDR從誕生到現(xiàn)在已經(jīng)經(jīng)歷了多代，分別是第一代SDR SDRAM（Single Data Rate SDRAM，同步型動態(tài)存儲器），第二代的DDR SDRAM，第三代的DDR2 SDRAM，第四代的DDR3 SDRAM，現(xiàn)在已經(jīng)發(fā)展到DDR5 SDRAM。為了實(shí)現(xiàn)容量增加和傳輸效能增加，規(guī)范的工作電壓越來越低，DDR容量越來越大，IO的速度越來越高。

歷代ddr特性對比

Voltage（VDDQ）：存儲芯片的輸出緩沖供電電壓。

Device Width：顆粒位寬，常見為4/8/16bit。一個Memory Array中由行地址和列地址的交叉選中一個位，若2個Array疊加在一起，就同時選中了2個Bit，位寬是X2。若4個Array疊加到一起，就能夠同時選中4個Bit，位寬則是X4。也就是說，對一個X4位寬的DDR 顆粒，如果給出行地址和列地址，就會同時輸出4個Bit到DQ（數(shù)據(jù)輸入、輸出：雙向數(shù)據(jù)總線）數(shù)據(jù)線上。

Die Density：顆粒密度，也就是容量，隨著DDR迭代，容量越來越大。

Data rates：MT/s指每秒傳輸多少個數(shù)據(jù)（Mega-transfer per second），和時鐘頻率是兩個不同的概念。DDR（dual data rate）是雙邊沿傳輸數(shù)據(jù)。因此MT/s是IO時鐘頻率的兩倍。

Prefetch：在一個時鐘周期中，同時將相鄰列地址的數(shù)據(jù)一起取出來，并行取出DRAM數(shù)據(jù)，再由列地址0/1/2（DDR1使用列0，DDR2使用列0和列1，DDR3/DDR4使用列0,1和2）選擇輸出。2n/4n/8n。這里的數(shù)字指的就是并行取出的位數(shù)。這里的n，就是DQ位寬，即上面的device width（x4/x8/x16）。所以DDR3 16bit SDRAM內(nèi)存顆粒，16bit指的是位寬，其一次讀寫訪問的數(shù)據(jù)量是8*16=128bit

Bank：DDR4以前是沒有Bank Group的，所以該值就表示整個顆粒中Bank數(shù)量。但是在DDR4和DDR5中，就表示每個Bank Group中Bank的數(shù)量，整個顆粒Bank數(shù)量 = Bank Group * Bank。

Bank Group：Bank分組數(shù)量，該特性只存在于DDR4和DDR5中。

Burst Length：指突發(fā)長度，突發(fā)是指在同一行中相鄰的存儲單元連續(xù)進(jìn)行數(shù)據(jù)傳輸?shù)姆绞剑B續(xù)傳輸所涉及到存儲單元（列）的數(shù)量就是突發(fā)長度，在DDR SDRAM中指連續(xù)傳輸?shù)闹芷跀?shù)。一般對應(yīng)預(yù)取bit數(shù)目。

Core frequency：顆粒核心頻率，即內(nèi)存cell陣列的工作頻率，它讀取數(shù)據(jù)到IO Buffer的頻率。它是內(nèi)存頻率的基礎(chǔ)，其他頻率都是在該頻率的基礎(chǔ)上得出來的。

IO clk Frequency：內(nèi)存的數(shù)據(jù)傳輸速率。它和內(nèi)存的prefetch有關(guān)。對于DDR，一個時鐘周期的上升沿和下降沿都在傳輸數(shù)據(jù)，即一個時鐘周期傳輸2bit的數(shù)據(jù)，所以DDR的prefetch為2bit。對于DDR2，IO時鐘頻率是其核心頻率的兩倍，同時也是雙沿傳輸數(shù)據(jù)，因此DDR2的prefetch為2×2bit=4bit。對于DDR3，IO時鐘頻率是其核心頻率的四倍，同時也是雙沿傳輸數(shù)據(jù)，因此DDR3的prefetch為4×2bit=8bit。

DDR SDRAM是由威盛等公司提出的第二代SDRAM標(biāo)準(zhǔn)，主要它允許在時鐘脈沖的上升沿和下降沿都能傳輸數(shù)據(jù)，這樣不需要提高時鐘頻率就能實(shí)現(xiàn)雙倍的SDRAM提速。DDR2 SDRAM是由電子設(shè)備工程聯(lián)合委員會開的第三代SDRAM內(nèi)存技術(shù)標(biāo)準(zhǔn)，相比上一代提供了更高運(yùn)行效能（擁有兩倍與上一代的預(yù)讀取能力，4bit數(shù)據(jù)prefetch）和更低的電壓（1.8v）。

DDR3 SDRAM相比上一代，電壓更低（1.5v），效能更高（支持8bit prefetch），只需133MHz就能實(shí)現(xiàn)1066MHz的總線頻率。DDR4相比上一代，工作電壓更低（1.2v），效能更高（16bit prefetch），同樣的頻率下，理論速度是上一代的兩倍。

2， 框架

DDR子系統(tǒng)框圖

DDR SDRAM子系統(tǒng)包含DDR controller、DDR PHY和DRAM存儲顆粒三部分。我們分別看一下各部分的組成，然后講述一下數(shù)據(jù)的讀寫過程。

2.1 DDR controller

內(nèi)存控制器負(fù)責(zé)初始化DRAM，并重排讀寫命令，以獲得最大的DRAM帶寬。它通過多端口與其他用戶核進(jìn)行連接，這些端口的類型包含AXI4/AXI3/AHB/CHI。每個端口有可配置的寬度、命令和數(shù)據(jù)FIFO。

內(nèi)存控制器接收來自于一個或者多個CPU、DSP、GPU的請求，這些請求使用的地址是邏輯地址，由仲裁器來決定這些請求的優(yōu)先級，并將其放入內(nèi)存控制器中。如果一個請求處于高優(yōu)先級(贏得仲裁)，會被映射到一個DRAM的物理地址并被轉(zhuǎn)換為一個DRAM命令序列。這些命令序列被放置在內(nèi)存控制器中的隊(duì)列池(Queue pool)中，內(nèi)存控制器會執(zhí)行隊(duì)列池中這些被掛起的命令，并將邏輯地址轉(zhuǎn)化為物理地址，并由狀態(tài)機(jī)輸出符合DRAM訪問協(xié)議的電信號，經(jīng)由PHY驅(qū)動DRAM的物理IO口。

2.2 DDR PHY

DDR PHY是連接DDR顆粒和DDR Controller的橋梁，它負(fù)責(zé)把DDR Controller發(fā)過來的數(shù)據(jù)轉(zhuǎn)換成符合DDR協(xié)議的信號，并發(fā)送到DDR顆粒。相反地，它也負(fù)責(zé)把DRAM發(fā)送過來的數(shù)據(jù)轉(zhuǎn)換成符合DFI（DDR PHY Interface）協(xié)議的信號并發(fā)送給內(nèi)存控制器。DDR PHY和內(nèi)存控制器統(tǒng)稱為DDR IP，他們保證了SoC和DRAM之間的數(shù)據(jù)傳輸。

目前在DDR IP的市場上，國際廠商占據(jù)較高的市場份額，而國內(nèi)IP企業(yè)占比很小，究其原因，主要是由于DDR PHY具有較高的技術(shù)門檻，要在這類PHY上實(shí)現(xiàn)突破并不容易。DDR PHY是一個系統(tǒng)工程，在如下方面需要著重關(guān)注：

2.3 DDR DRAM顆粒

從DDR PHY到內(nèi)存顆粒的層次關(guān)系如下：channel->DIMM->rank->chip->bank->row/column組成的memory array。例如，i7 CPU 支持兩個Channel（雙通道），每個Channel上可以插2個DIMM（dual inline memory module，雙列直插式存儲模塊），每個DIMM由2個rank構(gòu)成，8個chip組成一個rank。由于現(xiàn)在多數(shù)芯片的位寬是8bit，而CPU的位寬是64bit，因此經(jīng)常是8個芯片可以組成一個rank。

3， DRAM剖析

接下來深入的剖析一下DRAM的組成及工作原理。對于DRAM的原理，看到一篇很不錯的文章《深入內(nèi)存/主存：解剖DRAM存儲器 - 知乎 (zhihu.com)》，以下內(nèi)容基本上來自于這篇文章。

3.1 基本結(jié)構(gòu)

1）DRAM的基本單元

基本的DRAM單元（cell），是一個電容加一個CMOS晶體管組成的電路。通過給晶體管最上面的一端（稱作柵極）加上電壓或是取消電壓，就可以控制CMOS晶體管的開、關(guān)。一旦打開就可以讀出電容上存儲的電量，或者向電容寫入電量。這樣電容上的電荷有無就對應(yīng)著存儲1bit的1或0。

DRAM cell

為了存儲更多的bit，可以用如上的DRAM單元組成存儲陣列。行對應(yīng)的是word line，即字線。列對應(yīng)的是bit line，即位線。當(dāng)某一行的字線上通電后，這一行的cell上的電容就會經(jīng)過位線進(jìn)行充放電。通過讀取位線上的電壓變化，就能判斷存儲的是0，還是1。由于電容很小，打開字線后產(chǎn)生的電壓波動也很小，所以在讀取的時候，要經(jīng)過sense amplifier進(jìn)行放大。

每個位線都接在一個放大器上，由于每個cell的電容太小了，在讀某一bit前，先對bit line進(jìn)行precharge。預(yù)充的電壓為工作電壓的一半。這樣在打開字線后，位線上的輕微變化也能被放大器捕捉到，并在本地還原、暫存字線對應(yīng)整行cell的電壓。其實(shí)，當(dāng)讀了位線（電容放電）后，電容上的電荷就會發(fā)生了改變，這是一種破壞性讀出。為了解決這個問題，就需要放大器在讀取cell存儲的數(shù)據(jù)后，利用暫存的cell電壓寫回字線單元行。

cell存儲陣列

2）DRAM刷新

由于cell的電容很小，并且CMOS晶體管在關(guān)閉的時候，也存在漏電，這樣電容上的電荷也在隨著時間的變化，逐漸變少。時間一長，存儲的信息就會丟失。為了解決這一問題，具體做法是對于每個單元行，每過一段時間就自主地進(jìn)行讀取，等放大器暫存好信息后就立刻將其寫回行。關(guān)于單元行的刷新時機(jī)也很有講究，一般每64ms內(nèi)就要對cell陣列進(jìn)行一次全面刷新。

3.2 DRAM的讀寫

cell陣列+外圍邏輯

1） DRAM讀過程

在讀取DRAM芯片上單個比特數(shù)據(jù)時：

2） DRAM寫過程

寫過程和讀過程比較類似，就不詳細(xì)描述，主要描述有差異的地方：

總的來說，讀取一個比特的總體過程：獲得行號，譯碼行號，開啟單元行，放大位線電壓波動并暫存數(shù)據(jù)到放大器，獲得列號并根據(jù)列號選擇一位進(jìn)行輸出，寫回數(shù)據(jù)，關(guān)閉字線，重新預(yù)充電。寫一個比特的總體過程是：獲得行號，譯碼行號，開啟單元行，放大位線電壓波動并暫存數(shù)據(jù)到放大器，獲得列號并輸入寫入數(shù)據(jù)，根據(jù)列號把寫入數(shù)據(jù)送到放大器并改寫暫存值，寫回數(shù)據(jù)，關(guān)閉字線，重新預(yù)充電。

你可能會疑問，要訪問的一個字節(jié)的其他7bit是不是也存在這些單元行里，答案是否定的。其實(shí)，還存在7個這樣的bit存儲陣列，其中相同的行列地址在這7個bit存儲陣列相同位置取出相應(yīng)的bit，這樣便得到了完整的8bit（一個字節(jié)）數(shù)據(jù)。

另外，在讀寫過程中，時間主要消耗在“開啟單元行”與“放大電壓波動并暫存數(shù)據(jù)”。單元行的柵極可以抽象成一個個電容的并聯(lián)，因此字線的拉高就是給這么多電容充電的一個過程，這將是很耗時及耗電的。由于放大器大部分是模擬電路，所以他的工作也不快。那么怎么提高DRAM的讀寫速度呢？關(guān)鍵點(diǎn)在放大器的緩存區(qū)（row buffer），它緩存了單元行，但是一般我們只取出了其中的一個bit。如果要想提升速寫速度，那就還訪問這個單元行的其他bit，這時會直接從row buffer中取出相應(yīng)的數(shù)據(jù)，不需要經(jīng)歷開啟單元行、放大、讀寫數(shù)、寫回的耗時過程。

3.3 DRAM系統(tǒng)層次

DRAM的系統(tǒng)層次如下：channel->DIMM->rank->chip->bank->row/column組成的memory array->存儲cell。

1）bank

如下是一個8陣列bank。其中每個rank中的行列定位到的小方塊，是一個cell，對應(yīng)一個bit。行、列組成了一個memory array，即一個bank。8個bank組成了8 bank的陣列，通過行、列地址可以得到8 bit的輸出。

8陣列bank

一個8陣列bank一次讀寫8個比特，一顆存儲芯片上一般含有多個bank。下圖是一顆含有8個bank的存儲芯片的示意圖。芯片每次讀寫都只針對一個bank，因此讀寫地址必須包含一個bank號，bank號用于開啟目標(biāo)bank，目標(biāo)bank之外的bank是不工作的。

包含8個8陣列bank的存儲芯片

2）Rank和DIMM

電腦用的內(nèi)存芯片都嵌在一個電路板上，把這個電路板插入內(nèi)存插槽后，就可增加電腦內(nèi)存。電路板和板上的芯片，就是所謂的內(nèi)存條，也稱為DIMM條。內(nèi)存條通過“內(nèi)存通道”連接到內(nèi)存控制器，一組可以被一個內(nèi)存通道同時訪問的芯片稱作一個rank。一個rank中的每個芯片，都共用內(nèi)存通道提供的地址線、控制線和數(shù)據(jù)線，同時每個芯片都提供一組輸出線，這些輸出線組合起來就是內(nèi)存條的輸出線。

對于一個包含8顆芯片的DIMM條。這8顆芯片被一個內(nèi)存通道同時訪問，所以它們合稱為一個rank。有的DIMM條有兩面，即兩面都有內(nèi)存芯片，這種DIMM條擁有兩個rank。

若每個芯片都包含8個bank，每個bank都包含8個陣列，那么這條內(nèi)存條就可以一次讀寫8×8=64比特，其中第一個8是指每個芯片輸出8位，第二個8是指這個rank總共有8顆芯片，因?yàn)檫@8顆芯片被同一個內(nèi)存通道訪問，所以其被訪問的bank和bank內(nèi)的行地址、列地址都是完全一致的。下圖是一個描述這個過程的簡圖：顯然，我們在讀寫8顆芯片同一個bank同一個位置的cell。注意，圖中沒有顯示不在工作狀態(tài)的bank。對一個rank讀寫，即同時讀寫rank內(nèi)8個存儲芯片內(nèi)的同一位置的bank。

rank讀寫

電腦有時候可以插入多個內(nèi)存條，多個內(nèi)存條有助于提升電腦的內(nèi)存容量，但是未必能提高電腦的速度。電腦的速度受“內(nèi)存通道”數(shù)限制，如果電腦有四個插槽，卻只有一個內(nèi)存通道，那么CPU仍然只能一次訪問一個rank。但如果電腦有四個插槽的同時還有四個內(nèi)存通道，那么CPU就可以一次訪問四個rank，很顯然，四并行訪問明顯比串行訪問快，假設(shè)每個rank可以輸出64比特，那么四通道就可以一次訪問4×64=256比特，而單通道只能訪問64比特。

3.4 DRAM訪問加速

1）burst模式

由于現(xiàn)在的處理器，CPU與DDR之間基本上都有cache，CPU在訪問內(nèi)存單個字的時候，不僅需要訪問這個字，還需要把這個字所在的緩存行全部搬進(jìn)cache中，因此內(nèi)存不僅要一次提供一個字，還要提供一個緩存行（cache line）。緩存行一般比較大，比如8個64比特，因此內(nèi)存要一次提供8×64=512比特數(shù)據(jù)。但如果前面介紹的方式訪問內(nèi)存，那么一次只能提取出64比特，即提取一個字，這并不滿足緩存行的要求。為此，我們提出對內(nèi)存使用“burst模式”。

由于緩存行內(nèi)的各個字在內(nèi)存上是緊鄰的，我們就可以靈活地使用cell陣列中的行緩存（row buffer）。前面說到單元行進(jìn)入放大器的行緩存之后，并不會在讀寫一個比特后立刻寫回cell陣列，而是待在行緩存里等待下一個讀寫命令。如果下一個讀寫命令仍然發(fā)生在該單元行，那就可以行命中，直接操作row buffer。

在burst模式里，每當(dāng)我們讀取cell陣列中的一個比特，不僅把這個比特送到輸出緩存中，而且緊接著把這個比特所在緩存行的各個比特都送到輸出緩存，這樣就完成了一次burst，即把目標(biāo)比特周圍的多個比特連續(xù)地讀出。

2）bank并行和內(nèi)存交錯

前面我們比較詳細(xì)地聊了在一個cell陣列中讀取數(shù)據(jù)的過程，而CPU在訪問內(nèi)存時，還需要一些別的操作?？偟膩碚f，CPU訪存大概要經(jīng)過5個步驟：

1， CPU發(fā)送指令給內(nèi)存控制器。

2， 內(nèi)存控制器解析指令，并把“解析到的控制信息”發(fā)送到控制總線。

3， bank接收控制信息，并讀取數(shù)據(jù)。

4， 內(nèi)存芯片把讀取出的數(shù)據(jù)放到數(shù)據(jù)總線。

5， 內(nèi)存控制器收取數(shù)據(jù)，并將其交給CPU。

如果CPU連續(xù)訪問同一bank，那么CPU、內(nèi)存控制器、總線和bank就必須串行操作，串行操作會讓訪存效率下降。我們假設(shè)CPU不可以在一個bank工作時，再給它發(fā)送新的指令。如果CPU連續(xù)不斷地給一個bank發(fā)送指令，那么很可能前一個指令還沒完成，后一個指令就改變了bank內(nèi)的row buffer、列地址緩存或輸出緩沖。

為了說明cpu訪存過程中帶來的時間消耗和造成的效率下降，下面以“總線延遲”為例：

光速是3×10^8m/s，而高性能CPU的頻率可達(dá)3GHz，即3×10^9Hz。那么在CPU的一個時鐘周期內(nèi)，光可以運(yùn)動10cm。但是電在硅中的傳播距離大約是光的五分之一，經(jīng)過測量，在電子線路中 電在一個CPU時鐘周期內(nèi)只能運(yùn)動20mm左右。而CPU和內(nèi)存芯片之間的距離遠(yuǎn)不止20mm，因此數(shù)據(jù)在總線上移動需要花費(fèi)多個CPU時鐘周期。

上面的計算說明，在CPU訪存的5個步驟中，第2、第4步是要花很多時間的，而沒有詳細(xì)討論的第1、第5步，大概率比這兩步還要慢。因此讓CPU、內(nèi)存控制器、總線和bank串行操作是不明智的。實(shí)際上，我們完全可以在一個bank進(jìn)行第3步時，讓CPU、內(nèi)存控制器、總線去操作新的bank，以此隱藏起它們的工作時間，從而營造起一種CPU、內(nèi)存控制器和總線不需要消耗時間的假象。上面這種做法實(shí)現(xiàn)了“bank間并行”。

所謂在“bank間并行”就是讓一個chip內(nèi)的不同bank并行工作，讓它們各干各的。為此CPU要連續(xù)、依次向不同的bank發(fā)送讀取指令，這樣在同一時間很多bank都在工作，第一個bank可能在輸出，第二個bank可能在放大電壓，第三個bank可能在開啟單元行。當(dāng)?shù)谝粋€bank burst輸出完畢，第二個bank剛好可以輸出。當(dāng)?shù)诙€bank burst輸出完畢，第三個bank剛好可以輸出.......通過這樣讓“bank讀取”和“CPU、內(nèi)存控制器、總線工作”在時間上相互重疊的方式，我們可以成功地把CPU、內(nèi)存控制器和總線的工作時間隱藏起來，從而打造出一種CPU無延遲訪問內(nèi)存、多個bank連續(xù)、依次“泵”出數(shù)據(jù)的理想情況。這種通過“bank間并行”實(shí)現(xiàn)“連續(xù)泵出數(shù)據(jù)”的方法，就是所謂的“內(nèi)存交錯”。

內(nèi)存交錯不僅隱藏了CPU、內(nèi)存控制器和總線的工作時間，還隱藏了對單個bank而言row缺失所造成的多余訪問時間（所謂“多余”是相對“row 命中”情況而言的），連續(xù)兩次對同一個bank的訪問，它們訪問的row相同或者不同，對延遲的影響是相當(dāng)顯著的。

如果第二個命令是對同一個row訪問，那么memory controller只需要發(fā)出Rd/Wr讀寫命令即可，稱為行命中。如果第二個命令是對不同的row進(jìn)行訪問，那么memory controller需要發(fā)出PRE，ACT，Rd/Wr命令序列，稱為行缺失。從命令序列的對比來看，可以看出行缺失的情形對性能的影響是糟糕的。下圖顯示了連續(xù)的行缺失的情形下的訪存序列：

行缺失的訪問序列

然而，如果我們有多個bank，然后將 A0,A1,A2...的訪存序列，通過memory controller的address interleaving, 映射到多個bank上，也就是所謂banking。避免了連續(xù)訪問同一個bank的不同row，造成的大量行缺失，就能夠得到下面的訪存序列：

流水線化的訪問序列

顯然，上圖中的類似流水化的訪問能夠很大程度上掩蓋訪問DRAM的訪存延遲，這也就是banking能夠提高memory throughput的原因。

另外，memory controller的address interleaving是什么呢？

我們都知道在OS層面，有著從virtual address到physical address的地址映射。類似地，在memory controller層面，我們需要將physical address映射為對DRAM chip中具體的位置的訪問，通過將bank映射到物理地址的相對低位（相對于row)，可以使得對連續(xù)地址的訪存請求被映射到不同的bank。

物理地址的bank映射

審核編輯：劉清