Linux內(nèi)核的物理內(nèi)存組織結(jié)構(gòu)詳解

Linux中內(nèi)存管理子系統(tǒng)使用 節(jié)點(diǎn)（node）、區(qū)域（zone）和頁(yè)（page） 三級(jí)結(jié)構(gòu)描述物理內(nèi)存。

內(nèi)存節(jié)點(diǎn)

內(nèi)存節(jié)點(diǎn)分兩種情況：UMA和NUMA。

從管理內(nèi)存的方法上區(qū)分，計(jì)算機(jī)可以分為兩種類(lèi)型：UMA和NUMA。

UMA：一致性內(nèi)存訪問(wèn)，uniform memory access

NUMA：非一致性內(nèi)存訪問(wèn)，non-uniform memory access

兩種類(lèi)型示意圖：

對(duì)UMA來(lái)說(shuō)，每一個(gè)CPU訪問(wèn)的都是同一塊內(nèi)存，因此各CPU對(duì)內(nèi)存的訪問(wèn)不存在性能差異

對(duì)NUMA來(lái)說(shuō)，各內(nèi)存和各CPU通過(guò)總線連在一起，每個(gè)CPU都有一個(gè)本地內(nèi)存，訪問(wèn)速度快，CPU也可以訪問(wèn)其他CPU的本地內(nèi)存，但速度稍慢

Linux為了統(tǒng)一這兩種平臺(tái)，在內(nèi)存組織中，將最高層次定義為內(nèi)存節(jié)點(diǎn) .

可以看到，圖中UMA只有一個(gè)內(nèi)存節(jié)點(diǎn)，而NUMA有兩個(gè)內(nèi)存節(jié)點(diǎn)。

實(shí)際上，UMA其實(shí)是NUMA的一個(gè)特例，所以內(nèi)核可以將內(nèi)存都看做NUMA類(lèi)型的。

區(qū)域

每個(gè)內(nèi)存節(jié)點(diǎn)都劃分為多個(gè)區(qū)，Linux內(nèi)核中定義了以下幾個(gè)區(qū)：

include/linux/mmzone.h

enum zone_type{
#ifdef CONFIG_ZONE_DMA
 ZONE_DMA,
#endif
#ifdefi CONFIG_ZONE_DMA32
 ZONE_DMA32,
#endif
 ZONE_NORMAL,
#ifdef CONFIG_HIGHMEM
 ZONE_HIGHMEM,
#endif
 ZONE_MOVABLE,
#ifdef CONFIG_ZONE_DEVICE
 ZONE_DEVICE,
#endif
 __MAX_NR_ZONES
};

ZONE_DMA

DMA是“Direct Memory Access”的縮寫(xiě)，直接內(nèi)存訪問(wèn)。

該區(qū)域用于ISA設(shè)備的DMA操作，范圍是0-16MB。

如果有些設(shè)備不能直接訪問(wèn)所有內(nèi)存，則需要使用DMA區(qū)域。例如舊的工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)（Industry Standard Architecture, ISA）總線只能直接訪問(wèn)16MB以下的內(nèi)存。

只適用于Intel x86架構(gòu)，ARM架構(gòu)沒(méi)有這個(gè)內(nèi)存管理區(qū)。

ZONE_DMA32

在64位的系統(tǒng)上使用32位地址尋址的適合DMA操作的內(nèi)存區(qū)。

例如在AMD64系統(tǒng)上，該區(qū)域?yàn)榈?a target="_blank">4GB的空間。在32位系統(tǒng)上，本區(qū)域通常是空的。

ZONE_NORMAL

常規(guī)內(nèi)存區(qū)，指的是可以直接映射到內(nèi)核空間的內(nèi)存。

也常稱(chēng)為“ 普通區(qū)域 ”“ 直接映射區(qū)域 ”“ 線性映射區(qū)域 ”。

所謂線性映射就是物理地址和映射后的虛擬地址存在一種簡(jiǎn)單的關(guān)系，即 虛擬地址=物理地址+固定偏移 。

在32位系統(tǒng)上，內(nèi)核空間和用戶空間按1:3劃分，那么這個(gè)固定偏移就是： 0xC0000000 - 物理內(nèi)存起始地址 。

既然存在一種線性關(guān)系，那還需要使用頁(yè)表對(duì)物理地址和虛擬地址做映射嗎？

不同處理器架構(gòu)實(shí)現(xiàn)不一樣，ARM需要使用頁(yè)表映射，MIPS則不需要。

ZONE_HIGHMEM

高端內(nèi)存區(qū)，32位時(shí)代的產(chǎn)物。在32位系統(tǒng)上，指的是高于896M的物理內(nèi)存。

32位系統(tǒng)中，內(nèi)核和用戶地址空間按1:3劃分，內(nèi)核地址空間只有1GB，所以不能把1GB以上的內(nèi)存直接映射到內(nèi)核地址空間，因此就把不能直接映射的內(nèi)存劃分到了高端內(nèi)存區(qū)。

要將高于896MB的物理內(nèi)存映射在內(nèi)核空間的話，需要通過(guò)單獨(dú)的映射來(lái)完成，并且這類(lèi)映射不能保證物理地址和虛擬地址之間存在固定的對(duì)應(yīng)關(guān)系（例如ZONE_NORMAL的固定偏移）。

ZONE_DMA、ZONE_DMA32、ZONE_NORMAL通常都統(tǒng)稱(chēng)為低端內(nèi)存區(qū)。

64位系統(tǒng)中沒(méi)有這個(gè)區(qū)域，即沒(méi)有高端內(nèi)存。因?yàn)?4系統(tǒng)的內(nèi)核虛擬地址空間非常大，不再需要高端內(nèi)存區(qū)域。

ZONE_MOVABLE

一個(gè)偽內(nèi)存區(qū)，用來(lái)防止內(nèi)存碎片。

ZONE_DEVICE

為支持持久內(nèi)存（persistent memory）熱拔插增加的內(nèi)存區(qū)域

頁(yè)

站在處理器的角度來(lái)看，管理物理內(nèi)存的最小單位是頁(yè)面。

現(xiàn)在的處理器都采用分頁(yè)機(jī)制來(lái)管理內(nèi)存，在處理器內(nèi)部有一個(gè)MMU硬件，它會(huì)處理虛擬內(nèi)存到物理內(nèi)存的映射，也就是做頁(yè)表的翻譯工作。

Linux內(nèi)核中使用一個(gè)page數(shù)據(jù)結(jié)構(gòu)來(lái)描述一個(gè)物理頁(yè)面。

頁(yè)的大小通常是4KB ，但有個(gè)的架構(gòu)的處理器可以支持大于4KB的頁(yè)，例如8KB、16KB或者64KB的頁(yè)。

目前Linux內(nèi)核默認(rèn)使用4KB的頁(yè)面。

所以，Linux內(nèi)核的用三級(jí)結(jié)構(gòu)來(lái)管理物理內(nèi)存，簡(jiǎn)言之就是 內(nèi)存首先劃分成若干個(gè)大的節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)又包含若干個(gè)區(qū)，每個(gè)區(qū)有包含若干頁(yè)。 Linux內(nèi)核按頁(yè)管理內(nèi)存，最基本的內(nèi)存分配和釋放都是按頁(yè)進(jìn)行的。