Linux內(nèi)存管理學(xué)習(xí)筆記

1、硬件角度

大家都曾經(jīng)看過(guò)那個(gè)紙上打孔，記錄數(shù)據(jù)的圖片。

后來(lái)都知道出現(xiàn)了內(nèi)存器，我們執(zhí)行指令分為加載+運(yùn)行。

最開(kāi)始的程序運(yùn)行時(shí)只能跑一個(gè)進(jìn)程的，那就不需要復(fù)雜的內(nèi)存管理，把我弄到固定的位置，然后這片區(qū)域都是我的。而且有多大的內(nèi)存我就用多大的，一旦我進(jìn)程想用的內(nèi)存比擁有的物理內(nèi)存大的時(shí)候，崩了就完事了。

特點(diǎn)：?jiǎn)芜M(jìn)程 單操作系統(tǒng) 直接使用物理內(nèi)存

這樣的問(wèn)題隨著時(shí)代的發(fā)展問(wèn)題就來(lái)了。

問(wèn)題一 ：?jiǎn)芜M(jìn)程用不完資源那不是浪費(fèi)？

問(wèn)題二 ：我要是物理內(nèi)存不夠，又沒(méi)錢(qián)升級(jí)硬件怎么辦？

問(wèn)題三 ：因?yàn)槲业能浖苯硬僮鹘佑|的物理內(nèi)存，這個(gè)和硬件靠的太近，我們都知道移植性就查了？

隨著發(fā)展單進(jìn)程肯定是不符合要求的，那么怎么辦？多進(jìn)程（腦子里先把進(jìn)程調(diào)度的事情放下，focu內(nèi)存方面）。

多進(jìn)程之間的這個(gè)內(nèi)存怎么處理，總不能讓騰訊的數(shù)據(jù)訪問(wèn)到快播的吧，想象你正在看劇，突然內(nèi)容變成了學(xué)習(xí)內(nèi)容，怕怕。為了解決這個(gè)問(wèn)題，在操作系統(tǒng)編譯的時(shí)候主存劃分了很多的靜態(tài)分區(qū)。有進(jìn)程的時(shí)候，你就看看哪里能放下你，你去那里待著。

于是問(wèn)題又來(lái)了

1、程序大小那不是必須和分區(qū)匹配，起碼不能比分區(qū)小

2、這個(gè)進(jìn)程的數(shù)目那就是固定了啊，那不是買(mǎi)電腦還得多一個(gè)電腦能跑多少個(gè)進(jìn)程的參數(shù)

3、地址空間固定，進(jìn)程不能膨脹啊。（想想咱們平時(shí)LOL，不運(yùn)行的時(shí)候幾個(gè)G，運(yùn)行起來(lái)幾百個(gè)，那肯肯定是玩不了了）

4、進(jìn)程之間的邊界真的能控制的很好嗎？現(xiàn)在這么完備的內(nèi)存管理下還經(jīng)常出現(xiàn)內(nèi)存踩踏時(shí)間。

解決方法就是前輩們整了個(gè)動(dòng)態(tài)的分區(qū)，就是給操作系統(tǒng)整一個(gè)分區(qū)，剩下的有進(jìn)程時(shí)，需要多大分割多大。這樣一整，敏感的你就知道了，分割多了，那不是內(nèi)存的這個(gè)空洞就多了，碎片就多了，那咋整呢。得規(guī)整內(nèi)存，只能遷移進(jìn)程了，遷移進(jìn)程你不可能做，只能操作系統(tǒng)了，而這個(gè)過(guò)程很消耗時(shí)間（自己磁盤(pán)整理過(guò)的都知道哈），需要大量數(shù)據(jù)的換入換出。尤其是在進(jìn)程運(yùn)行的時(shí)候內(nèi)存不夠了，然后你得去遷移，等個(gè)一個(gè)小時(shí)，電腦我都想砸了。

遷移只有這個(gè)進(jìn)程的位置也變了，這個(gè)尋址方式就算是相對(duì)尋址，那個(gè)相對(duì)的對(duì)象總是絕對(duì)的，因此程序編寫(xiě)你就說(shuō)頭疼不。（兩數(shù)之和已經(jīng)夠頭疼了，還有心情去管理內(nèi)存重定位）

同時(shí)當(dāng)這個(gè)程序是惡意的，那我不是就可以為所欲為，因?yàn)榇蠹叶际侵苯訉?duì)應(yīng)的物理內(nèi)存，我偏不去我該去的地方，我就在你工作的時(shí)候來(lái)騷擾你一下，你就說(shuō)怕不怕。

于是這幾個(gè)問(wèn)題：

內(nèi)存保護(hù)、內(nèi)存運(yùn)行重定位、使用效率低下無(wú)法忍受懶惰是催促科技進(jìn)步的源動(dòng)力

1、解決辦法 level1 - 分段機(jī)制

為了解決進(jìn)程間內(nèi)存保護(hù)的問(wèn)題，提出了虛擬內(nèi)存。通過(guò)增加一層虛擬內(nèi)存，進(jìn)程訪問(wèn)虛擬內(nèi)存，虛擬內(nèi)存由操作系統(tǒng)映射到物理內(nèi)存。對(duì)于進(jìn)程來(lái)說(shuō)它就不需要關(guān)系實(shí)際的物理地址，當(dāng)訪問(wèn)到?jīng)]有映射的物理內(nèi)存時(shí)，操作系統(tǒng)會(huì)捕捉到這個(gè)微法操作。同時(shí)進(jìn)程是使用的虛擬內(nèi)存，因?yàn)槌绦蛞簿哂幸浦残缘前∵M(jìn)程就算是操作虛擬內(nèi)存但是最后也是映射到物理內(nèi)存，如果給進(jìn)程映射的物理內(nèi)存不夠的時(shí)候，那還是得遷移。換出到磁盤(pán)進(jìn)行遷移，粒度是整個(gè)進(jìn)程，這么大的io肯定很漫長(zhǎng)。想想一個(gè)程序中的數(shù)據(jù)，在不斷的運(yùn)行使用的只有那么一部分，于是把常用的放在內(nèi)存，不常用的放在磁盤(pán)中。那么換入換出的就是那么一少部分?jǐn)?shù)據(jù)。然后這里就創(chuàng)建了更細(xì)的粒度–分頁(yè)機(jī)制想想為什么你的電腦內(nèi)存條才8個(gè)G卻能跑幾十G的游戲。

2、解決辦法 level2 - 分頁(yè)機(jī)制

現(xiàn)在我們知道分頁(yè)粒度很細(xì)。進(jìn)程的虛擬地址、硬件的物理地址都按照分頁(yè)的粒度。常用的代碼和數(shù)據(jù)以頁(yè)留在內(nèi)存，不常用的去磁盤(pán)，這樣就節(jié)省了物理內(nèi)存（內(nèi)存那么貴）進(jìn)程的虛擬內(nèi)存頁(yè)通過(guò)CPU的硬件單元映射到物理內(nèi)存頁(yè)物理頁(yè)稱(chēng)為物理頁(yè)面或者頁(yè)幀進(jìn)程空間的虛擬頁(yè)面稱(chēng)為虛擬頁(yè)操作系統(tǒng)為了管控這些物理頁(yè)面，給頁(yè)幀創(chuàng)建了編號(hào)頁(yè)幀號(hào) PFN現(xiàn)在的頁(yè)表常見(jiàn)的4KB最常見(jiàn)，還有16K、64K。在某些特點(diǎn)的場(chǎng)景下，比如那種超大服務(wù)器系統(tǒng)TB量級(jí)，可能頁(yè)面是M或者G級(jí)別。

到這里就說(shuō)說(shuō)那個(gè)CPU的硬件單元

其實(shí)雖然什么不想做的事情都扔給操作系統(tǒng)，但是做人不能這么狗，尤其是內(nèi)存管理這么嚴(yán)重的事情，還有就是安全性（我這樣認(rèn)為），于是用過(guò)CPU的硬件單元–MMU來(lái)管控這個(gè)內(nèi)存的映射。

ARM處理器的內(nèi)存管理單元包括TLB和Table Walk Unit兩個(gè)部件。

TLB是一塊高速緩存，用于緩存頁(yè)表轉(zhuǎn)換的結(jié)果，從而減少內(nèi)存訪問(wèn)的時(shí)間。就拿緩存的概念去理解。當(dāng)TLB 沒(méi)有，miss了。那我就只能去內(nèi)存的轉(zhuǎn)換頁(yè)表中獲取這個(gè)映射的結(jié)果，獲取到對(duì)應(yīng)的物理地址后再將我的虛擬地址換成物理地址去最終的目的地查看學(xué)習(xí)資料。（有沒(méi)有中玩游戲闖關(guān)的感覺(jué)）

當(dāng)然不是說(shuō)有個(gè)這個(gè)玩意就什么不用做了。

一個(gè)完整的頁(yè)表翻譯和查找的過(guò)程叫作頁(yè)表查詢（Translation Table Walk），頁(yè)表查詢的過(guò)程由硬件自動(dòng)完成，但是頁(yè)表的維護(hù)需要軟件來(lái)完成。

頁(yè)表查詢是一個(gè)相對(duì)耗時(shí)的過(guò)程，理想的狀態(tài)是TLB里緩存有頁(yè)表轉(zhuǎn)換的相關(guān)信息。當(dāng)TLB未命中時(shí)，才會(huì)去查詢頁(yè)表，并且開(kāi)始讀入頁(yè)表的內(nèi)容。（要是這個(gè)TLB整大點(diǎn)，不是可以加快，不考慮錢(qián)的話）

因此頁(yè)表的維護(hù)是軟件的，所以在Linux內(nèi)核內(nèi)存的學(xué)習(xí)中，后面會(huì)有內(nèi)存初始化，創(chuàng)建頁(yè)表這些東西。

3、虛擬內(nèi)存到物理地址的轉(zhuǎn)換

上面那個(gè)圖里面，如果是TLBs命中后就直接拿到了物理地址，去兌換獎(jiǎng)品，但是miss掉以后，那就得走Table Walk Uint就是得頁(yè)表轉(zhuǎn)換，VA–>PA（V：虛擬 P：物理 A：地址）

整個(gè)流程瞅瞅？

處理器根據(jù)頁(yè)表基地址控制寄存器TTBCR和虛擬地址來(lái)判斷使用哪個(gè)頁(yè)表基地址寄存器，是TTBR0還是TTBR1。（一個(gè)基值是內(nèi)核的，一個(gè)用戶態(tài)的）

頁(yè)表基地址寄存器中存放著一級(jí)頁(yè)表的基地址。

處理器根據(jù)虛擬地址的bit[31:20]作為索引值（）4K頁(yè)表，在一級(jí)頁(yè)表中找到頁(yè)表項(xiàng)。一級(jí)頁(yè)表一共有4 096個(gè)頁(yè)表項(xiàng)。

第一級(jí)頁(yè)表的表項(xiàng)中存放有二級(jí)頁(yè)表的物理基地址。處理器將虛擬地址的 bit[19:12]作為索引值，在二級(jí)頁(yè)表中找到相應(yīng)的頁(yè)表項(xiàng)。二級(jí)頁(yè)表有256個(gè)頁(yè)表項(xiàng)（2^12 * 2^8 * 4kb(2^12)==》32位）。

二級(jí)頁(yè)表的頁(yè)表項(xiàng)里存放有 4KB 頁(yè)的物理基地址，加上最后的VA 12位，因此處理器就完成了頁(yè)表的查詢和翻譯工作。

（將整個(gè)4MB分成了4096份* 256份*4KB）
（這就是為什么內(nèi)存越大，頁(yè)表項(xiàng)也得越大，不然頁(yè)表項(xiàng)的內(nèi)存就變大的）
（表項(xiàng)存的是基地址，而虛擬內(nèi)存放的都是索引）

圖 7.4 所示為 4KB 映射的一級(jí)頁(yè)表的表項(xiàng)，bit[1:0]表示一個(gè)頁(yè)映射的表項(xiàng)，bit[31:10]指向二級(jí)頁(yè)表的物理基地址。

4KB是2^12

64位的ARM 一般常用的是48，那么只剩36位（其他的位干啥了呢，記住這個(gè)問(wèn)題哈哈哈）

這里還是討論32位

下圖展示兩個(gè)進(jìn)程以及各自的頁(yè)表和物理內(nèi)存的對(duì)應(yīng)關(guān)系圖，這里假定頁(yè)大小是4K，32位地址總線進(jìn)程地址空間大小為(2^32)4G，這時(shí)候頁(yè)表項(xiàng)有 4G / 4K = 1048576個(gè)，每個(gè)頁(yè)表項(xiàng)為一個(gè)地址，占用4字節(jié)，1048576 * 4(B) /1024(M) = 4M，也就是說(shuō)一個(gè)程序啥都不干，頁(yè)表大小就得占用4M。如果每個(gè)頁(yè)表項(xiàng)都存在對(duì)應(yīng)的映射地址那也就算了，但是，絕大部分程序僅僅使用了幾個(gè)頁(yè)，也就是說(shuō)，只需要幾個(gè)頁(yè)的映射就可以了，如下圖，進(jìn)程1的頁(yè)表，只用到了0,1,1024三個(gè)頁(yè)，剩下的1048573頁(yè)表項(xiàng)是空的，這就造成了巨大的浪費(fèi)，為了避免內(nèi)存浪費(fèi)，計(jì)算機(jī)系統(tǒng)開(kāi)發(fā)人員想出了一個(gè)方案，多級(jí)頁(yè)表。

我們先看下圖，這是一個(gè)兩級(jí)頁(yè)表，對(duì)應(yīng)上圖中的進(jìn)程1。先計(jì)算下兩級(jí)頁(yè)表的內(nèi)存占用情況。

一級(jí)頁(yè)表占用= 1024 * 4 B= 4K，

2級(jí)頁(yè)表占用 = (1024 * 4 B) * 2 = 8K。

總共的占用情況是 12K，相比一級(jí)頁(yè)表 4M，節(jié)省了99.7%的內(nèi)存占用。

我們來(lái)看下兩級(jí)頁(yè)表為啥能夠節(jié)省這么大的內(nèi)存空間，相比于上圖單級(jí)頁(yè)表中一對(duì)一的關(guān)系，兩級(jí)頁(yè)表中的一級(jí)頁(yè)表項(xiàng)是一對(duì)多的關(guān)系，這里是1:1024, 這樣就需要 1048576 / 1024 = 1024 個(gè)一級(jí)頁(yè)表項(xiàng)。相當(dāng)于把上圖的單級(jí)頁(yè)表分成1024份。一級(jí)頁(yè)表項(xiàng)PTE0表示虛擬地址頁(yè)01023，PTE1表示虛擬地址頁(yè)10242047。如果對(duì)應(yīng)的1024個(gè)虛擬地址頁(yè)存在任意一個(gè)真實(shí)的映射，則一級(jí)頁(yè)表項(xiàng)指向一個(gè)二級(jí)頁(yè)表項(xiàng)，二級(jí)頁(yè)表項(xiàng)和虛擬地址頁(yè)一一對(duì)應(yīng)，在上圖中，進(jìn)程1的虛擬頁(yè)0,1,1024存在映射，0,1虛擬頁(yè)屬于這里的PTE0,1024屬于PTE1。一級(jí)頁(yè)表項(xiàng)中如果為null，表示對(duì)應(yīng)的1024個(gè)虛擬頁(yè)沒(méi)有使用，所以就不需要二級(jí)頁(yè)表了，節(jié)省了空間。當(dāng)然，如果虛擬地址頁(yè)完全映射的話，多級(jí)頁(yè)表的占用=一級(jí)頁(yè)表項(xiàng)(1024 * 4B) + 二級(jí)頁(yè)表項(xiàng)(1024 1024 4B) = 4M + 4K，比單級(jí)映射多了4K，不過(guò)這種情況基本上沒(méi)有可能，因?yàn)檫M(jìn)程的地址空間很少有完全映射的情況。正是因?yàn)槭s了大量未映射的頁(yè)表項(xiàng)使得頁(yè)表的空間大幅減少。

其實(shí)這個(gè)差異就是我以前一來(lái)就把全部的虛擬頁(yè)表和物理頁(yè)表建立了映射關(guān)系，那我這個(gè)頁(yè)表就需要4M。

現(xiàn)在我將這個(gè)4M的頁(yè)表分成了1024份，需要幾份就申請(qǐng)創(chuàng)建幾份頁(yè)表，而不是一來(lái)就把所有的頁(yè)表都和物理頁(yè)面掛上鉤。

然后分成了這1024個(gè)，我需要在抽象一層4kb的頁(yè)表去指向這1024個(gè)頁(yè)表各自的基地址。

因?yàn)閺奈锢韮?nèi)存層面一層一層的提到最上層的時(shí)候，也方便我們對(duì)于這個(gè)虛擬地址的組成：

一級(jí)頁(yè)表索引+二級(jí)頁(yè)表索引+VA（每次頁(yè)表的內(nèi)容都是下一基的基地址）

（這個(gè)圖片稍微有點(diǎn)理想，一般都是4096 + 256的組合，而不是1014 + 1024的組合，不過(guò)大概這個(gè)道理就行）

那幾個(gè)特殊的位是內(nèi)存的屬性。這個(gè)后面再補(bǔ)充。這個(gè)是ARM硬件架構(gòu)上針對(duì)安全內(nèi)存、設(shè)備內(nèi)存的一些位。

審核編輯：湯梓紅