深入了解虛擬內(nèi)存和內(nèi)存分頁的概念

內(nèi)存是計算機的主存儲器。內(nèi)存為進程開辟出進程空間，讓進程在其中保存數(shù)據(jù)。我將從內(nèi)存的物理特性出發(fā)，深入到內(nèi)存管理的細節(jié)，特別是了解虛擬內(nèi)存和內(nèi)存分頁的概念。

內(nèi)存

簡單地說，內(nèi)存就是一個數(shù)據(jù)貨架。內(nèi)存有一個最小的存儲單位，大多數(shù)都是一個字節(jié)。內(nèi)存用內(nèi)存地址（memory address）來為每個字節(jié)的數(shù)據(jù)順序編號。因此，內(nèi)存地址說明了數(shù)據(jù)在內(nèi)存中的位置。內(nèi)存地址從0開始，每次增加1。這種線性增加的存儲器地址稱為線性地址（linear address）。為了方便，我們用十六進制數(shù)來表示內(nèi)存地址，比如0x00000003、0x1A010CB0。這里的“0x”用來表示十六進制?！?x”后面跟著的，就是作為內(nèi)存地址的十六進制數(shù)。

內(nèi)存地址的編號有上限。地址空間的范圍和地址總線（address bus）的位數(shù)直接相關。CPU通過地址總線來向內(nèi)存說明想要存取數(shù)據(jù)的地址。以英特爾32位的80386型CPU為例，這款CPU有32個針腳可以傳輸?shù)刂?a target="_blank">信息。每個針腳對應了一位。如果針腳上是高電壓，那么這一位是1。如果是低電壓，那么這一位是0。32位的電壓高低信息通過地址總線傳到內(nèi)存的32個針腳，內(nèi)存就能把電壓高低信息轉換成32位的二進制數(shù)，從而知道CPU想要的是哪個位置的數(shù)據(jù)。用十六進制表示，32位地址空間就是從0x00000000 到0xFFFFFFFF。

內(nèi)存的存儲單元采用了隨機讀取存儲器（RAM， Random Access Memory）。所謂的“隨機讀取”，是指存儲器的讀取時間和數(shù)據(jù)所在位置無關。與之相對，很多存儲器的讀取時間和數(shù)據(jù)所在位置有關。就拿磁帶來說，我們想聽其中的一首歌，必須轉動帶子。如果那首歌是第一首，那么立即就可以播放。如果那首歌恰巧是最后一首，我們快進到可以播放的位置就需要花很長時間。我們已經(jīng)知道，進程需要調用內(nèi)存中不同位置的數(shù)據(jù)。如果數(shù)據(jù)讀取時間和位置相關的話，計算機就很難把控進程的運行時間。因此，隨機讀取的特性是內(nèi)存成為主存儲器的關鍵因素。

內(nèi)存提供的存儲空間，除了能滿足內(nèi)核的運行需求，還通常能支持運行中的進程。即使進程所需空間超過內(nèi)存空間，內(nèi)存空間也可以通過少量拓展來彌補。換句話說，內(nèi)存的存儲能力，和計算機運行狀態(tài)的數(shù)據(jù)總量相當。內(nèi)存的缺點是不能持久地保存數(shù)據(jù)。一旦斷電，內(nèi)存中的數(shù)據(jù)就會消失。因此，計算機即使有了內(nèi)存這樣一個主存儲器，還是需要硬盤這樣的外部存儲器來提供持久的儲存空間。

虛擬內(nèi)存

內(nèi)存的一項主要任務，就是存儲進程的相關數(shù)據(jù)。我們之前已經(jīng)看到過進程空間的程序段、全局數(shù)據(jù)、棧和堆，以及這些這些存儲結構在進程運行中所起到的關鍵作用。有趣的是，盡管進程和內(nèi)存的關系如此緊密，但進程并不能直接訪問內(nèi)存。在Linux下，進程不能直接讀寫內(nèi)存中地址為0x1位置的數(shù)據(jù)。進程中能訪問的地址，只能是虛擬內(nèi)存地址（virtual memory address）。操作系統(tǒng)會把虛擬內(nèi)存地址翻譯成真實的內(nèi)存地址。這種內(nèi)存管理方式，稱為虛擬內(nèi)存（virtual memory）。

每個進程都有自己的一套虛擬內(nèi)存地址，用來給自己的進程空間編號。進程空間的數(shù)據(jù)同樣以字節(jié)為單位，依次增加。從功能上說，虛擬內(nèi)存地址和物理內(nèi)存地址類似，都是為數(shù)據(jù)提供位置索引。進程的虛擬內(nèi)存地址相互獨立。因此，兩個進程空間可以有相同的虛擬內(nèi)存地址，如0x10001000。虛擬內(nèi)存地址和物理內(nèi)存地址又有一定的對應關系，如圖1所示。對進程某個虛擬內(nèi)存地址的操作，會被CPU翻譯成對某個具體內(nèi)存地址的操作。

圖1 虛擬內(nèi)存地址和物理內(nèi)存地址的對應?

應用程序來說對物理內(nèi)存地址一無所知。它只可能通過虛擬內(nèi)存地址來進行數(shù)據(jù)讀寫。程序中表達的內(nèi)存地址，也都是虛擬內(nèi)存地址。進程對虛擬內(nèi)存地址的操作，會被操作系統(tǒng)翻譯成對某個物理內(nèi)存地址的操作。由于翻譯的過程由操作系統(tǒng)全權負責，所以應用程序可以在全過程中對物理內(nèi)存地址一無所知。因此，C程序中表達的內(nèi)存地址，都是虛擬內(nèi)存地址。比如在C語言中，可以用下面指令來打印變量地址：

int v = 0; printf("%p", (void*)&v);

本質上說，虛擬內(nèi)存地址剝奪了應用程序自由訪問物理內(nèi)存地址的權利。進程對物理內(nèi)存的訪問，必須經(jīng)過操作系統(tǒng)的審查。因此，掌握著內(nèi)存對應關系的操作系統(tǒng)，也掌握了應用程序訪問內(nèi)存的閘門。借助虛擬內(nèi)存地址，操作系統(tǒng)可以保障進程空間的獨立性。只要操作系統(tǒng)把兩個進程的進程空間對應到不同的內(nèi)存區(qū)域，就讓兩個進程空間成為“老死不相往來”的兩個小王國。兩個進程就不可能相互篡改對方的數(shù)據(jù)，進程出錯的可能性就大為減少。

另一方面，有了虛擬內(nèi)存地址，內(nèi)存共享也變得簡單。操作系統(tǒng)可以把同一物理內(nèi)存區(qū)域對應到多個進程空間。這樣，不需要任何的數(shù)據(jù)復制，多個進程就可以看到相同的數(shù)據(jù)。內(nèi)核和共享庫的映射，就是通過這種方式進行的。每個進程空間中，最初一部分的虛擬內(nèi)存地址，都對應到物理內(nèi)存中預留給內(nèi)核的空間。這樣，所有的進程就可以共享同一套內(nèi)核數(shù)據(jù)。共享庫的情況也是類似。對于任何一個共享庫，計算機只需要往物理內(nèi)存中加載一次，就可以通過操縱對應關系，來讓多個進程共同使用。IPO中的共享內(nèi)存，也有賴于虛擬內(nèi)存地址。

內(nèi)存分頁

虛擬內(nèi)存地址和物理內(nèi)存地址的分離，給進程帶來便利性和安全性。但虛擬內(nèi)存地址和物理內(nèi)存地址的翻譯，又會額外耗費計算機資源。在多任務的現(xiàn)代計算機中，虛擬內(nèi)存地址已經(jīng)成為必備的設計。那么，操作系統(tǒng)必須要考慮清楚，如何能高效地翻譯虛擬內(nèi)存地址。

記錄對應關系最簡單的辦法，就是把對應關系記錄在一張表中。為了讓翻譯速度足夠地快，這個表必須加載在內(nèi)存中。不過，這種記錄方式驚人地浪費。如果樹莓派1GB物理內(nèi)存的每個字節(jié)都有一個對應記錄的話，那么光是對應關系就要遠遠超過內(nèi)存的空間。由于對應關系的條目眾多，搜索到一個對應關系所需的時間也很長。這樣的話，會讓樹莓派陷入癱瘓。

因此，Linux采用了分頁（paging）的方式來記錄對應關系。所謂的分頁，就是以更大尺寸的單位頁（page）來管理內(nèi)存。在Linux中，通常每頁大小為4KB。如果想要獲取當前樹莓派的內(nèi)存頁大小，可以使用命令：

$getconf PAGE_SIZE

得到結果，即內(nèi)存分頁的字節(jié)數(shù)：

4096

返回的4096代表每個內(nèi)存頁可以存放4096個字節(jié)，即4KB。Linux把物理內(nèi)存和進程空間都分割成頁。

內(nèi)存分頁，可以極大地減少所要記錄的內(nèi)存對應關系。我們已經(jīng)看到，以字節(jié)為單位的對應記錄實在太多。如果把物理內(nèi)存和進程空間的地址都分成頁，內(nèi)核只需要記錄頁的對應關系，相關的工作量就會大為減少。由于每頁的大小是每個字節(jié)的4000倍。因此，內(nèi)存中的總頁數(shù)只是總字節(jié)數(shù)的四千分之一。對應關系也縮減為原始策略的四千分之一。分頁讓虛擬內(nèi)存地址的設計有了實現(xiàn)的可能。

無論是虛擬頁，還是物理頁，一頁之內(nèi)的地址都是連續(xù)的。這樣的話，一個虛擬頁和一個物理頁對應起來，頁內(nèi)的數(shù)據(jù)就可以按順序一一對應。這意味著，虛擬內(nèi)存地址和物理內(nèi)存地址的末尾部分應該完全相同。大多數(shù)情況下，每一頁有4096個字節(jié)。由于4096是2的12次方，所以地址最后12位的對應關系天然成立。我們把地址的這一部分稱為偏移量（offset）。偏移量實際上表達了該字節(jié)在頁內(nèi)的位置。地址的前一部分則是頁編號。操作系統(tǒng)只需要記錄頁編號的對應關系。

?圖2 地址翻譯過程

多級分頁表

內(nèi)存分頁制度的關鍵，在于管理進程空間頁和物理頁的對應關系。操作系統(tǒng)把對應關系記錄在分頁表（page table）中。這種對應關系讓上層的抽象內(nèi)存和下層的物理內(nèi)存分離，從而讓Linux能靈活地進行內(nèi)存管理。由于每個進程會有一套虛擬內(nèi)存地址，那么每個進程都會有一個分頁表。為了保證查詢速度，分頁表也會保存在內(nèi)存中。分頁表有很多種實現(xiàn)方式，最簡單的一種分頁表就是把所有的對應關系記錄到同一個線性列表中，即如圖2中的“對應關系”部分所示。

這種單一的連續(xù)分頁表，需要給每一個虛擬頁預留一條記錄的位置。但對于任何一個應用進程，其進程空間真正用到的地址都相當有限。我們還記得，進程空間會有棧和堆。進程空間為棧和堆的增長預留了地址，但棧和堆很少會占滿進程空間。這意味著，如果使用連續(xù)分頁表，很多條目都沒有真正用到。因此，Linux中的分頁表，采用了多層的數(shù)據(jù)結構。多層的分頁表能夠減少所需的空間。

我們來看一個簡化的分頁設計，用以說明Linux的多層分頁表。我們把地址分為了頁編號和偏移量兩部分，用單層的分頁表記錄頁編號部分的對應關系。對于多層分頁表來說，會進一步分割頁編號為兩個或更多的部分，然后用兩層或更多層的分頁表來記錄其對應關系，如圖3所示。

?圖3 多層分頁表

在圖3的例子中，頁編號分成了兩級。第一級對應了前8位頁編號，用2個十六進制數(shù)字表示。第二級對應了后12位頁編號，用3個十六進制編號。二級表記錄有對應的物理頁，即保存了真正的分頁記錄。二級表有很多張，每個二級表分頁記錄對應的虛擬地址前8位都相同。比如二級表0x00，里面記錄的前8位都是0x00。翻譯地址的過程要跨越兩級。我們先取地址的前8位，在一級表中找到對應記錄。該記錄會告訴我們，目標二級表在內(nèi)存中的位置。我們再在二級表中，通過虛擬地址的后12位，找到分頁記錄，從而最終找到物理地址。

多層分頁表就好像把完整的電話號碼分成區(qū)號。我們把同一地區(qū)的電話號碼以及對應的人名記錄同通一個小本子上。再用一個上級本子記錄區(qū)號和各個小本子的對應關系。如果某個區(qū)號沒有使用，那么我們只需要在上級本子上把該區(qū)號標記為空。同樣，一級分頁表中0x01記錄為空，說明了以0x01開頭的虛擬地址段沒有使用，相應的二級表就不需要存在。正是通過這一手段，多層分頁表占據(jù)的空間要比單層分頁表少了很多。 多層分頁表還有另一個優(yōu)勢。單層分頁表必須存在于連續(xù)的內(nèi)存空間。而多層分頁表的二級表，可以散步于內(nèi)存的不同位置。這樣的話，操作系統(tǒng)就可以利用零碎空間來存儲分頁表。還需要注意的是，這里簡化了多層分頁表的很多細節(jié)。最新Linux系統(tǒng)中的分頁表多達3層，管理的內(nèi)存地址也比本章介紹的長很多。不過，多層分頁表的基本原理都是相同。

綜上，我們了解了內(nèi)存以頁為單位的管理方式。在分頁的基礎上，虛擬內(nèi)存和物理內(nèi)存實現(xiàn)了分離，從而讓內(nèi)核深度參與和監(jiān)督內(nèi)存分配。應用進程的安全性和穩(wěn)定性因此大為提高。

審核編輯：湯梓紅