top命令中VIRT、RES和SHR的含義

理解virt、res、shr之間的關(guān)系（linux系統(tǒng)篇）

前言

想必在linux上寫(xiě)過(guò)程序的同學(xué)都有分析進(jìn)程占用多少內(nèi)存的經(jīng)歷，或者被問(wèn)到這樣的問(wèn)題——你的程序在運(yùn)行時(shí)占用了多少內(nèi)存（物理內(nèi)存）？

通常我們可以通過(guò)top命令查看進(jìn)程占用了多少內(nèi)存。這里我們可以看到VIRT、RES和SHR三個(gè)重要的指標(biāo)，他們分別代表什么意思呢？

這是本文需要跟大家一起探討的問(wèn)題。當(dāng)然如果更加深入一點(diǎn)，你可能會(huì)問(wèn)進(jìn)程所占用的那些物理內(nèi)存都用在了哪些地方？這時(shí)候top命令可能不能給到你你所想要的答案了，不過(guò)我們可以分析proc文件系統(tǒng)提供的smaps文件，這篇文章詳盡地列出了當(dāng)前進(jìn)程所占用物理內(nèi)存的使用情況。

本文將分為三個(gè)部分：

1、分簡(jiǎn)要闡述虛擬內(nèi)存和駐留內(nèi)存這兩個(gè)重要的概念；

2、解釋top命令中VIRT、RES以及SHR三個(gè)參數(shù)的實(shí)際參考意義；

3、向大家介紹一下smaps文件的格式，通過(guò)分析smaps文件我們可以詳細(xì)了解進(jìn)程物理內(nèi)存的使用情況，比如mmap文件占用了多少空間、動(dòng)態(tài)內(nèi)存開(kāi)辟消耗了多少空間、函數(shù)調(diào)用棧消耗了多少空間等等。

01關(guān)于內(nèi)存的兩個(gè)概念

要理解top命令關(guān)于內(nèi)存使用情況的輸出，我們必須首先搞清楚虛擬內(nèi)存（Virtual Memory）和駐留內(nèi)存（Resident Memory）兩個(gè)概念。

（1）虛擬內(nèi)存

首先需要強(qiáng)調(diào)的是虛擬內(nèi)存不同于物理內(nèi)存，雖然兩者都包含內(nèi)存字眼但是它們屬于兩個(gè)不同層面的概念。進(jìn)程占用虛擬內(nèi)存空間大并非意味著程序的物理內(nèi)存也一定占用很大。虛擬內(nèi)存是操作系統(tǒng)內(nèi)核為了對(duì)進(jìn)程地址空間進(jìn)行管理（process address space management）而精心設(shè)計(jì)的一個(gè)邏輯意義上的內(nèi)存空間概念。

我們程序中的指針其實(shí)都是這個(gè)虛擬內(nèi)存空間中的地址。比如我們?cè)趯?xiě)完一段C++程序之后都需要采用g++進(jìn)行編譯，這時(shí)候編譯器采用的地址其實(shí)就是虛擬內(nèi)存空間的地址。因?yàn)檫@時(shí)候程序還沒(méi)有運(yùn)行，何談物理內(nèi)存空間地址？凡是程序運(yùn)行過(guò)程中可能需要用到的指令或者數(shù)據(jù)都必須在虛擬內(nèi)存空間中。

既然說(shuō)虛擬內(nèi)存是一個(gè)邏輯意義上（假象的）的內(nèi)存空間，為了能夠讓程序在物理機(jī)器上運(yùn)行，那么必須有一套機(jī)制可以讓這些假象的虛擬內(nèi)存空間映射到物理內(nèi)存空間（實(shí)實(shí)在在的RAM內(nèi)存條上的空間）。這其實(shí)就是操作系統(tǒng)中頁(yè)映射表（page table）所做的事情了。

內(nèi)核會(huì)為系統(tǒng)中每一個(gè)進(jìn)程維護(hù)一份相互獨(dú)立的頁(yè)映射表。頁(yè)映射表的基本原理是將程序運(yùn)行過(guò)程中需要訪(fǎng)問(wèn)的一段虛擬內(nèi)存空間通過(guò)頁(yè)映射表映射到一段物理內(nèi)存空間上，這樣CPU訪(fǎng)問(wèn)對(duì)應(yīng)虛擬內(nèi)存地址的時(shí)候就可以通過(guò)這種查找頁(yè)映射表的機(jī)制訪(fǎng)問(wèn)物理內(nèi)存上的某個(gè)對(duì)應(yīng)的地址?！绊?yè)（page）”是虛擬內(nèi)存空間向物理內(nèi)存空間映射的基本單元。

下圖演示了虛擬內(nèi)存空間和物理內(nèi)存空間的相互關(guān)系，它們通過(guò)Page Table關(guān)聯(lián)起來(lái)。其中虛擬內(nèi)存空間中著色的部分分別被映射到物理內(nèi)存空間對(duì)應(yīng)相同著色的部分。而虛擬內(nèi)存空間中灰色的部分表示在物理內(nèi)存空間中沒(méi)有與之對(duì)應(yīng)的部分，也就是說(shuō)灰色部分沒(méi)有被映射到物理內(nèi)存空間中。這么做也是本著“按需映射”的指導(dǎo)思想，因?yàn)樘摂M內(nèi)存空間很大，可能其中很多部分在一次程序運(yùn)行過(guò)程中根本不需要訪(fǎng)問(wèn)，所以也就沒(méi)有必要將虛擬內(nèi)存空間中的這些部分映射到物理內(nèi)存空間上。

虛擬內(nèi)存空間到物理內(nèi)存空間映射

到這里為止已經(jīng)基本闡述了什么是虛擬內(nèi)存了。

總結(jié)一下就是，虛擬內(nèi)存是一個(gè)假象的內(nèi)存空間，在程序運(yùn)行過(guò)程中虛擬內(nèi)存空間中需要被訪(fǎng)問(wèn)的部分會(huì)被映射到物理內(nèi)存空間中。虛擬內(nèi)存空間大只能表示程序運(yùn)行過(guò)程中可訪(fǎng)問(wèn)的空間比較大，不代表物理內(nèi)存空間占用也大。

（2）駐留內(nèi)存

駐留內(nèi)存，顧名思義是指那些被映射到進(jìn)程虛擬內(nèi)存空間的物理內(nèi)存。上圖中，在系統(tǒng)物理內(nèi)存空間中被著色的部分都是駐留內(nèi)存。比如，A1、A2、A3和A4是進(jìn)程A的駐留內(nèi)存；B1、B2和B3是進(jìn)程B的駐留內(nèi)存。

進(jìn)程的駐留內(nèi)存就是進(jìn)程實(shí)實(shí)在在占用的物理內(nèi)存。一般我們所講的進(jìn)程占用了多少內(nèi)存，其實(shí)就是說(shuō)的占用了多少駐留內(nèi)存而不是多少虛擬內(nèi)存。因?yàn)樘摂M內(nèi)存大并不意味著占用的物理內(nèi)存大。

02top命令中VIRT、RES和SHR

關(guān)于虛擬內(nèi)存和駐留內(nèi)存這兩個(gè)概念我們說(shuō)到這里。下面一部分我們來(lái)看看top命令中VIRT、RES和SHR分別代表什么意思。

top命令中VIRT、RES和SHR的含義

搞清楚了虛擬內(nèi)存的概念之后解釋VIRT的含義就很簡(jiǎn)單了。VIRT表示的是進(jìn)程虛擬內(nèi)存空間大小。對(duì)應(yīng)到圖1中的進(jìn)程A來(lái)說(shuō)就是A1、A2、A3、A4以及灰色部分所有空間的總和。也就是說(shuō)VIRT包含了在已經(jīng)映射到物理內(nèi)存空間的部分和尚未映射到物理內(nèi)存空間的部分總和。

RES的含義是指進(jìn)程虛擬內(nèi)存空間中已經(jīng)映射到物理內(nèi)存空間的那部分的大小。對(duì)應(yīng)到圖1中的進(jìn)程A來(lái)說(shuō)就是A1、A2、A3以及A4幾個(gè)部分空間的總和。所以說(shuō)，看進(jìn)程在運(yùn)行過(guò)程中占用了多少內(nèi)存應(yīng)該看RES的值而不是VIRT的值。

最后來(lái)看看SHR所表示的含義。

SHR是share（共享）的縮寫(xiě)，它表示的是進(jìn)程占用的共享內(nèi)存大小。在上圖中我們看到進(jìn)程A虛擬內(nèi)存空間中的A4和進(jìn)程B虛擬內(nèi)存空間中的B3都映射到了物理內(nèi)存空間的A4/B3部分。咋一看很奇怪。

為什么會(huì)出現(xiàn)這樣的情況呢？

其實(shí)我們寫(xiě)的程序會(huì)依賴(lài)于很多外部的動(dòng)態(tài)庫(kù)（.so），比如libc.so、libld.so等等。這些動(dòng)態(tài)庫(kù)在內(nèi)存中僅僅會(huì)保存/映射一份，如果某個(gè)進(jìn)程運(yùn)行時(shí)需要這個(gè)動(dòng)態(tài)庫(kù)，那么動(dòng)態(tài)加載器會(huì)將這塊內(nèi)存映射到對(duì)應(yīng)進(jìn)程的虛擬內(nèi)存空間中。多個(gè)進(jìn)展之間通過(guò)共享內(nèi)存的方式相互通信也會(huì)出現(xiàn)這樣的情況。

這么一來(lái)，就會(huì)出現(xiàn)不同進(jìn)程的虛擬內(nèi)存空間會(huì)映射到相同的物理內(nèi)存空間。這部分物理內(nèi)存空間其實(shí)是被多個(gè)進(jìn)程所共享的，所以我們將他們稱(chēng)為共享內(nèi)存，用SHR來(lái)表示。

某個(gè)進(jìn)程占用的內(nèi)存除了和別的進(jìn)程共享的內(nèi)存之外就是自己的獨(dú)占內(nèi)存了。所以要計(jì)算進(jìn)程獨(dú)占內(nèi)存的大小只要用RES的值減去SHR值即可。

03進(jìn)程的smaps文件

通過(guò)top命令我們已經(jīng)能看出進(jìn)程的虛擬空間大小（VIRT）、占用的物理內(nèi)存（RES）以及和其他進(jìn)程共享的內(nèi)存（SHR）。但是僅此而已，如果我想知道如下問(wèn)題：

進(jìn)程的虛擬內(nèi)存空間的分布情況，比如heap占用了多少空間、文件映射（mmap）占用了多少空間、stack占用了多少空間？

進(jìn)程是否有被交換到swap空間的內(nèi)存，如果有，被交換出去的大??？

mmap方式打開(kāi)的數(shù)據(jù)文件有多少頁(yè)在內(nèi)存中是臟頁(yè)（dirty page）沒(méi)有被寫(xiě)回到磁盤(pán)的？

mmap方式打開(kāi)的數(shù)據(jù)文件當(dāng)前有多少頁(yè)面已經(jīng)在內(nèi)存中，有多少頁(yè)面還在磁盤(pán)中沒(méi)有加載到page cahe中？

等等

以上這些問(wèn)題都無(wú)法通過(guò)top命令給出答案，但是有時(shí)候這些問(wèn)題正是我們?cè)趯?duì)程序進(jìn)行性能瓶頸分析和優(yōu)化時(shí)所需要回答的問(wèn)題。所幸的是，世界上解決問(wèn)題的方法總比問(wèn)題本身要多得多。linux通過(guò)proc文件系統(tǒng)為每個(gè)進(jìn)程都提供了一個(gè)smaps文件，通過(guò)分析該文件我們就可以一一回答以上提出的問(wèn)題。

在smaps文件中，每一條記錄（如下圖所示）表示進(jìn)程虛擬內(nèi)存空間中一塊連續(xù)的區(qū)域。其中第一行從左到右依次表示地址范圍、權(quán)限標(biāo)識(shí)、映射文件偏移、設(shè)備號(hào)、inode、文件路徑。詳細(xì)解釋可以參見(jiàn)understanding-linux-proc-id-maps。

接下來(lái)8個(gè)字段的含義分別如下：

? Size：表示該映射區(qū)域在虛擬內(nèi)存空間中的大小。

?Rss：表示該映射區(qū)域當(dāng)前在物理內(nèi)存中占用了多少空間

?Shared_Clean：和其他進(jìn)程共享的未被改寫(xiě)的page的大小

?Shared_Dirty：和其他進(jìn)程共享的被改寫(xiě)的page的大小

?Private_Clean：未被改寫(xiě)的私有頁(yè)面的大小。

?Private_Dirty：已被改寫(xiě)的私有頁(yè)面的大小。

?Swap：表示非mmap內(nèi)存（也叫anonymous memory，比如malloc動(dòng)態(tài)分配出來(lái)的內(nèi)存）由于物理內(nèi)存不足被swap到交換空間的大小。

?Pss：該虛擬內(nèi)存區(qū)域平攤計(jì)算后使用的物理內(nèi)存大小(有些內(nèi)存會(huì)和其他進(jìn)程共享，例如mmap進(jìn)來(lái)的)。比如該區(qū)域所映射的物理內(nèi)存部分同時(shí)也被另一個(gè)進(jìn)程映射了，且該部分物理內(nèi)存的大小為1000KB，那么該進(jìn)程分?jǐn)偲渲幸话氲膬?nèi)存，即Pss=500KB。

smaps文件中的一條記錄

有了smap如此詳細(xì)關(guān)于虛擬內(nèi)存空間到物理內(nèi)存空間的映射信息，相信大家已經(jīng)能夠通過(guò)分析該文件回答上面提出的4個(gè)問(wèn)題。

04最后希望大家能夠通過(guò)閱讀本文對(duì)進(jìn)程的虛擬內(nèi)存和物理內(nèi)存有一個(gè)更加清晰認(rèn)識(shí)，并能更加準(zhǔn)確理解top命令關(guān)于內(nèi)存的輸出，最后可以通過(guò)smaps文件更進(jìn)一步分析進(jìn)程使用內(nèi)存的情況。