mlock如何鎖住進(jìn)程地址空間關(guān)聯(lián)的物理內(nèi)存

一般用戶空間關(guān)聯(lián)的物理頁面是按需通過缺頁異常的方式分配和調(diào)頁，當(dāng)系統(tǒng)物理內(nèi)存不足時(shí)頁面回收算法會回收一些最近很少使用的頁面，但是有時(shí)候我們需要鎖住一些物理頁面防止其被回收（如時(shí)間有嚴(yán)格要求的應(yīng)用），Linux中提供了mlock相關(guān)的系統(tǒng)調(diào)用供用戶空間使用來鎖住部分或全部的地址空間關(guān)聯(lián)的物理頁面。 本文的分析基于arm64處理器架構(gòu)，內(nèi)核版本為Linux-5.10.27，我們會結(jié)合重點(diǎn)內(nèi)核源代碼來解析mlock是如何做到鎖住進(jìn)程地址空間關(guān)聯(lián)的物理內(nèi)存的，又是如何防止相關(guān)的物理頁面被交換出去的。

一、主動缺頁

mlock的主要代碼處理流程如下，這里我們主要關(guān)注主動缺頁部分：

mlock處理路徑中，會將VM_LOCKED標(biāo)志加入到vma->vm_flags中（由于設(shè)置的地址區(qū)域有可能跨越多個(gè)vma,所以代碼中會涉及到分裂和合并的操作，實(shí)質(zhì)上都會設(shè)置相關(guān)的vma->vm_flags的VM_LOCKED標(biāo)志），然后會調(diào)用__mm_populate來填充虛擬頁對應(yīng)的物理頁，最終在faultin_page函數(shù)中試圖查找vma中的每個(gè)虛擬頁對應(yīng)的物理頁面（對應(yīng)于follow_page_mask函數(shù)），如果沒有找到會調(diào)用handle_mm_fault主動觸發(fā)缺頁處理。 handle_mm_fault函數(shù)是內(nèi)核通用的缺頁異常處理例程，如vma是匿名映射的則分配物理頁面然后建立頁表映射關(guān)系，vma是文件映射則會從磁盤讀取對應(yīng)的文件頁（如果page cache沒有對應(yīng)頁面時(shí)）到內(nèi)存的page cache,然后建立虛擬頁面建立頁表映射關(guān)系。

二、內(nèi)存回收處理

1. 掃描活躍的lru鏈表

內(nèi)存回收掃描活躍的lru鏈表時(shí)，對于設(shè)定了VM_LOCKED的vma處理鏈路如下：

可以看到：當(dāng)掃描活躍的lru鏈表的時(shí)候，會通過反向映射機(jī)制查找到映射這個(gè)物理頁面的每個(gè)vma, 對于設(shè)置了vma->vm_flags 的VM_LOCKED標(biāo)志的vma來說直接退出反向映射處理即可，不需要進(jìn)行訪問計(jì)數(shù)的統(tǒng)計(jì)工作，本身這樣的物理頁面就需要常駐內(nèi)存不要進(jìn)行回收。

2.掃描不活躍的lru鏈表

內(nèi)存回收掃描不活躍的lru鏈表時(shí)，對于設(shè)定了VM_LOCKED的vma處理鏈路如下：

可以看到：調(diào)用鏈中也會調(diào)用page_referenced 函數(shù)通過反向映射機(jī)制查找到映射這個(gè)物理頁面的每個(gè)vma, 對于設(shè)置了vma->vm_flags 的VM_LOCKED標(biāo)志的vma來說直接退出反向映射處理即可，返回到page_check_references函數(shù)時(shí)，判斷如果有vma設(shè)置了VM_LOCKED標(biāo)志就會返回PAGEREF_RECLAIM到shrink_page_list函數(shù)接著處理。 shrink_page_list函數(shù)在處理完page_check_references之后，就進(jìn)行回收處理，對于頁表映射頁會調(diào)用try_to_unmap來解除頁表映射。

3.反向映射處理

shrink_page_list在回收物理頁面之前會調(diào)用try_to_unmap來解除映射到這個(gè)頁面所有頁表項(xiàng)，相關(guān)處理如下：

對于映射到這個(gè)物理頁的每個(gè)vma來說，如果vma->vm_flags設(shè)置了VM_LOCKED標(biāo)志，則會調(diào)用mlock_vma_page來做mlock處理，然后返回false，結(jié)束反向映射處理。 下面我們來看mlock_vma_page做了什么事情：

可以看到：mlock_vma_page首先設(shè)置頁描述符的PG_mlocked標(biāo)志，然后會zone的NR_MLOCK頁面記賬，然后會將頁面從原來的lru鏈表中隔離出來，最后會將頁面加入不可回收的lru中（這個(gè)代碼大家自行閱讀，實(shí)際上是判斷頁描述符的PG_mlocked標(biāo)志）。

mlock_vma_page處理的重點(diǎn)就是將頁面加入到不可回收的lru鏈表，這樣內(nèi)存回收的時(shí)候就不會在掃描到這樣的頁面了。

mlock的整個(gè)過程如下圖所示：

三、munlock處理

munlock會解除原來鎖住的頁面，處理路徑如下：

當(dāng)然代碼中也會有對應(yīng)的vma的分裂處理，主要處理為：清除vma的VM_LOCKED標(biāo)志，清除頁描述符的PG_mlocked標(biāo)志，最后就會將原來在不可回收的lru中的頁面重新加入對應(yīng)的lru鏈表中。 這里還有一個(gè)細(xì)節(jié)，那就是有可能這個(gè)頁面對多個(gè)vma共享，所以會通過try_to_munlock來處理，處理路徑如下：

會通過反向映射機(jī)制，遍歷這樣頁對應(yīng)的所有vma，如果傳遞的ttu_flags為TTU_MUNLOCK且vma->vm_flags沒有設(shè)置VM_LOCKED標(biāo)志，則直接返回，檢查下一個(gè)vma；如果有一個(gè)vma設(shè)置了VM_LOCKED標(biāo)志，說明這個(gè)頁面還不能被回收，就會通過mlock_vma_page函數(shù)重新將頁面加入到不可回收的lru鏈表。 munlock的整個(gè)處理過程如下圖：

四、總結(jié)

對于一些對時(shí)間有嚴(yán)格要求的應(yīng)用場景，訪問時(shí)按需分配和調(diào)頁機(jī)制的時(shí)延可能是未知的，內(nèi)核中提供了mlock相關(guān)的系統(tǒng)調(diào)用，用于將虛擬內(nèi)存區(qū)域?qū)?yīng)的物理頁面“鎖在”內(nèi)存中。內(nèi)核對應(yīng)mlock鎖住的頁面實(shí)際上它主要做了兩步比較重要的操作：1，調(diào)用mlock的時(shí)候就將所需要的物理頁面準(zhǔn)備好；2，內(nèi)存回收時(shí)當(dāng)掃描到相關(guān)的物理頁面時(shí)，將其放入不可回收的lru鏈表。第一步保證訪問的虛擬地址對應(yīng)的物理頁面在內(nèi)存中，第二步保證了鎖住的頁面不會被回收。