我們知道m(xù)alloc() 并不是系統(tǒng)調(diào)用，也不是運(yùn)算符，而是 C 庫(kù)里的函數(shù)，用于動(dòng)態(tài)分配內(nèi)存。

malloc 申請(qǐng)內(nèi)存的時(shí)候，會(huì)有兩種方式向操作系統(tǒng)申請(qǐng)堆內(nèi)存：

• 方式一：通過(guò) brk() 系統(tǒng)調(diào)用從堆分配內(nèi)存
• 方式二：通過(guò) mmap() 系統(tǒng)調(diào)用在文件映射區(qū)域分配內(nèi)存；

一、brk()系統(tǒng)調(diào)用

1、brk()的申請(qǐng)方式

一般如果用戶分配的內(nèi)存小于 128 KB，則通過(guò) brk() 申請(qǐng)內(nèi)存。而brk()的實(shí)現(xiàn)的方式很簡(jiǎn)單，就是通過(guò) brk() 函數(shù)將堆頂指針向高地址移動(dòng)，獲得新的內(nèi)存空間。如下圖：

malloc 通過(guò) brk() 方式申請(qǐng)的內(nèi)存，free 釋放內(nèi)存的時(shí)候，并不會(huì)把內(nèi)存歸還給操作系統(tǒng)，而是緩存在 malloc 的內(nèi)存池中，待下次使用，這樣就可以重復(fù)使用。

2、brk()系統(tǒng)調(diào)用的優(yōu)缺點(diǎn)

所以使用brk()方式的點(diǎn)很明顯：可以減少缺頁(yè)異常的發(fā)生，提高內(nèi)存訪問(wèn)效率。

但它的缺點(diǎn)也同樣明顯：由于申請(qǐng)的內(nèi)存沒(méi)有歸還系統(tǒng)，在內(nèi)存工作繁忙時(shí)，頻繁的內(nèi)存分配和釋放會(huì)造成內(nèi)存碎片。brk()方式之所以會(huì)產(chǎn)生內(nèi)存碎片，是由于brk通過(guò)移動(dòng)堆頂?shù)奈恢脕?lái)分配內(nèi)存，并且使用完不會(huì)立即歸還系統(tǒng)，重復(fù)使用，如果高地址的內(nèi)存不釋放，低地址的內(nèi)存是得不到釋放的。

正是由于使用brk()會(huì)出現(xiàn)內(nèi)存碎片，所以在我們申請(qǐng)大塊內(nèi)存的時(shí)候才會(huì)使用mmap()方式，mmap()是以頁(yè)為單位進(jìn)行內(nèi)存分配和管理的，釋放后就直接歸還系統(tǒng)了，所以不會(huì)出現(xiàn)這種小碎片的情況。

3、brk()系統(tǒng)調(diào)用的優(yōu)化

一、Ptmalloc ：malloc采用的是內(nèi)存池的管理方式，Ptmalloc 采用邊界標(biāo)記法將內(nèi)存劃分成很多塊，從而對(duì)內(nèi)存的分配與回收進(jìn)行管理。為了內(nèi)存分配函數(shù)malloc的高效性，ptmalloc會(huì)預(yù)先向操作系統(tǒng)申請(qǐng)一塊內(nèi)存供用戶使用，當(dāng)我們申請(qǐng)和釋放內(nèi)存的時(shí)候，ptmalloc會(huì)將這些內(nèi)存管理起來(lái)，并通過(guò)一些策略來(lái)判斷是否將其回收給操作系統(tǒng)。這樣做的最大好處就是，使用戶申請(qǐng)和釋放內(nèi)存的時(shí)候更加高效，避免產(chǎn)生過(guò)多的內(nèi)存碎片。

二、Tcmalloc：Ptmalloc在性能上還是存在一些問(wèn)題的，比如不同分配區(qū)（arena）的內(nèi)存不能交替使用，比如每個(gè)內(nèi)存塊分配都要浪費(fèi)8字節(jié)內(nèi)存等等，所以一般傾向于使用第三方的malloc。

Tcmalloc是Google gperftools里的組件之一。全名是 thread cache malloc（線程緩存分配器）其內(nèi)存管理分為線程內(nèi)存和中央堆兩部分。

1.小塊內(nèi)部的分配：對(duì)于小塊內(nèi)存分配，其內(nèi)部維護(hù)了60個(gè)不同大小的分配器（實(shí)際源碼中看到的是86個(gè)），和ptmalloc不同的是，它的每個(gè)分配器的大小差是不同的，依此按8字節(jié)、16字節(jié)、32字節(jié)等間隔開(kāi)。在內(nèi)存分配的時(shí)候，會(huì)找到最小符合條件的，比如833字節(jié)到1024字節(jié)的內(nèi)存分配請(qǐng)求都會(huì)分配一個(gè)1024大小的內(nèi)存塊。如果這些分配器的剩余內(nèi)存不夠了，會(huì)向中央堆申請(qǐng)一些內(nèi)存，打碎以后填入對(duì)應(yīng)分配器中。同樣，如果中央堆也沒(méi)內(nèi)存了，就向中央內(nèi)存分配器申請(qǐng)內(nèi)存。

在線程緩存內(nèi)的60個(gè)分配器分別維護(hù)了一個(gè)大小固定的自由空間鏈表，直接由這些鏈表分配內(nèi)存的時(shí)候是不加鎖的。但是中央堆是所有線程共享的，在由其分配內(nèi)存的時(shí)候會(huì)加自旋鎖(spin lock)。

2.大內(nèi)存的分配：對(duì)于大內(nèi)存分配(大于8個(gè)分頁(yè), 即32K)，tcmalloc直接在中央堆里分配。中央堆的內(nèi)存管理是以分頁(yè)為單位的，同樣按大小維護(hù)了256個(gè)空閑空間鏈表，前255個(gè)分別是1個(gè)分頁(yè)、2個(gè)分頁(yè)到255個(gè)分頁(yè)的空閑空間，最后一個(gè)是更多分頁(yè)的小的空間。這里的空間如果不夠用，就會(huì)直接從系統(tǒng)申請(qǐng)了。

3.ptmalloc與tcmalloc的不足：都是針對(duì)小內(nèi)存分配和管理；對(duì)大塊內(nèi)存還是直接用了系統(tǒng)調(diào)用。應(yīng)該盡量避免大內(nèi)存的malloc/new、free/delete操作。頻繁分配小內(nèi)存，例如：對(duì)bool、int、short進(jìn)行new的時(shí)候，造成內(nèi)存浪費(fèi)。

三、Jemalloc： jemalloc 是由 Jason Evans 在 FreeBSD 項(xiàng)目中引入的新一代內(nèi)存分配器。它是一個(gè)通用的malloc實(shí)現(xiàn)，側(cè)重于減少內(nèi)存碎片和提升高并發(fā)場(chǎng)景下內(nèi)存的分配效率，其目標(biāo)是能夠替代 malloc。下面是Jemalloc的兩個(gè)重要部分：

1.arena:arena 是 jemalloc 最重要的部分，內(nèi)存由一定數(shù)量的 arenas 負(fù)責(zé)管理。每個(gè)用戶線程都會(huì)被綁定到一個(gè) arena 上，線程采用 round-robin 輪詢的方式選擇可用的 arena 進(jìn)行內(nèi)存分配，為了減少線程之間的鎖競(jìng)爭(zhēng)，默認(rèn)每個(gè) CPU 會(huì)分配 4 個(gè) arena，各個(gè) arena 所管理的內(nèi)存相互獨(dú)立。

struct arena_s {

	atomic_u_t		nthreads[2];
	tsdn_t		*last_thd;

	arena_stats_t		stats;  // arena的狀態(tài)

	ql_head(tcache_t)	tcache_ql;
	ql_head(cache_bin_array_descriptor_t)	cache_bin_array_descriptor_ql;
	malloc_mutex_t				tcache_ql_mtx;

	prof_accum_t		prof_accum;
	uint64_t		prof_accumbytes;

	atomic_zu_t		offset_state;

	atomic_zu_t		extent_sn_next;  // extent的序列號(hào)生成器狀態(tài)

	atomic_u_t		dss_prec;   

	atomic_zu_t		nactive;    // 激活的extents的page數(shù)量

	extent_list_t	large;      // 存放 large extent 的 extents

	malloc_mutex_t	large_mtx;  // large extent的鎖

	extents_t extents_dirty;    // 剛被釋放后空閑 extent 位于的地方

	extents_t extents_muzzy;    // extents_dirty 進(jìn)行 lazy purge 后位于的地方，dirty - > muzzy

	extents_t extents_retained; // extents_muzzy 進(jìn)行 decommit 或 force purge 后 extent 位于的地方，muzzy - > retained

	arena_decay_t	decay_dirty; // dirty -- > muzzy 

	arena_decay_t	decay_muzzy; // muzzy -- > retained 

	pszind_t		extent_grow_next;
	pszind_t		retain_grow_limit;
	malloc_mutex_t		extent_grow_mtx;

	extent_tree_t		extent_avail;     // heap，存放可用的 extent 元數(shù)據(jù)

	malloc_mutex_t		extent_avail_mtx; // extent_avail的鎖

	bin_t			bins[NBINS];      // 所有用于分配小內(nèi)存的 bin

	base_t			*base;            // 用于分配元數(shù)據(jù)的 base

	nstime_t		create_time;      // 創(chuàng)建時(shí)間
};

2.extent:管理 jemalloc 內(nèi)存塊（即用于用戶分配的內(nèi)存）的結(jié)構(gòu)，每一個(gè)內(nèi)存塊大小可以是 N * page_size(4KB)（N >= 1）。每個(gè) extent 有一個(gè)序列號(hào)（serial number）。一個(gè) extent 可以用來(lái)分配一次 large_class 的內(nèi)存申請(qǐng)，但可以用來(lái)分配多次 small_class 的內(nèi)存申請(qǐng)。

struct extent_s {
    uint64_t		e_bits; // 8字節(jié)長(zhǎng)，記錄多種信息

    void			*e_addr; // 管理的內(nèi)存塊的起始地址

    union {
		size_t	e_size_esn; // extent和序列號(hào)的大小
		size_t	e_bsize;    // 基本extent的大小
	};

    union {
		/* 
         * S位圖，當(dāng)此 extent 用于分配 small_class 內(nèi)存時(shí)，用來(lái)記錄這個(gè) extent 的分配情況，        
         * 此時(shí)每個(gè) extent 的內(nèi)的小內(nèi)存稱為 region 
         */
		arena_slab_data_t	e_slab_data; 

		atomic_p_t		e_prof_tctx; // 一個(gè)計(jì)數(shù)器，用于large object
	};
}

二、mmap()系統(tǒng)調(diào)用

1、mmap基礎(chǔ)概念

mmap 是一種內(nèi)存映射文件的方法，即將一個(gè)文件或者其他對(duì)象映射到進(jìn)程的地址空間，實(shí)現(xiàn)文件磁盤地址和進(jìn)程虛擬地址空間中一段虛擬地址的一一映射關(guān)系。

實(shí)現(xiàn)這樣的映射關(guān)系后，進(jìn)程就可以采用指針的方式讀寫操作這一段內(nèi)存，而系統(tǒng)會(huì)自動(dòng)回寫臟頁(yè)面到對(duì)應(yīng)的文件磁盤上，即完成了對(duì)文件的操作而不必調(diào)用read,write等系統(tǒng)調(diào)用函數(shù)。相反，內(nèi)核空間的這段區(qū)域的修改也直接反映用戶空間，從而可以實(shí)現(xiàn)不同進(jìn)程的文件共享。如下圖所示：

由上圖可以看出，進(jìn)程的虛擬地址空間，由多個(gè)虛擬內(nèi)存區(qū)域構(gòu)成。虛擬內(nèi)存區(qū)域是進(jìn)程的虛擬地址空間中的一個(gè)同質(zhì)區(qū)間，即具有同樣特性的連續(xù)地址范圍。上圖中所示的text數(shù)據(jù)段、初始數(shù)據(jù)段、Bss數(shù)據(jù)段、堆、棧、內(nèi)存映射，都是一個(gè)獨(dú)立的虛擬內(nèi)存區(qū)域。而為內(nèi)存映射服務(wù)的地址空間處在堆棧之間的空余部分。

linux 內(nèi)核使用的vm_area_struct 結(jié)構(gòu)來(lái)表示一個(gè)獨(dú)立的虛擬內(nèi)存區(qū)域，由于每個(gè)不同質(zhì)的虛擬內(nèi)存區(qū)域功能和內(nèi)部機(jī)制不同；因此同一個(gè)進(jìn)程使用多個(gè)vm_area_struct 結(jié)構(gòu)來(lái)分別表示不同類型的虛擬內(nèi)存區(qū)域。各個(gè)vm_area_struct 結(jié)構(gòu)使用鏈表或者樹(shù)形結(jié)構(gòu)鏈接，方便進(jìn)程快速訪問(wèn)。如下圖所示：

vm_area_struct 結(jié)構(gòu)中包含區(qū)域起始和終止地址以及其他相關(guān)信息，同時(shí)也包含一個(gè)vm_ops 指針，其內(nèi)部可引出所有針對(duì)這個(gè)區(qū)域可以使用的系統(tǒng)調(diào)用函數(shù)。這樣，進(jìn)程對(duì)某一虛擬內(nèi)存區(qū)域的任何操作都需要的信息，都可以從vm_area_struct 中獲得。mmap函數(shù)就是要?jiǎng)?chuàng)建一個(gè)新的vm_area_struct結(jié)構(gòu) ，并將其與文件的物理磁盤地址相連。

2、mmap 內(nèi)存映射原理

mmap 內(nèi)存映射實(shí)現(xiàn)過(guò)程，總的來(lái)說(shuō)可以分為三個(gè)階段：

（一）進(jìn)程啟動(dòng)映射過(guò)程，并在虛擬地址空間中為映射創(chuàng)建虛擬映射區(qū)域

1、進(jìn)程在用戶空間調(diào)用函數(shù)mmap ，原型：void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset);

2、在當(dāng)前進(jìn)程虛擬地址空間中，尋找一段空閑的滿足要求的連續(xù)的虛擬地址

3、為此虛擬區(qū)分配一個(gè)vm_area_struct 結(jié)構(gòu)，接著對(duì)這個(gè)結(jié)構(gòu)各個(gè)區(qū)域進(jìn)行初始化

4、將新建的虛擬區(qū)結(jié)構(gòu)（vm_area_struct）插入進(jìn)程的虛擬地址區(qū)域鏈表或樹(shù)中

（二）調(diào)用內(nèi)核空間的系統(tǒng)調(diào)用函數(shù)mmap （不同于用戶空間函數(shù)），實(shí)現(xiàn)文件物理地址和進(jìn)程虛擬地址的一一映射關(guān)系

5、為映射分配新的虛擬地址區(qū)域后，通過(guò)待映射的文件指針，在文件描述符表中找到對(duì)應(yīng)的文件描述符，通過(guò)文件描述符，鏈接到內(nèi)核“已打開(kāi)文集”中該文件結(jié)構(gòu)體，每個(gè)文件結(jié)構(gòu)體維護(hù)者和這個(gè)已經(jīng)打開(kāi)文件相關(guān)各項(xiàng)信息。

6、通過(guò)該文件的文件結(jié)構(gòu)體，鏈接到file_operations模塊，調(diào)用內(nèi)核函數(shù)mmap，其原型為：int mmap(struct file *filp, struct vm_area_struct *vma)，不同于用戶空間庫(kù)函數(shù)。

7、內(nèi)核mmap函數(shù)通過(guò)虛擬文件系統(tǒng)inode模塊定位到文件磁盤物理地址。

8、通過(guò)remap_pfn_range函數(shù)建立頁(yè)表，即實(shí)現(xiàn)了文件地址和虛擬地址區(qū)域的映射關(guān)系。此時(shí)，這片虛擬地址并沒(méi)有任何數(shù)據(jù)關(guān)聯(lián)到主存中。

（三）進(jìn)程發(fā)起對(duì)這片映射空間的訪問(wèn)，引發(fā)缺頁(yè)異常，實(shí)現(xiàn)文件內(nèi)容到物理內(nèi)存（主存）的拷貝。

前兩個(gè)階段僅在于創(chuàng)建虛擬區(qū)間并完成地址映射，但是并沒(méi)有將任何文件數(shù)據(jù)拷貝至主存。真正的文件讀取是當(dāng)進(jìn)程發(fā)起讀或者寫操作時(shí)。

9、進(jìn)程的讀寫操作訪問(wèn)虛擬地址空間這一段映射地址后，通過(guò)查詢頁(yè)表，先這一段地址并不在物理頁(yè)面。因?yàn)槟壳爸唤⒘擞成?，真正的硬盤數(shù)據(jù)還沒(méi)有拷貝到內(nèi)存中，因此引發(fā)缺頁(yè)異常。

10、缺頁(yè)異常進(jìn)行一系列判斷，確定無(wú)法操作后，內(nèi)核發(fā)起請(qǐng)求掉頁(yè)過(guò)程。

11、調(diào)頁(yè)過(guò)程先在交換緩存空間中尋找需要訪問(wèn)的內(nèi)存頁(yè)，，如果沒(méi)有則調(diào)用nopage函數(shù)把所缺的頁(yè)從磁盤裝入到主存中。

12、之后進(jìn)程即可對(duì)這片主存進(jìn)行讀或者寫的操作了，如果寫操作改變了內(nèi)容，一定時(shí)間后系統(tǒng)自動(dòng)回寫臟頁(yè)面到對(duì)應(yīng)的磁盤地址，也即完成了寫入到文件的過(guò)程。

注：修改過(guò)的臟頁(yè)面并不會(huì)立即更新回文件，而是有一段時(shí)間延遲，可以調(diào)用msync() 來(lái)強(qiáng)制同步，這樣所寫的內(nèi)容就能立即保存到文件里了。

3、mmap優(yōu)點(diǎn)

1、對(duì)文件的讀取操作跨過(guò)了頁(yè)緩存，減少了數(shù)據(jù)的拷貝次數(shù)，用內(nèi)存讀寫取代了I/O讀寫，提高了讀取的效率。

2、實(shí)現(xiàn)了用戶空間和內(nèi)核空間的高校交互方式，兩空間的各自修改操作可以直接反映在映射的區(qū)域內(nèi)，從而被對(duì)方空間及時(shí)捕捉。

3、提供進(jìn)程間共享內(nèi)存及互相通信的方式。不管是父子進(jìn)程還是無(wú)親緣關(guān)系進(jìn)程，都可以將自身空間用戶映射到同一個(gè)文件或者匿名映射到同一片區(qū)域。從而通過(guò)各自映射區(qū)域的改動(dòng)，打到進(jìn)程間通信和進(jìn)程間共享的目的。

同時(shí)，如果進(jìn)程A和進(jìn)程 B 都映射了區(qū)域C,當(dāng)A第一次讀取C時(shí)候，通過(guò)缺頁(yè)從磁盤復(fù)制文件頁(yè)到內(nèi)存中，但當(dāng)B再讀C的相同頁(yè)面時(shí)，雖然也會(huì)產(chǎn)生缺頁(yè)異常，但是不會(huì)從磁盤中復(fù)制文件過(guò)來(lái)，而是直接使用已經(jīng)保存再內(nèi)存中的文件數(shù)據(jù)。

4、適用場(chǎng)景

可用于實(shí)現(xiàn)高效的大規(guī)模數(shù)據(jù)傳輸。內(nèi)存空間不足，是制約大數(shù)據(jù)操作的一個(gè)方面，解決方案往往是借助于硬盤空間的協(xié)助，補(bǔ)充內(nèi)存的不足。但是進(jìn)一步造成大量的文件I/O操作，極大影響效率。這個(gè)問(wèn)題可以通過(guò)mmap映射很好地解決。換句話說(shuō)，但凡需要磁盤空間代替內(nèi)存的時(shí)候，mmap都可以發(fā)揮功效。