轉(zhuǎn)載 golang內(nèi)存分配

Go 的分配采用了類似 tcmalloc 的結(jié)構(gòu).特點(diǎn): 使用一小塊一小塊的連續(xù)內(nèi)存頁(yè), 進(jìn)行分配某個(gè)范圍大小的內(nèi)存需求. 比如某個(gè)連續(xù) 8KB 專門用于分配 17-24 字節(jié),以此減少內(nèi)存碎片. 線程擁有一定的 cache, 可用于無(wú)鎖分配.

同時(shí) Go 對(duì)于 GC 后回收的內(nèi)存頁(yè), 并不是馬上歸還給操作系統(tǒng), 而是會(huì)延遲歸還, 用于滿足未來(lái)的內(nèi)存需求.

??

在 1.10 以前 go 的堆地址空間是線性連續(xù)擴(kuò)展的, 比如在 1.10(linux amd64)中, 最大可擴(kuò)展到 512GB. 因?yàn)?go 在 gc 的時(shí)候會(huì)根據(jù)拿到的指針地址來(lái)判斷是否位于 go 的 heap 的, 以及找到其對(duì)應(yīng)的 span, 其判斷機(jī)制需要 gc heap 是連續(xù)的. 但是連續(xù)擴(kuò)展有個(gè)問(wèn)題, cgo 中的代碼(尤其是 32 位系統(tǒng)上)可能會(huì)占用未來(lái)會(huì)用于 go heap 的內(nèi)存. 這樣在擴(kuò)展 go heap 時(shí), mmap 出現(xiàn)不連續(xù)的地址, 導(dǎo)致運(yùn)行時(shí) throw.

在 1.11 中, 改用了稀疏索引的方式來(lái)管理整體的內(nèi)存. 可以超過(guò) 512G 內(nèi)存, 也可以允許內(nèi)存空間擴(kuò)展時(shí)不連續(xù).在全局的 mheap struct 中有個(gè) arenas 二階數(shù)組, 在 linux amd64 上,一階只有一個(gè) slot, 二階有 4M 個(gè) slot, 每個(gè) slot 指向一個(gè) heapArena 結(jié)構(gòu), 每個(gè) heapArena 結(jié)構(gòu)可以管理 64M 內(nèi)存, 所以在新的版本中, go 可以管理 4M*64M=256TB 內(nèi)存, 即目前 64 位機(jī)器中 48bit 的尋址總線全部 256TB 內(nèi)存.

??

go 的內(nèi)存分配類似于 tcmalloc, 采用了 span 機(jī)制來(lái)減少內(nèi)存碎片. 每個(gè) span 管理 8KB 整數(shù)倍的內(nèi)存, 用于分配一定范圍的內(nèi)存需求.

審核編輯 黃宇