轉(zhuǎn)載 golang內(nèi)存分配

Go 的分配采用了類似 tcmalloc 的結(jié)構(gòu).特點: 使用一小塊一小塊的連續(xù)內(nèi)存頁, 進行分配某個范圍大小的內(nèi)存需求. 比如某個連續(xù) 8KB 專門用于分配 17-24 字節(jié),以此減少內(nèi)存碎片. 線程擁有一定的 cache, 可用于無鎖分配.

同時 Go 對于 GC 后回收的內(nèi)存頁, 并不是馬上歸還給操作系統(tǒng), 而是會延遲歸還, 用于滿足未來的內(nèi)存需求.

??

在 1.10 以前 go 的堆地址空間是線性連續(xù)擴展的, 比如在 1.10(linux amd64)中, 最大可擴展到 512GB. 因為 go 在 gc 的時候會根據(jù)拿到的指針地址來判斷是否位于 go 的 heap 的, 以及找到其對應(yīng)的 span, 其判斷機制需要 gc heap 是連續(xù)的. 但是連續(xù)擴展有個問題, cgo 中的代碼(尤其是 32 位系統(tǒng)上)可能會占用未來會用于 go heap 的內(nèi)存. 這樣在擴展 go heap 時, mmap 出現(xiàn)不連續(xù)的地址, 導(dǎo)致運行時 throw.

在 1.11 中, 改用了稀疏索引的方式來管理整體的內(nèi)存. 可以超過 512G 內(nèi)存, 也可以允許內(nèi)存空間擴展時不連續(xù).在全局的 mheap struct 中有個 arenas 二階數(shù)組, 在 linux amd64 上,一階只有一個 slot, 二階有 4M 個 slot, 每個 slot 指向一個 heapArena 結(jié)構(gòu), 每個 heapArena 結(jié)構(gòu)可以管理 64M 內(nèi)存, 所以在新的版本中, go 可以管理 4M*64M=256TB 內(nèi)存, 即目前 64 位機器中 48bit 的尋址總線全部 256TB 內(nèi)存.

??

go 的內(nèi)存分配類似于 tcmalloc, 采用了 span 機制來減少內(nèi)存碎片. 每個 span 管理 8KB 整數(shù)倍的內(nèi)存, 用于分配一定范圍的內(nèi)存需求.

審核編輯 黃宇