詳解剖析Go語言調(diào)度模型的設(shè)計

golang的MPG調(diào)度模型是保障Go語言效率高的一個重要特性，本文詳細(xì)介紹了Go語言調(diào)度模型的設(shè)計。

前言

Please remember that at the end of the day， all programs that work on UNIX machines end up using C system calls to communicate with the UNIX kernel and perform most of their tasks. 所有在 UNIX 系統(tǒng)上運(yùn)行的程序最終都會通過 C 系統(tǒng)調(diào)用來和內(nèi)核打交道。

用其他語言編寫程序進(jìn)行系統(tǒng)調(diào)用，方法不外乎兩個：一是自己封裝，二是依賴 glibc、或者其他的運(yùn)行庫。Go 語言選擇了前者，把系統(tǒng)調(diào)用都封裝到了 syscall 包。封裝時也同樣得通過匯編實現(xiàn)。

異步系統(tǒng)調(diào)用 G 會和MP分離（G掛到netpoller），同步系統(tǒng)調(diào)用 GM 會和P分離（P另尋M），生動的說明了GPM相對GM的精妙之處。

阻塞

在 Go 里面阻塞主要分為以下 4 種場景：

由于原子、互斥量或通道操作調(diào)用導(dǎo)致 Goroutine 阻塞，調(diào)度器將把當(dāng)前阻塞的 Goroutine 切換出去，重新調(diào)度 LRQ 上的其他 Goroutine；

由于網(wǎng)絡(luò)請求和 IO 操作導(dǎo)致 Goroutine 阻塞。Go 程序提供了網(wǎng)絡(luò)輪詢器（NetPoller）來處理網(wǎng)絡(luò)請求和 IO 操作的問題，其后臺通過 kqueue（MacOS），epoll（Linux）或 iocp（Windows）來實現(xiàn) IO 多路復(fù)用。通過使用 NetPoller 進(jìn)行網(wǎng)絡(luò)系統(tǒng)調(diào)用，調(diào)度器可以防止 Goroutine 在進(jìn)行這些系統(tǒng)調(diào)用時阻塞 M。

這可以讓 M 執(zhí)行 P 的 LRQ 中其他的 Goroutines，而不需要創(chuàng)建新的 M。執(zhí)行網(wǎng)絡(luò)系統(tǒng)調(diào)用不需要額外的 M，網(wǎng)絡(luò)輪詢器使用系統(tǒng)線程，它時刻處理一個有效的事件循環(huán)，有助于減少操作系統(tǒng)上的調(diào)度負(fù)載。

用戶層眼中看到的 Goroutine 中的“block socket”，實現(xiàn)了 goroutine-per-connection 簡單的網(wǎng)絡(luò)編程模式。實際上是通過 Go runtime 中的 netpoller 通過 Non-block socket + I/O 多路復(fù)用機(jī)制“模擬”出來的。

當(dāng)調(diào)用一些系統(tǒng)方法的時候（如文件 I/O），如果系統(tǒng)方法調(diào)用的時候發(fā)生阻塞，這種情況下，網(wǎng)絡(luò)輪詢器（NetPoller）無法使用，而進(jìn)行系統(tǒng)調(diào)用的 G1 將阻塞當(dāng)前 M1。調(diào)度器引入 其它M 來服務(wù) M1 的P。

如果在 Goroutine 去執(zhí)行一個 sleep 操作，導(dǎo)致 M 被阻塞了。Go 程序后臺有一個監(jiān)控線程 sysmon，它監(jiān)控那些長時間運(yùn)行的 G 任務(wù)然后設(shè)置可以強(qiáng)占的標(biāo)識符，別的 Goroutine 就可以搶先進(jìn)來執(zhí)行。

系統(tǒng)調(diào)用

Go 語言通過 Syscall 和 Rawsyscall 等使用匯編語言編寫的方法封裝了操作系統(tǒng)提供的所有系統(tǒng)調(diào)用，其中 Syscall 在 Linux 386 上的實現(xiàn)如下：

TEXT ·Syscall（SB），NOSPLIT，$0-28

CALL runtime·entersyscall（SB）

MOVL trap+0（FP）， AX // syscall entry

MOVL a1+4（FP）， BX

MOVL a2+8（FP）， CX

MOVL a3+12（FP）， DX

MOVL $0， SI

MOVL $0， DI

INVOKE_SYSCALL

CMPL AX， $0xfffff001

JLS ok

MOVL $-1， r1+16（FP）

MOVL $0， r2+20（FP）

NEGL AX

MOVL AX， err+24（FP）

CALL runtime·exitsyscall（SB）

RET

ok：

MOVL AX， r1+16（FP）

MOVL DX， r2+20（FP）

MOVL $0， err+24（FP）

CALL runtime·exitsyscall（SB）

RET

Golang - 調(diào)度剖析 https://segmentfault.com/a/1190000016611742

Go： Goroutine， OS Thread and CPU Management https://medium.com/a-journey-with-go/go-goroutine-os-thread-and-cpu-management-2f5a5eaf518a

Go optimizes the system calls — whatever it is blocking or not — by wrapping them up in the runtime. This wrapper will automatically dissociate the P from the thread M and allow another thread to run on it.

異步系統(tǒng)調(diào)用

通過使用網(wǎng)絡(luò)輪詢器進(jìn)行網(wǎng)絡(luò)系統(tǒng)調(diào)用，調(diào)度器可以防止 Goroutine 在進(jìn)行這些系統(tǒng)調(diào)用時阻塞M。這可以讓M執(zhí)行P的 LRQ 中其他的 Goroutines，而不需要創(chuàng)建新的M。有助于減少操作系統(tǒng)上的調(diào)度負(fù)載。

G1正在M上執(zhí)行，還有 3 個 Goroutine 在 LRQ 上等待執(zhí)行

接下來，G1想要進(jìn)行網(wǎng)絡(luò)系統(tǒng)調(diào)用，因此它被移動到網(wǎng)絡(luò)輪詢器并且處理異步網(wǎng)絡(luò)系統(tǒng)調(diào)用。然后，M可以從 LRQ 執(zhí)行另外的 Goroutine。

最后：異步網(wǎng)絡(luò)系統(tǒng)調(diào)用由網(wǎng)絡(luò)輪詢器完成，G1被移回到P的 LRQ 中。一旦G1可以在M上進(jìn)行上下文切換，它負(fù)責(zé)的 Go 相關(guān)代碼就可以再次執(zhí)行。

同步系統(tǒng)調(diào)用

G1將進(jìn)行同步系統(tǒng)調(diào)用以阻塞M1

調(diào)度器介入后：識別出G1已導(dǎo)致M1阻塞，此時，調(diào)度器將M1與P分離，同時也將G1帶走。然后調(diào)度器引入新的M2來服務(wù)P。

阻塞的系統(tǒng)調(diào)用完成后：G1可以移回 LRQ 并再次由P執(zhí)行。如果這種情況需要再次發(fā)生，M1將被放在旁邊以備將來使用。

sysmon 協(xié)程

在 linux 內(nèi)核中有一些執(zhí)行定時任務(wù)的線程， 比如定時寫回臟頁的 pdflush， 定期回收內(nèi)存的 kswapd0， 以及每個 cpu 上都有一個負(fù)責(zé)負(fù)載均衡的 migration 線程等。在 go 運(yùn)行時中也有類似的協(xié)程 sysmon. sysmon 運(yùn)行在 M，且不需要 P。它會每隔一段時間檢查 Go 語言runtime，確保程序沒有進(jìn)入異常狀態(tài)。

系統(tǒng)監(jiān)控的觸發(fā)時間就會穩(wěn)定在 10ms，功能比較多：

檢查死鎖runtime.checkdead

運(yùn)行計時器 — 獲取下一個需要被觸發(fā)的計時器；

定時從 netpoll 中獲取 ready 的協(xié)程

Go 的搶占式調(diào)度

當(dāng) sysmon 發(fā)現(xiàn) M 已運(yùn)行同一個 G（Goroutine）10ms 以上時，它會將該 G 的內(nèi)部參數(shù) preempt 設(shè)置為 true。然后，在函數(shù)序言中，當(dāng) G 進(jìn)行函數(shù)調(diào)用時，G 會檢查自己的 preempt 標(biāo)志，如果它為 true，則它將自己與 M 分離并推入“全局隊列”。由于它的工作方式（函數(shù)調(diào)用觸發(fā)），在 for{} 的情況下并不會發(fā)生搶占，如果沒有函數(shù)調(diào)用，即使設(shè)置了搶占標(biāo)志，也不會進(jìn)行該標(biāo)志的檢查。

Go1.14 引入搶占式調(diào)度（使用信號的異步搶占機(jī)制），sysmon 仍然會檢測到運(yùn)行了 10ms 以上的 G（goroutine）。然后，sysmon 向運(yùn)行 G 的 P 發(fā)送信號（SIGURG）。Go 的信號處理程序會調(diào)用P上的一個叫作 gsignal 的 goroutine 來處理該信號，將其映射到 M 而不是 G，并使其檢查該信號。gsignal 看到搶占信號，停止正在運(yùn)行的 G。

在滿足條件時觸發(fā)垃圾收集回收內(nèi)存；

打印調(diào)度信息，歸還內(nèi)存等定時任務(wù)。

轉(zhuǎn)自：bert.li@ximalaya.com

qiankunli.github.io/2020/11/21/goroutine_system_call.html

編輯：jq