go語(yǔ)言線程和線程池 go 線程池

Go語(yǔ)言——goroutine并發(fā)模型

參考：

公司主營(yíng)業(yè)務(wù)：網(wǎng)站設(shè)計(jì)、成都網(wǎng)站設(shè)計(jì)、移動(dòng)網(wǎng)站開(kāi)發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實(shí)現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競(jìng)爭(zhēng)能力。創(chuàng)新互聯(lián)是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊(duì)。公司秉承以“開(kāi)放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對(duì)我們的高要求，感謝他們從不同領(lǐng)域給我們帶來(lái)的挑戰(zhàn)，讓我們激情的團(tuán)隊(duì)有機(jī)會(huì)用頭腦與智慧不斷的給客戶帶來(lái)驚喜。創(chuàng)新互聯(lián)推出雙塔免費(fèi)做網(wǎng)站回饋大家。

Goroutine并發(fā)調(diào)度模型深度解析手?jǐn)]一個(gè)協(xié)程池

Golang 的 goroutine 是如何實(shí)現(xiàn)的？

Golang - 調(diào)度剖析【第二部分】

OS線程初始棧為2MB。Go語(yǔ)言中，每個(gè)goroutine采用動(dòng)態(tài)擴(kuò)容方式，初始2KB，按需增長(zhǎng)，最大1G。此外GC會(huì)收縮?？臻g。

BTW，增長(zhǎng)擴(kuò)容都是有代價(jià)的，需要copy數(shù)據(jù)到新的stack，所以初始2KB可能有些性能問(wèn)題。

更多關(guān)于stack的內(nèi)容，可以參見(jiàn)大佬的文章。聊一聊goroutine stack

用戶線程的調(diào)度以及生命周期管理都是用戶層面，Go語(yǔ)言自己實(shí)現(xiàn)的，不借助OS系統(tǒng)調(diào)用，減少系統(tǒng)資源消耗。

Go語(yǔ)言采用兩級(jí)線程模型，即用戶線程與內(nèi)核線程KSE（kernel scheduling entity）是M:N的。最終goroutine還是會(huì)交給OS線程執(zhí)行，但是需要一個(gè)中介，提供上下文。這就是G-M-P模型

Go調(diào)度器有兩個(gè)不同的運(yùn)行隊(duì)列：

go1.10\src\runtime\runtime2.go

Go調(diào)度器根據(jù)事件進(jìn)行上下文切換。

調(diào)度的目的就是防止M堵塞，空閑，系統(tǒng)進(jìn)程切換。

詳見(jiàn) Golang - 調(diào)度剖析【第二部分】

Linux可以通過(guò)epoll實(shí)現(xiàn)網(wǎng)絡(luò)調(diào)用，統(tǒng)稱網(wǎng)絡(luò)輪詢器N（Net Poller）。

文件IO操作

上面都是防止M堵塞，任務(wù)竊取是防止M空閑

每個(gè)M都有一個(gè)特殊的G，g0。用于執(zhí)行調(diào)度，gc，棧管理等任務(wù)，所以g0的棧稱為調(diào)度棧。g0的棧不會(huì)自動(dòng)增長(zhǎng)，不會(huì)被gc，來(lái)自os線程的棧。

go1.10\src\runtime\proc.go

G沒(méi)辦法自己運(yùn)行，必須通過(guò)M運(yùn)行

M通過(guò)通過(guò)調(diào)度，執(zhí)行G

從M掛載P的runq中找到G，執(zhí)行G

【golang詳解】go語(yǔ)言GMP(GPM)原理和調(diào)度

Goroutine調(diào)度是一個(gè)很復(fù)雜的機(jī)制，下面嘗試用簡(jiǎn)單的語(yǔ)言描述一下Goroutine調(diào)度機(jī)制，想要對(duì)其有更深入的了解可以去研讀一下源碼。

首先介紹一下GMP什么意思：

G ----------- goroutine: 即Go協(xié)程，每個(gè)go關(guān)鍵字都會(huì)創(chuàng)建一個(gè)協(xié)程。

M ---------- thread內(nèi)核級(jí)線程，所有的G都要放在M上才能運(yùn)行。

P ----------- processor處理器，調(diào)度G到M上，其維護(hù)了一個(gè)隊(duì)列，存儲(chǔ)了所有需要它來(lái)調(diào)度的G。

Goroutine 調(diào)度器P和 OS 調(diào)度器是通過(guò) M 結(jié)合起來(lái)的，每個(gè) M 都代表了 1 個(gè)內(nèi)核線程，OS 調(diào)度器負(fù)責(zé)把內(nèi)核線程分配到 CPU 的核上執(zhí)行

模型圖：

避免頻繁的創(chuàng)建、銷毀線程，而是對(duì)線程的復(fù)用。

1）work stealing機(jī)制

當(dāng)本線程無(wú)可運(yùn)行的G時(shí)，嘗試從其他線程綁定的P偷取G，而不是銷毀線程。

2）hand off機(jī)制

當(dāng)本線程M0因?yàn)镚0進(jìn)行系統(tǒng)調(diào)用阻塞時(shí)，線程釋放綁定的P，把P轉(zhuǎn)移給其他空閑的線程執(zhí)行。進(jìn)而某個(gè)空閑的M1獲取P，繼續(xù)執(zhí)行P隊(duì)列中剩下的G。而M0由于陷入系統(tǒng)調(diào)用而進(jìn)被阻塞，M1接替M0的工作，只要P不空閑，就可以保證充分利用CPU。M1的來(lái)源有可能是M的緩存池，也可能是新建的。當(dāng)G0系統(tǒng)調(diào)用結(jié)束后，根據(jù)M0是否能獲取到P，將會(huì)將G0做不同的處理：

如果有空閑的P，則獲取一個(gè)P，繼續(xù)執(zhí)行G0。

如果沒(méi)有空閑的P，則將G0放入全局隊(duì)列，等待被其他的P調(diào)度。然后M0將進(jìn)入緩存池睡眠。

如下圖

GOMAXPROCS設(shè)置P的數(shù)量，最多有GOMAXPROCS個(gè)線程分布在多個(gè)CPU上同時(shí)運(yùn)行

在Go中一個(gè)goroutine最多占用CPU 10ms，防止其他goroutine被餓死。

具體可以去看另一篇文章

【Golang詳解】go語(yǔ)言調(diào)度機(jī)制搶占式調(diào)度

當(dāng)創(chuàng)建一個(gè)新的G之后優(yōu)先加入本地隊(duì)列，如果本地隊(duì)列滿了，會(huì)將本地隊(duì)列的G移動(dòng)到全局隊(duì)列里面，當(dāng)M執(zhí)行work stealing從其他P偷不到G時(shí)，它可以從全局G隊(duì)列獲取G。

協(xié)程經(jīng)歷過(guò)程

我們創(chuàng)建一個(gè)協(xié)程 go func()經(jīng)歷過(guò)程如下圖：

說(shuō)明：

這里有兩個(gè)存儲(chǔ)G的隊(duì)列，一個(gè)是局部調(diào)度器P的本地隊(duì)列、一個(gè)是全局G隊(duì)列。新創(chuàng)建的G會(huì)先保存在P的本地隊(duì)列中，如果P的本地隊(duì)列已經(jīng)滿了就會(huì)保存在全局的隊(duì)列中；處理器本地隊(duì)列是一個(gè)使用數(shù)組構(gòu)成的環(huán)形鏈表，它最多可以存儲(chǔ) 256 個(gè)待執(zhí)行任務(wù)。

G只能運(yùn)行在M中，一個(gè)M必須持有一個(gè)P，M與P是1：1的關(guān)系。M會(huì)從P的本地隊(duì)列彈出一個(gè)可執(zhí)行狀態(tài)的G來(lái)執(zhí)行，如果P的本地隊(duì)列為空，就會(huì)想其他的MP組合偷取一個(gè)可執(zhí)行的G來(lái)執(zhí)行；

一個(gè)M調(diào)度G執(zhí)行的過(guò)程是一個(gè)循環(huán)機(jī)制；會(huì)一直從本地隊(duì)列或全局隊(duì)列中獲取G

上面說(shuō)到P的個(gè)數(shù)默認(rèn)等于CPU核數(shù)，每個(gè)M必須持有一個(gè)P才可以執(zhí)行G，一般情況下M的個(gè)數(shù)會(huì)略大于P的個(gè)數(shù)，這多出來(lái)的M將會(huì)在G產(chǎn)生系統(tǒng)調(diào)用時(shí)發(fā)揮作用。類似線程池，Go也提供一個(gè)M的池子，需要時(shí)從池子中獲取，用完放回池子，不夠用時(shí)就再創(chuàng)建一個(gè)。

work-stealing調(diào)度算法：當(dāng)M執(zhí)行完了當(dāng)前P的本地隊(duì)列隊(duì)列里的所有G后，P也不會(huì)就這么在那躺尸啥都不干，它會(huì)先嘗試從全局隊(duì)列隊(duì)列尋找G來(lái)執(zhí)行，如果全局隊(duì)列為空，它會(huì)隨機(jī)挑選另外一個(gè)P，從它的隊(duì)列里中拿走一半的G到自己的隊(duì)列中執(zhí)行。

如果一切正常，調(diào)度器會(huì)以上述的那種方式順暢地運(yùn)行，但這個(gè)世界沒(méi)這么美好，總有意外發(fā)生，以下分析goroutine在兩種例外情況下的行為。

Go runtime會(huì)在下面的goroutine被阻塞的情況下運(yùn)行另外一個(gè)goroutine：

用戶態(tài)阻塞/喚醒

當(dāng)goroutine因?yàn)閏hannel操作或者network I/O而阻塞時(shí)（實(shí)際上golang已經(jīng)用netpoller實(shí)現(xiàn)了goroutine網(wǎng)絡(luò)I/O阻塞不會(huì)導(dǎo)致M被阻塞，僅阻塞G，這里僅僅是舉個(gè)栗子），對(duì)應(yīng)的G會(huì)被放置到某個(gè)wait隊(duì)列(如channel的waitq)，該G的狀態(tài)由_Gruning變?yōu)開(kāi)Gwaitting，而M會(huì)跳過(guò)該G嘗試獲取并執(zhí)行下一個(gè)G，如果此時(shí)沒(méi)有可運(yùn)行的G供M運(yùn)行，那么M將解綁P，并進(jìn)入sleep狀態(tài)；當(dāng)阻塞的G被另一端的G2喚醒時(shí)（比如channel的可讀/寫通知），G被標(biāo)記為，嘗試加入G2所在P的runnext（runnext是線程下一個(gè)需要執(zhí)行的 Goroutine。），然后再是P的本地隊(duì)列和全局隊(duì)列。

系統(tǒng)調(diào)用阻塞

當(dāng)M執(zhí)行某一個(gè)G時(shí)候如果發(fā)生了阻塞操作，M會(huì)阻塞，如果當(dāng)前有一些G在執(zhí)行，調(diào)度器會(huì)把這個(gè)線程M從P中摘除，然后再創(chuàng)建一個(gè)新的操作系統(tǒng)的線程(如果有空閑的線程可用就復(fù)用空閑線程)來(lái)服務(wù)于這個(gè)P。當(dāng)M系統(tǒng)調(diào)用結(jié)束時(shí)候，這個(gè)G會(huì)嘗試獲取一個(gè)空閑的P執(zhí)行，并放入到這個(gè)P的本地隊(duì)列。如果獲取不到P，那么這個(gè)線程M變成休眠狀態(tài)，加入到空閑線程中，然后這個(gè)G會(huì)被放入全局隊(duì)列中。

隊(duì)列輪轉(zhuǎn)

可見(jiàn)每個(gè)P維護(hù)著一個(gè)包含G的隊(duì)列，不考慮G進(jìn)入系統(tǒng)調(diào)用或IO操作的情況下，P周期性的將G調(diào)度到M中執(zhí)行，執(zhí)行一小段時(shí)間，將上下文保存下來(lái)，然后將G放到隊(duì)列尾部，然后從隊(duì)列中重新取出一個(gè)G進(jìn)行調(diào)度。

除了每個(gè)P維護(hù)的G隊(duì)列以外，還有一個(gè)全局的隊(duì)列，每個(gè)P會(huì)周期性地查看全局隊(duì)列中是否有G待運(yùn)行并將其調(diào)度到M中執(zhí)行，全局隊(duì)列中G的來(lái)源，主要有從系統(tǒng)調(diào)用中恢復(fù)的G。之所以P會(huì)周期性地查看全局隊(duì)列，也是為了防止全局隊(duì)列中的G被餓死。

M0是啟動(dòng)程序后的編號(hào)為0的主線程，這個(gè)M對(duì)應(yīng)的實(shí)例會(huì)在全局變量rutime.m0中，不需要在heap上分配，M0負(fù)責(zé)執(zhí)行初始化操作和啟動(dòng)第一個(gè)G，在之后M0就和其他的M一樣了

G0是每次啟動(dòng)一個(gè)M都會(huì)第一個(gè)創(chuàng)建的goroutine，G0僅用于負(fù)責(zé)調(diào)度G，G0不指向任何可執(zhí)行的函數(shù)，每個(gè)M都會(huì)有一個(gè)自己的G0，在調(diào)度或系統(tǒng)調(diào)用時(shí)會(huì)使用G0的?？臻g，全局變量的G0是M0的G0

一個(gè)G由于調(diào)度被中斷，此后如何恢復(fù)？

中斷的時(shí)候?qū)⒓拇嫫骼锏臈Ｐ畔?，保存到自己的G對(duì)象里面。當(dāng)再次輪到自己執(zhí)行時(shí)，將自己保存的棧信息復(fù)制到寄存器里面，這樣就接著上次之后運(yùn)行了。

我這里只是根據(jù)自己的理解進(jìn)行了簡(jiǎn)單的介紹，想要詳細(xì)了解有關(guān)GMP的底層原理可以去看Go調(diào)度器 G-P-M 模型的設(shè)計(jì)者的文檔或直接看源碼

參考： ()

()

Golang 線程和協(xié)程的區(qū)別

線程：

多線程是為了解決CPU利用率的問(wèn)題，線程則是為了減少上下文切換時(shí)的開(kāi)銷，進(jìn)程和線程在Linux中沒(méi)有本質(zhì)區(qū)別，最大的不同就是進(jìn)程有自己獨(dú)立的內(nèi)存空間，而線程是共享內(nèi)存空間。

在進(jìn)程切換時(shí)需要轉(zhuǎn)換內(nèi)存地址空間，而線程切換沒(méi)有這個(gè)動(dòng)作，所以線程切換比進(jìn)程切換代價(jià)要小得多。

協(xié)程：

想要簡(jiǎn)單，又要性能高，協(xié)程就可以達(dá)到我們的目的，它是用戶視角的一種抽象，操作系統(tǒng)并沒(méi)有這個(gè)概念，主要思想是在用戶態(tài)實(shí)現(xiàn)調(diào)度算法，用少量線程完成大量任務(wù)的調(diào)度。

Goroutine是GO語(yǔ)言實(shí)現(xiàn)的協(xié)程，其特點(diǎn)是在語(yǔ)言層面就支持，使用起來(lái)十分方便，它的核心是MPG調(diào)度模型：M即內(nèi)核線程;P即處理器，用來(lái)執(zhí)行Goroutine，它維護(hù)了本地可運(yùn)行隊(duì)列;G即Goroutine，代碼和數(shù)據(jù)結(jié)構(gòu);S及調(diào)度器，維護(hù)M和P的信息。

golang的線程模型——GMP模型

內(nèi)核線程（Kernel-Level Thread ，KLT）

輕量級(jí)進(jìn)程（Light Weight Process,LWP）：輕量級(jí)進(jìn)程就是我們通常意義上所講的線程，由于每個(gè)輕量級(jí)進(jìn)程都由一個(gè)內(nèi)核線程支持，因此只有先支持內(nèi)核線程，才能有輕量級(jí)進(jìn)程

用戶線程與系統(tǒng)線程一一對(duì)應(yīng)，用戶線程執(zhí)行如lo操作的系統(tǒng)調(diào)用時(shí)，來(lái)回切換操作開(kāi)銷相對(duì)比較大

多個(gè)用戶線程對(duì)應(yīng)一個(gè)內(nèi)核線程，當(dāng)內(nèi)核線程對(duì)應(yīng)的一個(gè)用戶線程被阻塞掛起時(shí)候，其他用戶線程也阻塞不能執(zhí)行了。

多對(duì)多模型是可以充分利用多核CPU提升運(yùn)行效能的

go線程模型包含三個(gè)概念：內(nèi)核線程(M)，goroutine(G),G的上下文環(huán)境（P）；

GMP模型是goalng特有的。

P與M一般是一一對(duì)應(yīng)的。P（上下文）管理著一組G（goroutine）掛載在M（內(nèi)核線程）上運(yùn)行，圖中左邊藍(lán)色為正在執(zhí)行狀態(tài)的goroutine，右邊為待執(zhí)行狀態(tài)的goroutiine隊(duì)列。P的數(shù)量由環(huán)境變量GOMAXPROCS的值或程序運(yùn)行runtime.GOMAXPROCS()進(jìn)行設(shè)置。

當(dāng)一個(gè)os線程在執(zhí)行M1一個(gè)G1發(fā)生阻塞時(shí)，調(diào)度器讓M1拋棄P，等待G1返回，然后另起一個(gè)M2接收P來(lái)執(zhí)行剩下的goroutine隊(duì)列（G2、G3...），這是golang調(diào)度器厲害的地方，可以保證有足夠的線程來(lái)運(yùn)行剩下所有的goroutine。

當(dāng)G1結(jié)束后，M1會(huì)重新拿回P來(lái)完成，如果拿不到就丟到全局runqueue中，然后自己放到線程池或轉(zhuǎn)入休眠狀態(tài)?？臻e的上下文P會(huì)周期性的檢查全局runqueue上的goroutine，并且執(zhí)行它。

另一種情況就是當(dāng)有些P1太閑而其他P2很忙碌的時(shí)候，會(huì)從其他上下文P2拿一些G來(lái)執(zhí)行。

詳細(xì)可以翻看下方第一個(gè)參考鏈接，寫得真好。

最后用大佬的總結(jié)來(lái)做最后的收尾————

Go語(yǔ)言運(yùn)行時(shí)，通過(guò)核心元素G，M，P 和自己的調(diào)度器，實(shí)現(xiàn)了自己的并發(fā)線程模型。調(diào)度器通過(guò)對(duì)G，M，P的調(diào)度實(shí)現(xiàn)了兩級(jí)線程模型中操作系統(tǒng)內(nèi)核之外的調(diào)度任務(wù)。整個(gè)調(diào)度過(guò)程中會(huì)在多種時(shí)機(jī)去觸發(fā)最核心的步驟 “一整輪調(diào)度”，而一整輪調(diào)度中最關(guān)鍵的部分在“全力查找可運(yùn)行G”，它保證了M的高效運(yùn)行（換句話說(shuō)就是充分使用了計(jì)算機(jī)的物理資源），一整輪調(diào)度中還會(huì)涉及到M的啟用停止。最后別忘了，還有一個(gè)與Go程序生命周期相同的系統(tǒng)監(jiān)測(cè)任務(wù)來(lái)進(jìn)行一些輔助性的工作。

淺析Golang的線程模型與調(diào)度器

Golang CSP并發(fā)模型

Golang線程模型

文章標(biāo)題：go語(yǔ)言線程和線程池 go 線程池
標(biāo)題URL：http://muchs.cn/article32/hgepsc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站策劃、搜索引擎優(yōu)化、響應(yīng)式網(wǎng)站、動(dòng)態(tài)網(wǎng)站、關(guān)鍵詞優(yōu)化、外貿(mào)建站

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容