go語言協(xié)程的原理 go語言協(xié)程池

2020-08-20：GO語言中的協(xié)程與Python中的協(xié)程的區(qū)別？

福哥答案2020-08-20：

創(chuàng)新互聯(lián)主營留壩網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,重慶APP軟件開發(fā),留壩h5微信小程序定制開發(fā)搭建,留壩網(wǎng)站營銷推廣歡迎留壩等地區(qū)企業(yè)咨詢

1.golang的協(xié)程是基于gpm機制，是可以多核多線程的。Python的協(xié)程是eventloop模型（IO多路復(fù)用技術(shù)）實現(xiàn)，協(xié)程是嚴格的 1:N 關(guān)系，也就是一個線程對應(yīng)了多個協(xié)程。雖然可以實現(xiàn)異步I/O，但是不能有效利用多核(GIL)。

2.golang用go func。python用import asyncio，async/await表達式。

評論

golang協(xié)程調(diào)度模式解密

golang學(xué)習(xí)筆記

頻繁創(chuàng)建線程會造成不必要的開銷，所以才有了線程池。在線程池中預(yù)先保存一定數(shù)量的線程，新任務(wù)發(fā)布到任務(wù)隊列，線程池中的線程不斷地從任務(wù)隊列中取出任務(wù)并執(zhí)行，可以有效的減少創(chuàng)建和銷毀帶來的開銷。

過多的線程會導(dǎo)致爭搶cpu資源，且上下文的切換的開銷變大。而工作在用戶態(tài)的協(xié)程能大大減少上下文切換的開銷。協(xié)程調(diào)度器把可運行的協(xié)程逐個調(diào)度到線程中執(zhí)行，同時即時把阻塞的協(xié)程調(diào)度出協(xié)程，從而有效地避免了線程的頻繁切換，達到了少量線程實現(xiàn)高并發(fā)的效果。

多個協(xié)程分享操作系統(tǒng)分給線程的時間片，從而達到充分利用CPU的目的，協(xié)程調(diào)度器決定了則決定了協(xié)程運行的順序。每個線程同一時刻只能運行一個協(xié)程。

go調(diào)度模型包含三個實體：

每個處理器維護者一個協(xié)程G的隊列，處理器依次將協(xié)程G調(diào)度到M中執(zhí)行。

每個P會周期性地查看全局隊列中是否有G待運行并將其調(diào)度到M中執(zhí)行，全局隊列中的G主要來自系統(tǒng)調(diào)用中恢復(fù)的G.

如果協(xié)程發(fā)起系統(tǒng)調(diào)用，則整個工作線程M被阻塞，協(xié)程隊列中的其他協(xié)程都會阻塞。

一般情況下M的個數(shù)會略大于P個數(shù)，多出來的M將會在G產(chǎn)生系統(tǒng)調(diào)用時發(fā)揮作用。與線程池類似，Go也提供M池子。當協(xié)程G1發(fā)起系統(tǒng)掉用時，M1會釋放P,由 M1-P-G1 G2 ... 轉(zhuǎn)變成 M1-G1 , M2會接管P的其他協(xié)程 M2-P-G2 G3 G4... 。

冗余的M可能來源于緩存池，也可能是新建的。

當G1結(jié)束系統(tǒng)調(diào)用后，根據(jù)M1是否獲取到P,進行不用的處理。

多個處理P維護隊列可能不均衡，導(dǎo)致部分處理器非常繁忙，而其余相對空閑。產(chǎn)生原因是有些協(xié)程自身不斷地派生協(xié)程。

為此Go調(diào)度器提供了工作量竊取策略，當某個處理器P沒有需要調(diào)度的協(xié)程時，將從其他處理中偷取協(xié)程，每次偷取一半。

搶占式調(diào)度，是指避免某個協(xié)程長時間執(zhí)行，而阻礙其他協(xié)程被調(diào)度的機制。

調(diào)度器監(jiān)控每個協(xié)程執(zhí)行時間，一旦執(zhí)行時間過長且有其他協(xié)程等待，會把協(xié)程暫停，轉(zhuǎn)而調(diào)度等待的協(xié)程，以達到類似時間片輪轉(zhuǎn)的效果。比如for循環(huán)會一直占用執(zhí)行權(quán)。

在IO密集型應(yīng)用，GOMAXPROCS大小設(shè)置大一些，獲取性能會更好。

IO密集型會經(jīng)常發(fā)生系統(tǒng)調(diào)用，會有一個新的M啟用或創(chuàng)建，但由于Go調(diào)度器檢測M到被阻塞有一定延遲。如果P數(shù)量多，則P管理協(xié)程隊列會變小。

協(xié)程與異步IO

協(xié)程，又稱微線程，纖程。英文名 Coroutine 。Python對協(xié)程的支持是通過 generator 實現(xiàn)的。在generator中，我們不但可以通過for循環(huán)來迭代，還可以不斷調(diào)用 next()函數(shù) 獲取由 yield 語句返回的下一個值。但是Python的yield不但可以返回一個值，它還可以接收調(diào)用者發(fā)出的參數(shù)。yield其實是終端當前的函數(shù)，返回給調(diào)用方。python3中使用yield來實現(xiàn)range，節(jié)省內(nèi)存，提高性能，懶加載的模式。

asyncio是Python 3.4 版本引入的 標準庫 ，直接內(nèi)置了對異步IO的支持。

從Python 3.5 開始引入了新的語法 async 和 await ，用來簡化yield的語法：

import asyncio

import threading

async def compute(x, y):

print("Compute %s + %s ..." % (x, y))

print(threading.current_thread().name)

await asyncio.sleep(x + y)

return x + y

async def print_sum(x, y):

result = await compute(x, y)

print("%s + %s = %s" % (x, y, result))

print(threading.current_thread().name)

if __name__ == "__main__":

loop = asyncio.get_event_loop()

tasks = [print_sum(1, 2), print_sum(3, 4)]

loop.run_until_complete(asyncio.wait(tasks))

loop.close()

線程是內(nèi)核進行搶占式的調(diào)度的，這樣就確保了每個線程都有執(zhí)行的機會。而 coroutine 運行在同一個線程中，由語言的運行時中的 EventLoop（事件循環(huán)） 來進行調(diào)度。和大多數(shù)語言一樣，在 Python 中，協(xié)程的調(diào)度是非搶占式的，也就是說一個協(xié)程必須主動讓出執(zhí)行機會，其他協(xié)程才有機會運行。

讓出執(zhí)行的關(guān)鍵字就是 await。也就是說一個協(xié)程如果阻塞了，持續(xù)不讓出 CPU，那么整個線程就卡住了，沒有任何并發(fā)。

PS: 作為服務(wù)端，event loop最核心的就是IO多路復(fù)用技術(shù)，所有來自客戶端的請求都由IO多路復(fù)用函數(shù)來處理;作為客戶端，event loop的核心在于利用Future對象延遲執(zhí)行，并使用send函數(shù)激發(fā)協(xié)程,掛起,等待服務(wù)端處理完成返回后再調(diào)用CallBack函數(shù)繼續(xù)下面的流程

Go語言的協(xié)程是 語言本身特性 ，erlang和golang都是采用了CSP(Communicating Sequential Processes)模式(Python中的協(xié)程是eventloop模型)，但是erlang是基于進程的消息通信，go是基于goroutine和channel的通信。

Python和Go都引入了消息調(diào)度系統(tǒng)模型，來避免鎖的影響和進程/線程開銷大的問題。

協(xié)程從本質(zhì)上來說是一種用戶態(tài)的線程，不需要系統(tǒng)來執(zhí)行搶占式調(diào)度，而是在語言層面實現(xiàn)線程的調(diào)度 。因為協(xié)程 不再使用共享內(nèi)存/數(shù)據(jù) ，而是使用 通信 來共享內(nèi)存/鎖，因為在一個超級大系統(tǒng)里具有無數(shù)的鎖，共享變量等等會使得整個系統(tǒng)變得無比的臃腫，而通過消息機制來交流，可以使得每個并發(fā)的單元都成為一個獨立的個體，擁有自己的變量，單元之間變量并不共享，對于單元的輸入輸出只有消息。開發(fā)者只需要關(guān)心在一個并發(fā)單元的輸入與輸出的影響，而不需要再考慮類似于修改共享內(nèi)存/數(shù)據(jù)對其它程序的影響。

標題名稱：go語言協(xié)程的原理 go語言協(xié)程池
分享URL：http://muchs.cn/article44/dosscee.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、網(wǎng)站營銷、手機網(wǎng)站建設(shè)、定制網(wǎng)站、企業(yè)網(wǎng)站制作、品牌網(wǎng)站設(shè)計

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)