go語(yǔ)言實(shí)現(xiàn)并發(fā) Go語(yǔ)言并發(fā)之道

為什么要使用 Go 語(yǔ)言?Go 語(yǔ)言的優(yōu)勢(shì)在哪里?

1、簡(jiǎn)單易學(xué)。

成都創(chuàng)新互聯(lián)公司是一家專業(yè)提供湖州企業(yè)網(wǎng)站建設(shè),專注與成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)、H5高端網(wǎng)站建設(shè)、小程序制作等業(yè)務(wù)。10年已為湖州眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)的建站公司優(yōu)惠進(jìn)行中。

Go語(yǔ)言的作者本身就很懂C語(yǔ)言，所以同樣Go語(yǔ)言也會(huì)有C語(yǔ)言的基因，所以對(duì)于程序員來(lái)說(shuō)，Go語(yǔ)言天生就會(huì)讓人很熟悉，容易上手。

2、并發(fā)性好。

Go語(yǔ)言天生支持并發(fā)，可以充分利用多核，輕松地使用并發(fā)。 這是Go語(yǔ)言最大的特點(diǎn)。

描述

Go的語(yǔ)法接近C語(yǔ)言，但對(duì)于變量的聲明有所不同。Go支持垃圾回收功能。Go的并行模型是以東尼·霍爾的通信順序進(jìn)程（CSP）為基礎(chǔ)，采取類似模型的其他語(yǔ)言包括Occam和Limbo，但它也具有Pi運(yùn)算的特征，比如通道傳輸。

在1.8版本中開放插件（Plugin）的支持，這意味著現(xiàn)在能從Go中動(dòng)態(tài)加載部分函數(shù)。

與C++相比，Go并不包括如枚舉、異常處理、繼承、泛型、斷言、虛函數(shù)等功能，但增加了 切片(Slice) 型、并發(fā)、管道、垃圾回收、接口（Interface）等特性的語(yǔ)言級(jí)支持。

go是什么編程語(yǔ)言？主要應(yīng)用于哪些方面？

Go語(yǔ)言由Google公司開發(fā)，并于2009年開源，相比Java/Python/C等語(yǔ)言，Go尤其擅長(zhǎng)并發(fā)編程，性能堪比C語(yǔ)言，開發(fā)效率肩比Python，被譽(yù)為“21世紀(jì)的C語(yǔ)言”。

Go語(yǔ)言在云計(jì)算、大數(shù)據(jù)、微服務(wù)、高并發(fā)領(lǐng)域應(yīng)用應(yīng)用非常廣泛。BAT大廠正在把Go作為新項(xiàng)目開發(fā)的首選語(yǔ)言。

Go語(yǔ)言能干什么?

1、服務(wù)端開發(fā)：以前你使用C或者C++做的那些事情，用Go來(lái)做很合適，例如日志處理、文件系統(tǒng)、監(jiān)控系統(tǒng)等;

2、DevOps：運(yùn)維生態(tài)中的Docker、K8s、prometheus、grafana、open-falcon等都是使用Go語(yǔ)言開發(fā);

3、網(wǎng)絡(luò)編程：大量?jī)?yōu)秀的Web框架如Echo、Gin、Iris、beego等，而且Go內(nèi)置的 net/http包十分的優(yōu)秀;

4、Paas云平臺(tái)領(lǐng)域：Kubernetes和Docker Swarm等;

5、分布式存儲(chǔ)領(lǐng)域：etcd、Groupcache、TiDB、Cockroachdb、Influxdb等;

6、區(qū)塊鏈領(lǐng)域：區(qū)塊鏈里面有兩個(gè)明星項(xiàng)目以太坊和fabric都使用Go語(yǔ)言;

7、容器虛擬化：大名鼎鼎的Docker就是使用Go語(yǔ)言實(shí)現(xiàn)的;

8、爬蟲及大數(shù)據(jù)：Go語(yǔ)言天生支持并發(fā)，所以十分適合編寫分布式爬蟲及大數(shù)據(jù)處理。

Go 語(yǔ)言極速入門13 - 實(shí)戰(zhàn)項(xiàng)目之并發(fā)版爬蟲

爬取器 fetcher 和解析器 parser 與之前相同，模型類也不變。

注意：

見本小節(jié)文末分析。

Q1. 為什么在 scheduler 中每一個(gè)將 Request 添加到 chan 的任務(wù)都開啟一個(gè) Goroutine 來(lái)執(zhí)行？

A：在 Go 語(yǔ)言學(xué)習(xí)9 - Channel 一節(jié)描述過(guò)，對(duì)于無(wú)緩沖的 channel， 如果兩個(gè) goroutine 沒(méi)有同時(shí)準(zhǔn)備好，通道會(huì)導(dǎo)致先執(zhí)行發(fā)送或接收操作的 goroutine 阻塞等待 ，假設(shè)使用 s.workerChan - request 而不是 go func() { s.workerChan - request }() ，假設(shè)開啟了 10 個(gè) Worker Goroutine，這 10 個(gè) goroutine 阻塞在 r := -in 阻塞等待獲取 Request 上，假設(shè) seeds 大于 10，例如 11，那么當(dāng) Engine 的這個(gè)循環(huán)執(zhí)行到底 11 個(gè)的時(shí)候，將陷入等待

，因?yàn)樗械?0個(gè) Worker goroutine 此時(shí)都可能也處于等待中，即 in chan 沒(méi)有接收方準(zhǔn)備好接收數(shù)據(jù)，所以 engine 作為發(fā)送方也要阻塞等待；那么為什么10個(gè) Worker goroutine 都會(huì)處于等待中呢？

因?yàn)?0個(gè) Worker Goroutine 都處理完了請(qǐng)求，并阻塞在 out - result ，由于 Engine 阻塞在 “將第11個(gè) Request 發(fā)送到 in” 上，所以其無(wú)法進(jìn)行后續(xù)的死循環(huán)去開啟 result := -out ，到此為止，相互等待死鎖形成?。。ngine 等待 Worker 準(zhǔn)備好 r := -in ，而10個(gè) Worker 等待 Engine 的 result := -out 。

當(dāng)使用 go func() { s.workerChan - request }() 之后，Engine Goroutine 將不再阻塞，死鎖等待被打破！?。?/p>

Q2. scheduler 方法為何使用指針接收者而不是值接收者？

A：在 Go 語(yǔ)言學(xué)習(xí)5 - 面向接口 中我們?cè)敿?xì)的介紹了什么時(shí)候使用指針接收者，什么時(shí)候使用值接收者，其中最重要的兩條就是 “ 1. 如果要改變接收者內(nèi)部的屬性值，必須使用指針接收者，因?yàn)橹到邮照呤菍?duì)接收者副本的操作；2. 如果 struct 內(nèi)一個(gè)方法是指針接收者，那么其全部方法都是用指針接收者 ”，在 scheduler 中，我們要將外界的 in chan 賦值給 scheduler 的 workChann，所以需要改變 workChann 的值，需要使用指針接收者。

Go并發(fā)編程之美-CAS操作

摘要： 一、前言 go語(yǔ)言類似Java JUC包也提供了一些列用于多線程之間進(jìn)行同步的措施，比如低級(jí)的同步措施有 鎖、CAS、原子變量操作類。相比Java來(lái)說(shuō)go提供了獨(dú)特的基于通道的同步措施。本節(jié)我們先來(lái)看看go中CAS操作 二、CAS操作 go中的Cas操作與java中類似，都是借用了CPU提供的原子性指令來(lái)實(shí)現(xiàn)。

go語(yǔ)言類似Java JUC包也提供了一些列用于多線程之間進(jìn)行同步的措施，比如低級(jí)的同步措施有 鎖、CAS、原子變量操作類。相比Java來(lái)說(shuō)go提供了獨(dú)特的基于通道的同步措施。本節(jié)我們先來(lái)看看go中CAS操作

go中的Cas操作與java中類似，都是借用了CPU提供的原子性指令來(lái)實(shí)現(xiàn)。CAS操作修改共享變量時(shí)候不需要對(duì)共享變量加鎖，而是通過(guò)類似樂(lè)觀鎖的方式進(jìn)行檢查，本質(zhì)還是不斷的占用CPU 資源換取加鎖帶來(lái)的開銷（比如上下文切換開銷）。下面一個(gè)例子使用CAS來(lái)實(shí)現(xiàn)計(jì)數(shù)器

go中CAS操作具有原子性，在解決多線程操作共享變量安全上可以有效的減少使用鎖所帶來(lái)的開銷，但是這是使用cpu資源做交換的。

我簡(jiǎn)單列舉了并發(fā)編程的大綱，需要詳細(xì)的私信“555”~~

Go語(yǔ)言——goroutine并發(fā)模型

參考：

Goroutine并發(fā)調(diào)度模型深度解析手?jǐn)]一個(gè)協(xié)程池

Golang 的 goroutine 是如何實(shí)現(xiàn)的？

Golang - 調(diào)度剖析【第二部分】

OS線程初始棧為2MB。Go語(yǔ)言中，每個(gè)goroutine采用動(dòng)態(tài)擴(kuò)容方式，初始2KB，按需增長(zhǎng)，最大1G。此外GC會(huì)收縮?？臻g。

BTW，增長(zhǎng)擴(kuò)容都是有代價(jià)的，需要copy數(shù)據(jù)到新的stack，所以初始2KB可能有些性能問(wèn)題。

更多關(guān)于stack的內(nèi)容，可以參見大佬的文章。 聊一聊goroutine stack

用戶線程的調(diào)度以及生命周期管理都是用戶層面，Go語(yǔ)言自己實(shí)現(xiàn)的，不借助OS系統(tǒng)調(diào)用，減少系統(tǒng)資源消耗。

Go語(yǔ)言采用兩級(jí)線程模型，即用戶線程與內(nèi)核線程KSE（kernel scheduling entity）是M:N的。最終goroutine還是會(huì)交給OS線程執(zhí)行，但是需要一個(gè)中介，提供上下文。這就是G-M-P模型

Go調(diào)度器有兩個(gè)不同的運(yùn)行隊(duì)列：

go1.10\src\runtime\runtime2.go

Go調(diào)度器根據(jù)事件進(jìn)行上下文切換。

調(diào)度的目的就是防止M堵塞，空閑，系統(tǒng)進(jìn)程切換。

詳見 Golang - 調(diào)度剖析【第二部分】

Linux可以通過(guò)epoll實(shí)現(xiàn)網(wǎng)絡(luò)調(diào)用，統(tǒng)稱網(wǎng)絡(luò)輪詢器N（Net Poller）。

文件IO操作

上面都是防止M堵塞，任務(wù)竊取是防止M空閑

每個(gè)M都有一個(gè)特殊的G，g0。用于執(zhí)行調(diào)度，gc，棧管理等任務(wù)，所以g0的棧稱為調(diào)度棧。g0的棧不會(huì)自動(dòng)增長(zhǎng)，不會(huì)被gc，來(lái)自os線程的棧。

go1.10\src\runtime\proc.go

G沒(méi)辦法自己運(yùn)行，必須通過(guò)M運(yùn)行

M通過(guò)通過(guò)調(diào)度，執(zhí)行G

從M掛載P的runq中找到G，執(zhí)行G

golang sync.pool對(duì)象復(fù)用 并發(fā)原理 緩存池

在go http每一次go serve(l)都會(huì)構(gòu)建Request數(shù)據(jù)結(jié)構(gòu)。在大量數(shù)據(jù)請(qǐng)求或高并發(fā)的場(chǎng)景中，頻繁創(chuàng)建銷毀對(duì)象，會(huì)導(dǎo)致GC壓力。解決辦法之一就是使用對(duì)象復(fù)用技術(shù)。在http協(xié)議層之下，使用對(duì)象復(fù)用技術(shù)創(chuàng)建Request數(shù)據(jù)結(jié)構(gòu)。在http協(xié)議層之上，可以使用對(duì)象復(fù)用技術(shù)創(chuàng)建(w,*r,ctx)數(shù)據(jù)結(jié)構(gòu)。這樣即可以回快TCP層讀包之后的解析速度，也可也加快請(qǐng)求處理的速度。

先上一個(gè)測(cè)試：

結(jié)論是這樣的：

貌似使用池化，性能弱爆了？？？這似乎與net/http使用sync.pool池化Request來(lái)優(yōu)化性能的選擇相違背。這同時(shí)也說(shuō)明了一個(gè)問(wèn)題，好的東西，如果濫用反而造成了性能成倍的下降。在看過(guò)pool原理之后，結(jié)合實(shí)例，將給出正確的使用方法，并給出預(yù)期的效果。

sync.Pool是一個(gè) 協(xié)程安全 的 臨時(shí)對(duì)象池 。數(shù)據(jù)結(jié)構(gòu)如下：

local 成員的真實(shí)類型是一個(gè) poolLocal 數(shù)組，localSize 是數(shù)組長(zhǎng)度。這涉及到Pool實(shí)現(xiàn)，pool為每個(gè)P分配了一個(gè)對(duì)象，P數(shù)量設(shè)置為runtime.GOMAXPROCS(0)。在并發(fā)讀寫時(shí)，goroutine綁定的P有對(duì)象，先用自己的，沒(méi)有去偷其它P的。go語(yǔ)言將數(shù)據(jù)分散在了各個(gè)真正運(yùn)行的P中，降低了鎖競(jìng)爭(zhēng)，提高了并發(fā)能力。

不要習(xí)慣性地誤認(rèn)為New是一個(gè)關(guān)鍵字，這里的New是Pool的一個(gè)字段，也是一個(gè)閉包名稱。其API：

如果不指定New字段，對(duì)象池為空時(shí)會(huì)返回nil，而不是一個(gè)新構(gòu)建的對(duì)象。Get()到的對(duì)象是隨機(jī)的。

原生sync.Pool的問(wèn)題是，Pool中的對(duì)象會(huì)被GC清理掉，這使得sync.Pool只適合做簡(jiǎn)單地對(duì)象池，不適合作連接池。

pool創(chuàng)建時(shí)不能指定大小，沒(méi)有數(shù)量限制。pool中對(duì)象會(huì)被GC清掉，只存在于兩次GC之間。實(shí)現(xiàn)是pool的init方法注冊(cè)了一個(gè)poolCleanup()函數(shù)，這個(gè)方法在GC之前執(zhí)行，清空pool中的所有緩存對(duì)象。

為使多協(xié)程使用同一個(gè)POOL。最基本的想法就是每個(gè)協(xié)程，加鎖去操作共享的POOL，這顯然是低效的。而進(jìn)一步改進(jìn)，類似于ConcurrentHashMap（JDK7）的分Segment，提高其并發(fā)性可以一定程度性緩解。

注意到pool中的對(duì)象是無(wú)差異性的，加鎖或者分段加鎖都不是較好的做法。go的做法是為每一個(gè)綁定協(xié)程的P都分配一個(gè)子池。每個(gè)子池又分為私有池和共享列表。共享列表是分別存放在各個(gè)P之上的共享區(qū)域，而不是各個(gè)P共享的一塊內(nèi)存。協(xié)程拿自己P里的子池對(duì)象不需要加鎖，拿共享列表中的就需要加鎖了。

Get對(duì)象過(guò)程：

Put過(guò)程：

如何解決Get最壞情況遍歷所有P才獲取得對(duì)象呢：

方法1止前sync.pool并沒(méi)有這樣的設(shè)置。方法2由于goroutine被分配到哪個(gè)P由調(diào)度器調(diào)度不可控，無(wú)法確保其平衡。

由于不可控的GC導(dǎo)致生命周期過(guò)短，且池大小不可控，因而不適合作連接池。僅適用于增加對(duì)象重用機(jī)率，減少GC負(fù)擔(dān)。2

執(zhí)行結(jié)果:

單線程情況下，遍歷其它無(wú)元素的P，長(zhǎng)時(shí)間加鎖性能低下。啟用協(xié)程改善。

結(jié)果：

測(cè)試場(chǎng)景在goroutines遠(yuǎn)大于GOMAXPROCS情況下，與非池化性能差異巨大。

測(cè)試結(jié)果

可以看到同樣使用*sync.pool，較大池大小的命中率較高，性能遠(yuǎn)高于空池。

結(jié)論：pool在一定的使用條件下提高并發(fā)性能，條件1是協(xié)程數(shù)遠(yuǎn)大于GOMAXPROCS，條件2是池中對(duì)象遠(yuǎn)大于GOMAXPROCS。歸結(jié)成一個(gè)原因就是使對(duì)象在各個(gè)P中均勻分布。

池pool和緩存cache的區(qū)別。池的意思是，池內(nèi)對(duì)象是可以互換的，不關(guān)心具體值，甚至不需要區(qū)分是新建的還是從池中拿出的。緩存指的是KV映射，緩存里的值互不相同，清除機(jī)制更為復(fù)雜。緩存清除算法如LRU、LIRS緩存算法。

池空間回收的幾種方式。一些是GC前回收，一些是基于時(shí)鐘或弱引用回收。最終確定在GC時(shí)回收Pool內(nèi)對(duì)象，即不回避GC。用java的GC解釋弱引用。GC的四種引用：強(qiáng)引用、弱引用、軟引用、虛引用。虛引用即沒(méi)有引用，弱引用GC但有空間則保留，軟引用GC即清除。ThreadLocal的值為弱引用的例子。

regexp 包為了保證并發(fā)時(shí)使用同一個(gè)正則，而維護(hù)了一組狀態(tài)機(jī)。

fmt包做字串拼接，從sync.pool拿[]byte對(duì)象。避免頻繁構(gòu)建再GC效率高很多。

分享標(biāo)題：go語(yǔ)言實(shí)現(xiàn)并發(fā) Go語(yǔ)言并發(fā)之道
鏈接分享：http://muchs.cn/article42/doooeec.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站建設(shè)、App設(shè)計(jì)、網(wǎng)站制作、定制開發(fā)、網(wǎng)站改版、網(wǎng)站收錄

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)