go語言并發(fā)方式 go語言并發(fā)方式是什么

為什么要使用 Go 語言？Go 語言的優(yōu)勢在哪里

1、學(xué)習(xí)曲線

創(chuàng)新互聯(lián)于2013年成立，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目成都網(wǎng)站建設(shè)、成都做網(wǎng)站網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢想脫穎而出為使命，1280元堯都做網(wǎng)站,已為上家服務(wù),為堯都各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:13518219792

它包含了類C語法、GC內(nèi)置和工程工具。這一點(diǎn)非常重要，因?yàn)镚o語言容易學(xué)習(xí)，所以一個(gè)普通的大學(xué)生花一個(gè)星期就能寫出來可以上手的、高性能的應(yīng)用。在國內(nèi)大家都追求快，這也是為什么國內(nèi)Go流行的原因之一。

2、效率

Go擁有接近C的運(yùn)行效率和接近PHP的開發(fā)效率，這就很有利的支撐了上面大家追求快速的需求。

3、出身名門、血統(tǒng)純正

之所以說Go語言出身名門，是因?yàn)槲覀冎繥o語言出自Google公司，這個(gè)公司在業(yè)界的知名度和實(shí)力自然不用多說。Google公司聚集了一批牛人，在各種編程語言稱雄爭霸的局面下推出新的編程語言，自然有它的戰(zhàn)略考慮。而且從Go語言的發(fā)展態(tài)勢來看，Google對它這個(gè)新的寵兒還是很看重的，Go自然有一個(gè)良好的發(fā)展前途。我們看看Go語言的主要?jiǎng)?chuàng)造者，血統(tǒng)純正這點(diǎn)就可見端倪了。

4、組合的思想、無侵入式的接口

Go語言可以說是開發(fā)效率和運(yùn)行效率二者的完美融合，天生的并發(fā)編程支持。Go語言支持當(dāng)前所有的編程范式，包括過程式編程、面向?qū)ο缶幊桃约昂瘮?shù)式編程。

5、強(qiáng)大的標(biāo)準(zhǔn)庫

這包括互聯(lián)網(wǎng)應(yīng)用、系統(tǒng)編程和網(wǎng)絡(luò)編程。Go里面的標(biāo)準(zhǔn)庫基本上已經(jīng)是非常穩(wěn)定，特別是我這里提到的三個(gè)，網(wǎng)絡(luò)層、系統(tǒng)層的庫非常實(shí)用。

6、部署方便

我相信這一點(diǎn)是很多人選擇Go的最大理由，因?yàn)椴渴鹛奖?，所以現(xiàn)在也有很多人用Go開發(fā)運(yùn)維程序。

7、簡單的并發(fā)

它包含降低心智的并發(fā)和簡易的數(shù)據(jù)同步，我覺得這是Go最大的特色。之所以寫正確的并發(fā)、容錯(cuò)和可擴(kuò)展的程序如此之難，是因?yàn)槲覀冇昧隋e(cuò)誤的工具和錯(cuò)誤的抽象，Go可以說這一塊做的相當(dāng)簡單。

8、穩(wěn)定性

Go擁有強(qiáng)大的編譯檢查、嚴(yán)格的編碼規(guī)范和完整的軟件生命周期工具，具有很強(qiáng)的穩(wěn)定性，穩(wěn)定壓倒一切。那么為什么Go相比于其他程序會(huì)更穩(wěn)定呢?這是因?yàn)镚o提供了軟件生命周期的各個(gè)環(huán)節(jié)的工具，如go

tool、gofmt、go test。

Python和go語言有什么區(qū)別？哪個(gè)更有優(yōu)勢？

python和go語言的區(qū)別

1、語法

Python的語法使用縮進(jìn)來指示代碼塊。Go的語法基于打開和關(guān)閉括號。

2、范例

Python是一種基于面向?qū)ο缶幊痰亩喾妒?，命令式和函?shù)式編程語言。它堅(jiān)持這樣一種觀點(diǎn)，即如果一種語言在某些情境中表現(xiàn)出某種特定的方式，理想情況下它應(yīng)該在所有情境中都有相似的作用。但是，它又不是純粹的OOP語言，它不支持強(qiáng)封裝，這是OOP的主要原則之一。

Go是一種基于并發(fā)編程范式的過程編程語言，它與C具有表面相似性。實(shí)際上，Go更像是C的更新版本。

3、并發(fā)

Python沒有提供內(nèi)置的并發(fā)機(jī)制，而Go有內(nèi)置的并發(fā)機(jī)制。

4、類型化

Python是動(dòng)態(tài)類型語言，而Go是一種靜態(tài)類型語言，它實(shí)際上有助于在編譯時(shí)捕獲錯(cuò)誤，這可以進(jìn)一步減少生產(chǎn)后期的嚴(yán)重錯(cuò)誤。

5、安全性

Python是一種強(qiáng)類型語言，它是經(jīng)過編譯的，因此增加了一層安全性。Go具有分配給每個(gè)變量的類型，因此，它提供了安全性。但是，如果發(fā)生任何錯(cuò)誤，用戶需要自己運(yùn)行整個(gè)代碼。

6、管理內(nèi)存

Go允許程序員在很大程度上管理內(nèi)存。而，Python中的內(nèi)存管理完全自動(dòng)化并由Python VM管理；它不允許程序員對內(nèi)存管理負(fù)責(zé)。

7、庫

與Go相比，Python提供的庫數(shù)量要大得多。然而，Go仍然是新的，并且還沒有取得很大進(jìn)展。

8、速度：

Go的速度遠(yuǎn)遠(yuǎn)超過Python。

go語言可以做什么

1、服務(wù)器編程：以前你如果使用C或者C++做的那些事情，用Go來做很合適，例如處理日志、數(shù)據(jù)打包、虛擬機(jī)處理、文件系統(tǒng)等。

2、分布式系統(tǒng)、數(shù)據(jù)庫代理器、中間件：例如Etcd。

3、網(wǎng)絡(luò)編程：這一塊目前應(yīng)用最廣，包括Web應(yīng)用、API應(yīng)用、下載應(yīng)用，而且Go內(nèi)置的net/http包基本上把我們平常用到的網(wǎng)絡(luò)功能都實(shí)現(xiàn)了。

4、開發(fā)云平臺(tái)：目前國外很多云平臺(tái)在采用Go開發(fā)，我們所熟知的七牛云、華為云等等都有使用Go進(jìn)行開發(fā)并且開源的成型的產(chǎn)品。

5、區(qū)塊鏈：目前有一種說法，技術(shù)從業(yè)人員把Go語言稱作為區(qū)塊鏈行業(yè)的開發(fā)語言。如果大家學(xué)習(xí)區(qū)塊鏈技術(shù)的話，就會(huì)發(fā)現(xiàn)現(xiàn)在有很多很多的區(qū)塊鏈的系統(tǒng)和應(yīng)用都是采用Go進(jìn)行開發(fā)的，比如ehtereum是目前知名度最大的公鏈，再比如fabric是目前最知名的聯(lián)盟鏈，兩者都有g(shù)o語言的版本，且go-ehtereum還是以太坊官方推薦的版本。

自1.0版發(fā)布以來，go語言引起了眾多開發(fā)者的關(guān)注，并得到了廣泛的應(yīng)用。go語言簡單、高效、并發(fā)的特點(diǎn)吸引了許多傳統(tǒng)的語言開發(fā)人員，其數(shù)量也在不斷增加。

使用 Go 語言開發(fā)的開源項(xiàng)目非常多。早期的 Go 語言開源項(xiàng)目只是通過 Go 語言與傳統(tǒng)項(xiàng)目進(jìn)行C語言庫綁定實(shí)現(xiàn)，例如 Qt、Sqlite 等。

后期的很多項(xiàng)目都使用 Go 語言進(jìn)行重新原生實(shí)現(xiàn)，這個(gè)過程相對于其他語言要簡單一些，這也促成了大量使用 Go 語言原生開發(fā)項(xiàng)目的出現(xiàn)。

如何用go語言每分鐘處理100萬個(gè)請求

在Malwarebytes 我們經(jīng)歷了顯著的增長，自從我一年前加入了硅谷的公司，一個(gè)主要的職責(zé)成了設(shè)計(jì)架構(gòu)和開發(fā)一些系統(tǒng)來支持一個(gè)快速增長的信息安全公司和所有需要的設(shè)施來支持一個(gè)每天百萬用戶使用的產(chǎn)品。我在反病毒和反惡意軟件行業(yè)的不同公司工作了12年，從而我知道由于我們每天處理大量的數(shù)據(jù)，這些系統(tǒng)是多么復(fù)雜。

有趣的是，在過去的大約9年間，我參與的所有的web后端的開發(fā)通常是通過Ruby on Rails技術(shù)實(shí)現(xiàn)的。不要錯(cuò)怪我。我喜歡Ruby on Rails，并且我相信它是個(gè)令人驚訝的環(huán)境。但是一段時(shí)間后，你會(huì)開始以ruby的方式開始思考和設(shè)計(jì)系統(tǒng)，你會(huì)忘記，如果你可以利用多線程、并行、快速執(zhí)行和小內(nèi)存開銷，軟件架構(gòu)本來應(yīng)該是多么高效和簡單。很多年期間，我是一個(gè)c/c++、Delphi和c#開發(fā)者，我剛開始意識到使用正確的工具可以把復(fù)雜的事情變得簡單些。

作為首席架構(gòu)師，我不會(huì)很關(guān)心在互聯(lián)網(wǎng)上的語言和框架戰(zhàn)爭。我相信效率、生產(chǎn)力。代碼可維護(hù)性主要依賴于你如何把解決方案設(shè)計(jì)得很簡單。

問題

當(dāng)工作在我們的匿名遙測和分析系統(tǒng)中，我們的目標(biāo)是可以處理來自于百萬級別的終端的大量的POST請求。web處理服務(wù)可以接收包含了很多payload的集合的JSON數(shù)據(jù)，這些數(shù)據(jù)需要寫入Amazon S3中。接下來，map-reduce系統(tǒng)可以操作這些數(shù)據(jù)。

按照習(xí)慣，我們會(huì)調(diào)研服務(wù)層級架構(gòu)，涉及的軟件如下：

Sidekiq

Resque

DelayedJob

Elasticbeanstalk Worker Tier

RabbitMQ

and so on…

搭建了2個(gè)不同的集群，一個(gè)提供web前端，另外一個(gè)提供后端處理，這樣我們可以橫向擴(kuò)展后端服務(wù)的數(shù)量。

但是，從剛開始，在 討論階段我們的團(tuán)隊(duì)就知道我們應(yīng)該使用Go，因?yàn)槲覀兛吹竭@會(huì)潛在性地成為一個(gè)非常龐大（ large traffic）的系統(tǒng)。我已經(jīng)使用了Go語言大約2年時(shí)間，我們開發(fā)了幾個(gè)系統(tǒng)，但是很少會(huì)達(dá)到這樣的負(fù)載（amount of load）。

我們開始創(chuàng)建一些結(jié)構(gòu)，定義從POST調(diào)用得到的web請求負(fù)載，還有一個(gè)上傳到S3 budket的函數(shù)。

type PayloadCollection struct {

WindowsVersion string `json:"version"`

Token string `json:"token"`

Payloads []Payload `json:"data"`

}

type Payload struct {

// [redacted]

}

func (p *Payload) UploadToS3() error {

// the storageFolder method ensures that there are no name collision in

// case we get same timestamp in the key name

storage_path := fmt.Sprintf("%v/%v", p.storageFolder, time.Now().UnixNano())

bucket := S3Bucket

b := new(bytes.Buffer)

encodeErr := json.NewEncoder(b).Encode(payload)

if encodeErr != nil {

return encodeErr

}

// Everything we post to the S3 bucket should be marked 'private'

var acl = s3.Private

var contentType = "application/octet-stream"

return bucket.PutReader(storage_path, b, int64(b.Len()), contentType, acl, s3.Options{})

}

本地Go routines方法

剛開始，我們采用了一個(gè)非常本地化的POST處理實(shí)現(xiàn)，僅僅嘗試把發(fā)到簡單go routine的job并行化：

func payloadHandler(w http.ResponseWriter, r *http.Request) {

if r.Method != "POST" {

w.WriteHeader(http.StatusMethodNotAllowed)

return

}

// Read the body into a string for json decoding

var content = PayloadCollection{}

err := json.NewDecoder(io.LimitReader(r.Body, MaxLength)).Decode(content)

if err != nil {

w.Header().Set("Content-Type", "application/json; charset=UTF-8")

w.WriteHeader(http.StatusBadRequest)

return

}

// Go through each payload and queue items individually to be posted to S3

for _, payload := range content.Payloads {

go payload.UploadToS3() // ----- DON'T DO THIS

}

w.WriteHeader(http.StatusOK)

}

對于中小負(fù)載，這會(huì)對大多數(shù)的人適用，但是大規(guī)模下，這個(gè)方案會(huì)很快被證明不是很好用。我們期望的請求數(shù)，不在我們剛開始計(jì)劃的數(shù)量級，當(dāng)我們把第一個(gè)版本部署到生產(chǎn)環(huán)境上。我們完全低估了流量。

上面的方案在很多地方很不好。沒有辦法控制我們產(chǎn)生的go routine的數(shù)量。由于我們收到了每分鐘1百萬的POST請求，這段代碼很快就崩潰了。

再次嘗試

我們需要找一個(gè)不同的方式。自開始我們就討論過， 我們需要保持請求處理程序的生命周期很短，并且進(jìn)程在后臺(tái)產(chǎn)生。當(dāng)然，這是你在Ruby on Rails的世界里必須要做的事情，否則你會(huì)阻塞在所有可用的工作 web處理器上，不管你是使用puma、unicore還是passenger（我們不要討論JRuby這個(gè)話題）。然后我們需要利用常用的處理方案來做這些，比如Resque、 Sidekiq、 SQS等。這個(gè)列表會(huì)繼續(xù)保留，因?yàn)橛泻芏嗟姆桨缚梢詫?shí)現(xiàn)這些。

所以，第二次迭代，我們創(chuàng)建了一個(gè)緩沖channel，我們可以把job排隊(duì)，然后把它們上傳到S3。因?yàn)槲覀兛梢钥刂莆覀冴?duì)列中的item最大值，我們有大量的內(nèi)存來排列job，我們認(rèn)為只要把job在channel里面緩沖就可以了。

var Queue chan Payload

func init() {

Queue = make(chan Payload, MAX_QUEUE)

}

func payloadHandler(w http.ResponseWriter, r *http.Request) {

...

// Go through each payload and queue items individually to be posted to S3

for _, payload := range content.Payloads {

Queue - payload

}

...

}

接下來，我們再從隊(duì)列中取job，然后處理它們。我們使用類似于下面的代碼：

func StartProcessor() {

for {

select {

case job := -Queue:

job.payload.UploadToS3() // -- STILL NOT GOOD

}

}

}

說實(shí)話，我不知道我們在想什么。這肯定是一個(gè)滿是Red-Bulls的夜晚。這個(gè)方法不會(huì)帶來什么改善，我們用了一個(gè) 有缺陷的緩沖隊(duì)列并發(fā)，僅僅是把問題推遲了。我們的同步處理器同時(shí)僅僅會(huì)上傳一個(gè)數(shù)據(jù)到S3，因?yàn)閬淼降恼埱筮h(yuǎn)遠(yuǎn)大于單核處理器上傳到S3的能力，我們的帶緩沖channel很快達(dá)到了它的極限，然后阻塞了請求處理邏輯的queue更多item的能力。

我們僅僅避免了問題，同時(shí)開始了我們的系統(tǒng)掛掉的倒計(jì)時(shí)。當(dāng)部署了這個(gè)有缺陷的版本后，我們的延時(shí)保持在每分鐘以常量增長。

最好的解決方案

我們討論過在使用用Go channel時(shí)利用一種常用的模式，來創(chuàng)建一個(gè)二級channel系統(tǒng)，一個(gè)來queue job，另外一個(gè)來控制使用多少個(gè)worker來并發(fā)操作JobQueue。

想法是，以一個(gè)恒定速率并行上傳到S3，既不會(huì)導(dǎo)致機(jī)器崩潰也不好產(chǎn)生S3的連接錯(cuò)誤。這樣我們選擇了創(chuàng)建一個(gè)Job/Worker模式。對于那些熟悉Java、C#等語言的開發(fā)者，可以把這種模式想象成利用channel以golang的方式來實(shí)現(xiàn)了一個(gè)worker線程池，作為一種替代。

var (

MaxWorker = os.Getenv("MAX_WORKERS")

MaxQueue = os.Getenv("MAX_QUEUE")

)

// Job represents the job to be run

type Job struct {

Payload Payload

}

// A buffered channel that we can send work requests on.

var JobQueue chan Job

// Worker represents the worker that executes the job

type Worker struct {

WorkerPool chan chan Job

JobChannel chan Job

quit chan bool

}

func NewWorker(workerPool chan chan Job) Worker {

return Worker{

WorkerPool: workerPool,

JobChannel: make(chan Job),

quit: make(chan bool)}

}

// Start method starts the run loop for the worker, listening for a quit channel in

// case we need to stop it

func (w Worker) Start() {

go func() {

for {

// register the current worker into the worker queue.

w.WorkerPool - w.JobChannel

select {

case job := -w.JobChannel:

// we have received a work request.

if err := job.Payload.UploadToS3(); err != nil {

log.Errorf("Error uploading to S3: %s", err.Error())

}

case -w.quit:

// we have received a signal to stop

return

}

}

}()

}

// Stop signals the worker to stop listening for work requests.

func (w Worker) Stop() {

go func() {

w.quit - true

}()

}

我們已經(jīng)修改了我們的web請求handler，用payload創(chuàng)建一個(gè)Job實(shí)例，然后發(fā)到JobQueue channel，以便于worker來獲取。

func payloadHandler(w http.ResponseWriter, r *http.Request) {

if r.Method != "POST" {

w.WriteHeader(http.StatusMethodNotAllowed)

return

}

// Read the body into a string for json decoding

var content = PayloadCollection{}

err := json.NewDecoder(io.LimitReader(r.Body, MaxLength)).Decode(content)

if err != nil {

w.Header().Set("Content-Type", "application/json; charset=UTF-8")

w.WriteHeader(http.StatusBadRequest)

return

}

// Go through each payload and queue items individually to be posted to S3

for _, payload := range content.Payloads {

// let's create a job with the payload

work := Job{Payload: payload}

// Push the work onto the queue.

JobQueue - work

}

w.WriteHeader(http.StatusOK)

}

在web server初始化時(shí)，我們創(chuàng)建一個(gè)Dispatcher，然后調(diào)用Run()函數(shù)創(chuàng)建一個(gè)worker池子，然后開始監(jiān)聽JobQueue中的job。

dispatcher := NewDispatcher(MaxWorker)

dispatcher.Run()

下面是dispatcher的實(shí)現(xiàn)代碼：

type Dispatcher struct {

// A pool of workers channels that are registered with the dispatcher

WorkerPool chan chan Job

}

func NewDispatcher(maxWorkers int) *Dispatcher {

pool := make(chan chan Job, maxWorkers)

return Dispatcher{WorkerPool: pool}

}

func (d *Dispatcher) Run() {

// starting n number of workers

for i := 0; i d.maxWorkers; i++ {

worker := NewWorker(d.pool)

worker.Start()

}

go d.dispatch()

}

func (d *Dispatcher) dispatch() {

for {

select {

case job := -JobQueue:

// a job request has been received

go func(job Job) {

// try to obtain a worker job channel that is available.

// this will block until a worker is idle

jobChannel := -d.WorkerPool

// dispatch the job to the worker job channel

jobChannel - job

}(job)

}

}

}

注意到，我們提供了初始化并加入到池子的worker的最大數(shù)量。因?yàn)檫@個(gè)工程我們利用了Amazon Elasticbeanstalk帶有的docker化的Go環(huán)境，所以我們常常會(huì)遵守12-factor方法論來配置我們的生成環(huán)境中的系統(tǒng)，我們從環(huán)境變了讀取這些值。這種方式，我們控制worker的數(shù)量和JobQueue的大小，所以我們可以很快的改變這些值，而不需要重新部署集群。

var (

MaxWorker = os.Getenv("MAX_WORKERS")

MaxQueue = os.Getenv("MAX_QUEUE")

)

直接結(jié)果

我們部署了之后，立馬看到了延時(shí)降到微乎其微的數(shù)值，并未我們處理請求的能力提升很大。

Elastic Load Balancers完全啟動(dòng)后，我們看到ElasticBeanstalk 應(yīng)用服務(wù)于每分鐘1百萬請求。通常情況下在上午時(shí)間有幾個(gè)小時(shí)，流量峰值超過每分鐘一百萬次。

我們一旦部署了新的代碼，服務(wù)器的數(shù)量從100臺(tái)大幅 下降到大約20臺(tái)。

我們合理配置了我們的集群和自動(dòng)均衡配置之后，我們可以把服務(wù)器的數(shù)量降至4x EC2 c4.Large實(shí)例，并且Elastic Auto-Scaling設(shè)置為如果CPU達(dá)到5分鐘的90%利用率，我們就會(huì)產(chǎn)生新的實(shí)例。

總結(jié)

在我的書中，簡單總是獲勝。我們可以使用多隊(duì)列、后臺(tái)worker、復(fù)雜的部署設(shè)計(jì)一個(gè)復(fù)雜的系統(tǒng)，但是我們決定利用Elasticbeanstalk 的auto-scaling的能力和Go語言開箱即用的特性簡化并發(fā)。

我們僅僅用了4臺(tái)機(jī)器，這并不是什么新鮮事了?？赡芩鼈冞€不如我的MacBook能力強(qiáng)大，但是卻處理了每分鐘1百萬的寫入到S3的請求。

處理問題有正確的工具。當(dāng)你的 Ruby on Rails 系統(tǒng)需要更強(qiáng)大的web handler時(shí)，可以考慮下ruby生態(tài)系統(tǒng)之外的技術(shù)，或許可以得到更簡單但更強(qiáng)大的替代方案。

標(biāo)題名稱：go語言并發(fā)方式 go語言并發(fā)方式是什么
文章地址：http://muchs.cn/article30/dohospo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站收錄、域名注冊、面包屑導(dǎo)航、網(wǎng)站排名、自適應(yīng)網(wǎng)站、響應(yīng)式網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)