go語(yǔ)言設(shè)計(jì)思路,go的設(shè)計(jì)與實(shí)現(xiàn)

go語(yǔ)言實(shí)現(xiàn)一個(gè)簡(jiǎn)單的簡(jiǎn)單網(wǎng)關(guān)

網(wǎng)關(guān)=反向代理+負(fù)載均衡+各種策略，技術(shù)實(shí)現(xiàn)也有多種多樣，有基于 nginx 使用 lua 的實(shí)現(xiàn)，比如 openresty、kong；也有基于 zuul 的通用網(wǎng)關(guān)；還有就是 golang 的網(wǎng)關(guān)，比如 tyk。

創(chuàng)新互聯(lián)公司致力于互聯(lián)網(wǎng)網(wǎng)站建設(shè)與網(wǎng)站營(yíng)銷(xiāo)，提供成都做網(wǎng)站、成都網(wǎng)站建設(shè)、網(wǎng)站開(kāi)發(fā)、seo優(yōu)化、網(wǎng)站排名、互聯(lián)網(wǎng)營(yíng)銷(xiāo)、成都微信小程序、公眾號(hào)商城、等建站開(kāi)發(fā)，創(chuàng)新互聯(lián)公司網(wǎng)站建設(shè)策劃專(zhuān)家，為不同類(lèi)型的客戶(hù)提供良好的互聯(lián)網(wǎng)應(yīng)用定制解決方案，幫助客戶(hù)在新的全球化互聯(lián)網(wǎng)環(huán)境中保持優(yōu)勢(shì)。

這篇文章主要是講如何基于 golang 實(shí)現(xiàn)一個(gè)簡(jiǎn)單的網(wǎng)關(guān)。

轉(zhuǎn)自： troy.wang/docs/golang/posts/golang-gateway/

整理：go語(yǔ)言鐘文文檔:

啟動(dòng)兩個(gè)后端 web 服務(wù)（代碼）

這里使用命令行工具進(jìn)行測(cè)試

具體代碼

直接使用基礎(chǔ)庫(kù) httputil 提供的NewSingleHostReverseProxy即可，返回的reverseProxy對(duì)象實(shí)現(xiàn)了serveHttp方法，因此可以直接作為 handler。

具體代碼

director中定義回調(diào)函數(shù)，入?yún)?http.Request，決定如何構(gòu)造向后端的請(qǐng)求，比如 host 是否向后傳遞，是否進(jìn)行 url 重寫(xiě)，對(duì)于 header 的處理，后端 target 的選擇等，都可以在這里完成。

director在這里具體做了：

modifyResponse中定義回調(diào)函數(shù)，入?yún)?http.Response，用于修改響應(yīng)的信息，比如響應(yīng)的 Body，響應(yīng)的 Header 等信息。

最終依舊是返回一個(gè)ReverseProxy，然后將這個(gè)對(duì)象作為 handler 傳入即可。

參考 2.2 中的NewSingleHostReverseProxy，只需要實(shí)現(xiàn)一個(gè)類(lèi)似的、支持多 targets 的方法即可，具體實(shí)現(xiàn)見(jiàn)后面。

作為一個(gè)網(wǎng)關(guān)服務(wù)，在上面 2.3 的基礎(chǔ)上，需要支持必要的負(fù)載均衡策略，比如：

隨便 random 一個(gè)整數(shù)作為索引，然后取對(duì)應(yīng)的地址即可，實(shí)現(xiàn)比較簡(jiǎn)單。

具體代碼

使用curIndex進(jìn)行累加計(jì)數(shù)，一旦超過(guò) rss 數(shù)組的長(zhǎng)度，則重置。

具體代碼

輪詢(xún)帶權(quán)重，如果使用計(jì)數(shù)遞減的方式，如果權(quán)重是5,1,1那么后端 rs 依次為a,a,a,a,a,b,c,a,a,a,a…，其中 a 后端會(huì)瞬間壓力過(guò)大；參考 nginx 內(nèi)部的加權(quán)輪詢(xún)，或者應(yīng)該稱(chēng)之為平滑加權(quán)輪詢(xún)，思路是：

后端真實(shí)節(jié)點(diǎn)包含三個(gè)權(quán)重：

操作步驟：

具體代碼

一致性 hash 算法，主要是用于分布式 cache 熱點(diǎn)/命中問(wèn)題；這里用于基于某 key 的 hash 值，路由到固定后端，但是只能是基本滿(mǎn)足流量綁定，一旦后端目標(biāo)節(jié)點(diǎn)故障，會(huì)自動(dòng)平移到環(huán)上最近的那么個(gè)節(jié)點(diǎn)。

實(shí)現(xiàn)：

具體代碼

每一種不同的負(fù)載均衡算法，只需要實(shí)現(xiàn)添加以及獲取的接口即可。

然后使用工廠方法，根據(jù)傳入的參數(shù)，決定使用哪種負(fù)載均衡策略。

具體代碼

作為網(wǎng)關(guān)，中間件必不可少，這類(lèi)包括請(qǐng)求響應(yīng)的模式，一般稱(chēng)作洋蔥模式，每一層都是中間件，一層層進(jìn)去，然后一層層出來(lái)。

中間件的實(shí)現(xiàn)一般有兩種，一種是使用數(shù)組，然后配合 index 計(jì)數(shù)；一種是鏈?zhǔn)秸{(diào)用。

具體代碼

如何看待go語(yǔ)言泛型的最新設(shè)計(jì)？

Go 由于不支持泛型而臭名昭著，但最近，泛型已接近成為現(xiàn)實(shí)。Go 團(tuán)隊(duì)實(shí)施了一個(gè)看起來(lái)比較穩(wěn)定的設(shè)計(jì)草案，并且正以源到源翻譯器原型的形式獲得關(guān)注。本文講述的是泛型的最新設(shè)計(jì)，以及如何自己嘗試泛型。

例子

FIFO Stack

假設(shè)你要?jiǎng)?chuàng)建一個(gè)先進(jìn)先出堆棧。沒(méi)有泛型，你可能會(huì)這樣實(shí)現(xiàn)：

type?Stack?[]interface{}func?(s?Stack)?Peek()?interface{}?{

return?s[len(s)-1]

}

func?(s?*Stack)?Pop()?{

*s?=?(*s)[:

len(*s)-1]

}

func?(s?*Stack)?Push(value?interface{})?{

*s?=?

append(*s,?value)

}

但是，這里存在一個(gè)問(wèn)題：每當(dāng)你 Peek 項(xiàng)時(shí)，都必須使用類(lèi)型斷言將其從 interface{} 轉(zhuǎn)換為你需要的類(lèi)型。如果你的堆棧是 *MyObject 的堆棧，則意味著很多 s.Peek().(*MyObject)這樣的代碼。這不僅讓人眼花繚亂，而且還可能引發(fā)錯(cuò)誤。比如忘記 * 怎么辦？或者如果您輸入錯(cuò)誤的類(lèi)型怎么辦？s.Push(MyObject{})` 可以順利編譯，而且你可能不會(huì)發(fā)現(xiàn)到自己的錯(cuò)誤，直到它影響到你的整個(gè)服務(wù)為止。

通常，使用 interface{} 是相對(duì)危險(xiǎn)的。使用更多受限制的類(lèi)型總是更安全，因?yàn)榭梢栽诰幾g時(shí)而不是運(yùn)行時(shí)發(fā)現(xiàn)問(wèn)題。

泛型通過(guò)允許類(lèi)型具有類(lèi)型參數(shù)來(lái)解決此問(wèn)題：

type?Stack(type?T)?[]Tfunc?(s?Stack(T))?Peek()?T?{

return?s[len(s)-1]

}

func?(s?*Stack(T))?Pop()?{

*s?=?(*s)[:

len(*s)-1]

}

func?(s?*Stack(T))?Push(value?T)?{

*s?=?

append(*s,?value)

}

這會(huì)向 Stack 添加一個(gè)類(lèi)型參數(shù)，從而完全不需要 interface{}。現(xiàn)在，當(dāng)你使用 Peek() 時(shí)，返回的值已經(jīng)是原始類(lèi)型，并且沒(méi)有機(jī)會(huì)返回錯(cuò)誤的值類(lèi)型。這種方式更安全，更容易使用。（譯注：就是看起來(lái)更丑陋，^-^）

此外，泛型代碼通常更易于編譯器優(yōu)化，從而獲得更好的性能（以二進(jìn)制大小為代價(jià)）。如果我們對(duì)上面的非泛型代碼和泛型代碼進(jìn)行基準(zhǔn)測(cè)試，我們可以看到區(qū)別：

type?MyObject?struct?{

X?

int

}

var?sink?MyObjectfunc?BenchmarkGo1(b?*testing.B)?{

for?i?:=?0;?i??b.N;?i++?{

var?s?Stack

s.Push(MyObject{})

s.Push(MyObject{})

s.Pop()

sink?=?s.Peek().(MyObject)

}

}

func?BenchmarkGo2(b?*testing.B)?{

for?i?:=?0;?i??b.N;?i++?{

var?s?Stack(MyObject)

s.Push(MyObject{})

s.Push(MyObject{})

s.Pop()

sink?=?s.Peek()

}

}

結(jié)果：

BenchmarkGo1BenchmarkGo1-16?????12837528?????????87.0?ns/op???????48?B/op????????2?allocs/opBenchmarkGo2BenchmarkGo2-16?????28406479?????????41.9?ns/op???????24?B/op????????2?allocs/op

在這種情況下，我們分配更少的內(nèi)存，同時(shí)泛型的速度是非泛型的兩倍。

合約（Contracts）

上面的堆棧示例適用于任何類(lèi)型。但是，在許多情況下，你需要編寫(xiě)僅適用于具有某些特征的類(lèi)型的代碼。例如，你可能希望堆棧要求類(lèi)型實(shí)現(xiàn) String() 函數(shù)

【golang詳解】go語(yǔ)言GMP(GPM)原理和調(diào)度

Goroutine調(diào)度是一個(gè)很復(fù)雜的機(jī)制，下面嘗試用簡(jiǎn)單的語(yǔ)言描述一下Goroutine調(diào)度機(jī)制，想要對(duì)其有更深入的了解可以去研讀一下源碼。

首先介紹一下GMP什么意思：

G ----------- goroutine: 即Go協(xié)程，每個(gè)go關(guān)鍵字都會(huì)創(chuàng)建一個(gè)協(xié)程。

M ---------- thread內(nèi)核級(jí)線程，所有的G都要放在M上才能運(yùn)行。

P ----------- processor處理器，調(diào)度G到M上，其維護(hù)了一個(gè)隊(duì)列，存儲(chǔ)了所有需要它來(lái)調(diào)度的G。

Goroutine 調(diào)度器P和 OS 調(diào)度器是通過(guò) M 結(jié)合起來(lái)的，每個(gè) M 都代表了 1 個(gè)內(nèi)核線程，OS 調(diào)度器負(fù)責(zé)把內(nèi)核線程分配到 CPU 的核上執(zhí)行

模型圖：

避免頻繁的創(chuàng)建、銷(xiāo)毀線程，而是對(duì)線程的復(fù)用。

1）work stealing機(jī)制

當(dāng)本線程無(wú)可運(yùn)行的G時(shí)，嘗試從其他線程綁定的P偷取G，而不是銷(xiāo)毀線程。

2）hand off機(jī)制

當(dāng)本線程M0因?yàn)镚0進(jìn)行系統(tǒng)調(diào)用阻塞時(shí)，線程釋放綁定的P，把P轉(zhuǎn)移給其他空閑的線程執(zhí)行。進(jìn)而某個(gè)空閑的M1獲取P，繼續(xù)執(zhí)行P隊(duì)列中剩下的G。而M0由于陷入系統(tǒng)調(diào)用而進(jìn)被阻塞，M1接替M0的工作，只要P不空閑，就可以保證充分利用CPU。M1的來(lái)源有可能是M的緩存池，也可能是新建的。當(dāng)G0系統(tǒng)調(diào)用結(jié)束后，根據(jù)M0是否能獲取到P，將會(huì)將G0做不同的處理：

如果有空閑的P，則獲取一個(gè)P，繼續(xù)執(zhí)行G0。

如果沒(méi)有空閑的P，則將G0放入全局隊(duì)列，等待被其他的P調(diào)度。然后M0將進(jìn)入緩存池睡眠。

如下圖

GOMAXPROCS設(shè)置P的數(shù)量，最多有GOMAXPROCS個(gè)線程分布在多個(gè)CPU上同時(shí)運(yùn)行

在Go中一個(gè)goroutine最多占用CPU 10ms，防止其他goroutine被餓死。

具體可以去看另一篇文章

【Golang詳解】go語(yǔ)言調(diào)度機(jī)制 搶占式調(diào)度

當(dāng)創(chuàng)建一個(gè)新的G之后優(yōu)先加入本地隊(duì)列，如果本地隊(duì)列滿(mǎn)了，會(huì)將本地隊(duì)列的G移動(dòng)到全局隊(duì)列里面，當(dāng)M執(zhí)行work stealing從其他P偷不到G時(shí)，它可以從全局G隊(duì)列獲取G。

協(xié)程經(jīng)歷過(guò)程

我們創(chuàng)建一個(gè)協(xié)程 go func()經(jīng)歷過(guò)程如下圖：

說(shuō)明：

這里有兩個(gè)存儲(chǔ)G的隊(duì)列，一個(gè)是局部調(diào)度器P的本地隊(duì)列、一個(gè)是全局G隊(duì)列。新創(chuàng)建的G會(huì)先保存在P的本地隊(duì)列中，如果P的本地隊(duì)列已經(jīng)滿(mǎn)了就會(huì)保存在全局的隊(duì)列中；處理器本地隊(duì)列是一個(gè)使用數(shù)組構(gòu)成的環(huán)形鏈表，它最多可以存儲(chǔ) 256 個(gè)待執(zhí)行任務(wù)。

G只能運(yùn)行在M中，一個(gè)M必須持有一個(gè)P，M與P是1：1的關(guān)系。M會(huì)從P的本地隊(duì)列彈出一個(gè)可執(zhí)行狀態(tài)的G來(lái)執(zhí)行，如果P的本地隊(duì)列為空，就會(huì)想其他的MP組合偷取一個(gè)可執(zhí)行的G來(lái)執(zhí)行；

一個(gè)M調(diào)度G執(zhí)行的過(guò)程是一個(gè)循環(huán)機(jī)制；會(huì)一直從本地隊(duì)列或全局隊(duì)列中獲取G

上面說(shuō)到P的個(gè)數(shù)默認(rèn)等于CPU核數(shù)，每個(gè)M必須持有一個(gè)P才可以執(zhí)行G，一般情況下M的個(gè)數(shù)會(huì)略大于P的個(gè)數(shù)，這多出來(lái)的M將會(huì)在G產(chǎn)生系統(tǒng)調(diào)用時(shí)發(fā)揮作用。類(lèi)似線程池，Go也提供一個(gè)M的池子，需要時(shí)從池子中獲取，用完放回池子，不夠用時(shí)就再創(chuàng)建一個(gè)。

work-stealing調(diào)度算法：當(dāng)M執(zhí)行完了當(dāng)前P的本地隊(duì)列隊(duì)列里的所有G后，P也不會(huì)就這么在那躺尸啥都不干，它會(huì)先嘗試從全局隊(duì)列隊(duì)列尋找G來(lái)執(zhí)行，如果全局隊(duì)列為空，它會(huì)隨機(jī)挑選另外一個(gè)P，從它的隊(duì)列里中拿走一半的G到自己的隊(duì)列中執(zhí)行。

如果一切正常，調(diào)度器會(huì)以上述的那種方式順暢地運(yùn)行，但這個(gè)世界沒(méi)這么美好，總有意外發(fā)生，以下分析goroutine在兩種例外情況下的行為。

Go runtime會(huì)在下面的goroutine被阻塞的情況下運(yùn)行另外一個(gè)goroutine：

用戶(hù)態(tài)阻塞/喚醒

當(dāng)goroutine因?yàn)閏hannel操作或者network I/O而阻塞時(shí)（實(shí)際上golang已經(jīng)用netpoller實(shí)現(xiàn)了goroutine網(wǎng)絡(luò)I/O阻塞不會(huì)導(dǎo)致M被阻塞，僅阻塞G，這里僅僅是舉個(gè)栗子），對(duì)應(yīng)的G會(huì)被放置到某個(gè)wait隊(duì)列(如channel的waitq)，該G的狀態(tài)由_Gruning變?yōu)開(kāi)Gwaitting，而M會(huì)跳過(guò)該G嘗試獲取并執(zhí)行下一個(gè)G，如果此時(shí)沒(méi)有可運(yùn)行的G供M運(yùn)行，那么M將解綁P，并進(jìn)入sleep狀態(tài)；當(dāng)阻塞的G被另一端的G2喚醒時(shí)（比如channel的可讀/寫(xiě)通知），G被標(biāo)記為，嘗試加入G2所在P的runnext（runnext是線程下一個(gè)需要執(zhí)行的 Goroutine。）， 然后再是P的本地隊(duì)列和全局隊(duì)列。

系統(tǒng)調(diào)用阻塞

當(dāng)M執(zhí)行某一個(gè)G時(shí)候如果發(fā)生了阻塞操作，M會(huì)阻塞，如果當(dāng)前有一些G在執(zhí)行，調(diào)度器會(huì)把這個(gè)線程M從P中摘除，然后再創(chuàng)建一個(gè)新的操作系統(tǒng)的線程(如果有空閑的線程可用就復(fù)用空閑線程)來(lái)服務(wù)于這個(gè)P。當(dāng)M系統(tǒng)調(diào)用結(jié)束時(shí)候，這個(gè)G會(huì)嘗試獲取一個(gè)空閑的P執(zhí)行，并放入到這個(gè)P的本地隊(duì)列。如果獲取不到P，那么這個(gè)線程M變成休眠狀態(tài)， 加入到空閑線程中，然后這個(gè)G會(huì)被放入全局隊(duì)列中。

隊(duì)列輪轉(zhuǎn)

可見(jiàn)每個(gè)P維護(hù)著一個(gè)包含G的隊(duì)列，不考慮G進(jìn)入系統(tǒng)調(diào)用或IO操作的情況下，P周期性的將G調(diào)度到M中執(zhí)行，執(zhí)行一小段時(shí)間，將上下文保存下來(lái)，然后將G放到隊(duì)列尾部，然后從隊(duì)列中重新取出一個(gè)G進(jìn)行調(diào)度。

除了每個(gè)P維護(hù)的G隊(duì)列以外，還有一個(gè)全局的隊(duì)列，每個(gè)P會(huì)周期性地查看全局隊(duì)列中是否有G待運(yùn)行并將其調(diào)度到M中執(zhí)行，全局隊(duì)列中G的來(lái)源，主要有從系統(tǒng)調(diào)用中恢復(fù)的G。之所以P會(huì)周期性地查看全局隊(duì)列，也是為了防止全局隊(duì)列中的G被餓死。

除了每個(gè)P維護(hù)的G隊(duì)列以外，還有一個(gè)全局的隊(duì)列，每個(gè)P會(huì)周期性地查看全局隊(duì)列中是否有G待運(yùn)行并將其調(diào)度到M中執(zhí)行，全局隊(duì)列中G的來(lái)源，主要有從系統(tǒng)調(diào)用中恢復(fù)的G。之所以P會(huì)周期性地查看全局隊(duì)列，也是為了防止全局隊(duì)列中的G被餓死。

M0

M0是啟動(dòng)程序后的編號(hào)為0的主線程，這個(gè)M對(duì)應(yīng)的實(shí)例會(huì)在全局變量rutime.m0中，不需要在heap上分配，M0負(fù)責(zé)執(zhí)行初始化操作和啟動(dòng)第一個(gè)G，在之后M0就和其他的M一樣了

G0

G0是每次啟動(dòng)一個(gè)M都會(huì)第一個(gè)創(chuàng)建的goroutine，G0僅用于負(fù)責(zé)調(diào)度G，G0不指向任何可執(zhí)行的函數(shù)，每個(gè)M都會(huì)有一個(gè)自己的G0，在調(diào)度或系統(tǒng)調(diào)用時(shí)會(huì)使用G0的棧空間，全局變量的G0是M0的G0

一個(gè)G由于調(diào)度被中斷，此后如何恢復(fù)？

中斷的時(shí)候?qū)⒓拇嫫骼锏臈Ｐ畔?，保存到自己的G對(duì)象里面。當(dāng)再次輪到自己執(zhí)行時(shí)，將自己保存的棧信息復(fù)制到寄存器里面，這樣就接著上次之后運(yùn)行了。

我這里只是根據(jù)自己的理解進(jìn)行了簡(jiǎn)單的介紹，想要詳細(xì)了解有關(guān)GMP的底層原理可以去看Go調(diào)度器 G-P-M 模型的設(shè)計(jì)者的文檔或直接看源碼

參考： ()

()

網(wǎng)頁(yè)題目：go語(yǔ)言設(shè)計(jì)思路,go的設(shè)計(jì)與實(shí)現(xiàn)
URL分享：http://muchs.cn/article18/hcjdgp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信小程序、網(wǎng)站營(yíng)銷(xiāo)、外貿(mào)網(wǎng)站建設(shè)、移動(dòng)網(wǎng)站建設(shè)、網(wǎng)站建設(shè)、做網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)