go語(yǔ)言os包實(shí)現(xiàn)原理 go osstdin

Go語(yǔ)言——goroutine并發(fā)模型

參考：

創(chuàng)新互聯(lián)建站主要從事網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)豐縣,10年網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專(zhuān)業(yè),歡迎來(lái)電咨詢(xún)建站服務(wù):18980820575

Goroutine并發(fā)調(diào)度模型深度解析手?jǐn)]一個(gè)協(xié)程池

Golang 的 goroutine 是如何實(shí)現(xiàn)的？

Golang - 調(diào)度剖析【第二部分】

OS線(xiàn)程初始棧為2MB。Go語(yǔ)言中，每個(gè)goroutine采用動(dòng)態(tài)擴(kuò)容方式，初始2KB，按需增長(zhǎng)，最大1G。此外GC會(huì)收縮棧空間。

BTW，增長(zhǎng)擴(kuò)容都是有代價(jià)的，需要copy數(shù)據(jù)到新的stack，所以初始2KB可能有些性能問(wèn)題。

更多關(guān)于stack的內(nèi)容，可以參見(jiàn)大佬的文章。 聊一聊goroutine stack

用戶(hù)線(xiàn)程的調(diào)度以及生命周期管理都是用戶(hù)層面，Go語(yǔ)言自己實(shí)現(xiàn)的，不借助OS系統(tǒng)調(diào)用，減少系統(tǒng)資源消耗。

Go語(yǔ)言采用兩級(jí)線(xiàn)程模型，即用戶(hù)線(xiàn)程與內(nèi)核線(xiàn)程KSE（kernel scheduling entity）是M:N的。最終goroutine還是會(huì)交給OS線(xiàn)程執(zhí)行，但是需要一個(gè)中介，提供上下文。這就是G-M-P模型

Go調(diào)度器有兩個(gè)不同的運(yùn)行隊(duì)列：

go1.10\src\runtime\runtime2.go

Go調(diào)度器根據(jù)事件進(jìn)行上下文切換。

調(diào)度的目的就是防止M堵塞，空閑，系統(tǒng)進(jìn)程切換。

詳見(jiàn) Golang - 調(diào)度剖析【第二部分】

Linux可以通過(guò)epoll實(shí)現(xiàn)網(wǎng)絡(luò)調(diào)用，統(tǒng)稱(chēng)網(wǎng)絡(luò)輪詢(xún)器N（Net Poller）。

文件IO操作

上面都是防止M堵塞，任務(wù)竊取是防止M空閑

每個(gè)M都有一個(gè)特殊的G，g0。用于執(zhí)行調(diào)度，gc，棧管理等任務(wù)，所以g0的棧稱(chēng)為調(diào)度棧。g0的棧不會(huì)自動(dòng)增長(zhǎng)，不會(huì)被gc，來(lái)自os線(xiàn)程的棧。

go1.10\src\runtime\proc.go

G沒(méi)辦法自己運(yùn)行，必須通過(guò)M運(yùn)行

M通過(guò)通過(guò)調(diào)度，執(zhí)行G

從M掛載P的runq中找到G，執(zhí)行G

Go語(yǔ)言設(shè)計(jì)與實(shí)現(xiàn)（上）

基本設(shè)計(jì)思路：

類(lèi)型轉(zhuǎn)換、類(lèi)型斷言、動(dòng)態(tài)派發(fā)。iface，eface。

反射對(duì)象具有的方法：

編譯優(yōu)化：

內(nèi)部實(shí)現(xiàn)：

實(shí)現(xiàn) Context 接口有以下幾個(gè)類(lèi)型（空實(shí)現(xiàn)就忽略了）：

互斥鎖的控制邏輯：

設(shè)計(jì)思路：

（以上為寫(xiě)被讀阻塞，下面是讀被寫(xiě)阻塞）

總結(jié)，讀寫(xiě)鎖的設(shè)計(jì)還是非常巧妙的：

設(shè)計(jì)思路：

WaitGroup 有三個(gè)暴露的函數(shù):

部件：

設(shè)計(jì)思路：

結(jié)構(gòu)：

Once 只暴露了一個(gè)方法：

實(shí)現(xiàn)：

三個(gè)關(guān)鍵點(diǎn)：

細(xì)節(jié)：

讓多協(xié)程任務(wù)的開(kāi)始執(zhí)行時(shí)間可控（按順序或歸一）。（Context 是控制結(jié)束時(shí)間）

設(shè)計(jì)思路： 通過(guò)一個(gè)鎖和內(nèi)置的 notifyList 隊(duì)列實(shí)現(xiàn)，Wait() 會(huì)生成票據(jù)，并將等待協(xié)程信息加入鏈表中，等待控制協(xié)程中發(fā)送信號(hào)通知一個(gè)（Signal()）或所有（Boardcast()）等待者（內(nèi)部實(shí)現(xiàn)是通過(guò)票據(jù)通知的）來(lái)控制協(xié)程解除阻塞。

暴露四個(gè)函數(shù)：

實(shí)現(xiàn)細(xì)節(jié)：

部件：

包： golang.org/x/sync/errgroup

作用：開(kāi)啟 func() error 函數(shù)簽名的協(xié)程，在同 Group 下協(xié)程并發(fā)執(zhí)行過(guò)程并收集首次 err 錯(cuò)誤。通過(guò) Context 的傳入，還可以控制在首次 err 出現(xiàn)時(shí)就終止組內(nèi)各協(xié)程。

設(shè)計(jì)思路：

結(jié)構(gòu)：

暴露的方法：

實(shí)現(xiàn)細(xì)節(jié)：

注意問(wèn)題：

包： "golang.org/x/sync/semaphore"

作用：排隊(duì)借資源（如錢(qián)，有借有還）的一種場(chǎng)景。此包相當(dāng)于對(duì)底層信號(hào)量的一種暴露。

設(shè)計(jì)思路：有一定數(shù)量的資源 Weight，每一個(gè) waiter 攜帶一個(gè) channel 和要借的數(shù)量 n。通過(guò)隊(duì)列排隊(duì)執(zhí)行借貸。

結(jié)構(gòu)：

暴露方法：

細(xì)節(jié)：

部件：

細(xì)節(jié)：

包： "golang.org/x/sync/singleflight"

作用：防擊穿。瞬時(shí)的相同請(qǐng)求只調(diào)用一次，response 被所有相同請(qǐng)求共享。

設(shè)計(jì)思路：按請(qǐng)求的 key 分組（一個(gè) *call 是一個(gè)組，用 map 映射存儲(chǔ)組），每個(gè)組只進(jìn)行一次訪(fǎng)問(wèn)，組內(nèi)每個(gè)協(xié)程會(huì)獲得對(duì)應(yīng)結(jié)果的一個(gè)拷貝。

結(jié)構(gòu)：

邏輯：

細(xì)節(jié)：

部件：

如有錯(cuò)誤，請(qǐng)批評(píng)指正。

golang 進(jìn)程創(chuàng)建，fork，以及熱重啟（無(wú)縫升級(jí)）

一般來(lái)說(shuō)，進(jìn)程的操作使用的是一些系統(tǒng)的命令，所以go內(nèi)部使用os包，進(jìn)行一些運(yùn)行系統(tǒng)命令的操作

os 包及其子包 os/exec 提供了創(chuàng)建進(jìn)程的方法。

一般的，應(yīng)該優(yōu)先使用 os/exec 包。因?yàn)?os/exec 包依賴(lài) os 包中關(guān)鍵創(chuàng)建進(jìn)程的 API，為了便于理解，我們先探討 os 包中和進(jìn)程相關(guān)的部分。

Unix :fork創(chuàng)建一個(gè)進(jìn)程，（及其一些變種，如 vfork、clone）。

Go:Linux 下創(chuàng)建進(jìn)程使用的系統(tǒng)調(diào)用是 clone。

允許一進(jìn)程（父進(jìn)程）創(chuàng)建一新進(jìn)程（子進(jìn)程）。具體做法是，新的子進(jìn)程幾近于對(duì)父進(jìn)程的翻版：子進(jìn)程獲得父進(jìn)程的棧、數(shù)據(jù)段、堆和執(zhí)行文本段的拷貝。可將此視為把父進(jìn)程一分為二。

終止一進(jìn)程，將進(jìn)程占用的所有資源（內(nèi)存、文件描述符等）歸還內(nèi)核，交其進(jìn)行再次分配。參數(shù) status 為一整型變量，表示進(jìn)程的退出狀態(tài)。父進(jìn)程可使用系統(tǒng)調(diào)用 wait() 來(lái)獲取該狀態(tài)。

目的有二：其一，如果子進(jìn)程尚未調(diào)用 exit() 終止，那么 wait 會(huì)掛起父進(jìn)程直至子進(jìn)程終止；其二，子進(jìn)程的終止?fàn)顟B(tài)通過(guò) wait 的 status 參數(shù)返回。

加載一個(gè)新程序（路徑名為 pathname，參數(shù)列表為 argv，環(huán)境變量列表為 envp）到當(dāng)前進(jìn)程的內(nèi)存。這將丟棄現(xiàn)存的程序文本段，并為新程序重新創(chuàng)建棧、數(shù)據(jù)段以及堆。通常將這一動(dòng)作稱(chēng)為執(zhí)行一個(gè)新程序。

沒(méi)有直接提供 fork 系統(tǒng)調(diào)用的封裝，而是將 fork 和 execve 合二為一，提供了 syscall.ForkExec。如果想只調(diào)用 fork，得自己通過(guò) syscall.Syscall(syscall.SYS_FORK, 0, 0, 0) 實(shí)現(xiàn)。

os.Process 存儲(chǔ)了通過(guò) StartProcess 創(chuàng)建的進(jìn)程的相關(guān)信息。

一般通過(guò) StartProcess 創(chuàng)建 Process 的實(shí)例，函數(shù)聲明如下：

它使用提供的程序名、命令行參數(shù)、屬性開(kāi)始一個(gè)新進(jìn)程。StartProcess 是一個(gè)低級(jí)別的接口。os/exec 包提供了高級(jí)別的接口，一般應(yīng)該盡量使用 os/exec 包。如果出錯(cuò)，錯(cuò)誤的類(lèi)型會(huì)是 *PathError。

屬性定義如下：

FindProcess 可以通過(guò) pid 查找一個(gè)運(yùn)行中的進(jìn)程。該函數(shù)返回的 Process 對(duì)象可以用于獲取關(guān)于底層操作系統(tǒng)進(jìn)程的信息。在 Unix 系統(tǒng)中，此函數(shù)總是成功，即使 pid 對(duì)應(yīng)的進(jìn)程不存在。

Process 提供了四個(gè)方法：Kill、Signal、Wait 和 Release。其中 Kill 和 Signal 跟信號(hào)相關(guān)，而 Kill 實(shí)際上就是調(diào)用 Signal，發(fā)送了 SIGKILL 信號(hào)，強(qiáng)制進(jìn)程退出，關(guān)于信號(hào)，后續(xù)章節(jié)會(huì)專(zhuān)門(mén)講解。

Release 方法用于釋放 Process 對(duì)象相關(guān)的資源，以便將來(lái)可以被再使用。該方法只有在確定沒(méi)有調(diào)用 Wait 時(shí)才需要調(diào)用。Unix 中，該方法的內(nèi)部實(shí)現(xiàn)只是將 Process 的 pid 置為 -1。

通過(guò) os 包可以做到運(yùn)行外部命令，如前面的例子。不過(guò)，Go 標(biāo)準(zhǔn)庫(kù)為我們封裝了更好用的包： os/exec，運(yùn)行外部命令，應(yīng)該優(yōu)先使用它，它包裝了 os.StartProcess 函數(shù)以便更容易的重定向標(biāo)準(zhǔn)輸入和輸出，使用管道連接 I/O，以及作其它的一些調(diào)整。

exec.LookPath 函數(shù)在 PATH 指定目錄中搜索可執(zhí)行程序，如 file 中有 /，則只在當(dāng)前目錄搜索。該函數(shù)返回完整路徑或相對(duì)于當(dāng)前路徑的一個(gè)相對(duì)路徑。

func LookPath(file string) (string, error)

如果在 PATH 中沒(méi)有找到可執(zhí)行文件，則返回 exec.ErrNotFound。

Cmd 結(jié)構(gòu)代表一個(gè)正在準(zhǔn)備或者在執(zhí)行中的外部命令，調(diào)用了 Run、Output 或 CombinedOutput 后，Cmd 實(shí)例不能被重用。

一般的，應(yīng)該通過(guò) exec.Command 函數(shù)產(chǎn)生 Cmd 實(shí)例：

用法

得到 * Cmd 實(shí)例后，接下來(lái)一般有兩種寫(xiě)法：

前面講到，通過(guò) Cmd 實(shí)例后，有兩種方式運(yùn)行命令。有時(shí)候，我們不只是簡(jiǎn)單的運(yùn)行命令，還希望能控制命令的輸入和輸出。通過(guò)上面的 API 介紹，控制輸入輸出有幾種方法：

參考資料：

當(dāng)前標(biāo)題：go語(yǔ)言os包實(shí)現(xiàn)原理 go osstdin
網(wǎng)頁(yè)URL：http://www.muchs.cn/article24/dogihce.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供關(guān)鍵詞優(yōu)化、網(wǎng)站設(shè)計(jì)公司、用戶(hù)體驗(yàn)、品牌網(wǎng)站制作、小程序開(kāi)發(fā)、網(wǎng)站維護(hù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)