go語言的內(nèi)存管理 go內(nèi)存分析

Go語言中恰到好處的內(nèi)存對齊

在開始之前，希望你計算一下 Part1 共占用的大小是多少呢？

公司主營業(yè)務(wù)：成都做網(wǎng)站、網(wǎng)站制作、移動網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。成都創(chuàng)新互聯(lián)公司是一支青春激揚、勤奮敬業(yè)、活力青春激揚、勤奮敬業(yè)、活力澎湃、和諧高效的團隊。公司秉承以“開放、自由、嚴謹、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團隊有機會用頭腦與智慧不斷的給客戶帶來驚喜。成都創(chuàng)新互聯(lián)公司推出安塞免費做網(wǎng)站回饋大家。

輸出結(jié)果：

這么一算， Part1 這一個結(jié)構(gòu)體的占用內(nèi)存大小為 1+4+1+8+1 = 15 個字節(jié)。相信有的小伙伴是這么算的，看上去也沒什么毛病

真實情況是怎么樣的呢？我們實際調(diào)用看看，如下：

輸出結(jié)果：

最終輸出為占用 32 個字節(jié)。這與前面所預(yù)期的結(jié)果完全不一樣。這充分地說明了先前的計算方式是錯誤的。為什么呢？

在這里要提到 “內(nèi)存對齊” 這一概念，才能夠用正確的姿勢去計算，接下來我們詳細的講講它是什么

有的小伙伴可能會認為內(nèi)存讀取，就是一個簡單的字節(jié)數(shù)組擺放

上圖表示一個坑一個蘿卜的內(nèi)存讀取方式。但實際上 CPU 并不會以一個一個字節(jié)去讀取和寫入內(nèi)存。相反 CPU 讀取內(nèi)存是 一塊一塊讀取 的，塊的大小可以為 2、4、6、8、16 字節(jié)等大小。塊大小我們稱其為 內(nèi)存訪問粒度 。如下圖：

在樣例中，假設(shè)訪問粒度為 4。 CPU 是以每 4 個字節(jié)大小的訪問粒度去讀取和寫入內(nèi)存的。這才是正確的姿勢

另外作為一個工程師，你也很有必要學(xué)習(xí)這塊知識點哦 :)

在上圖中，假設(shè)從 Index 1 開始讀取，將會出現(xiàn)很崩潰的問題。因為它的內(nèi)存訪問邊界是不對齊的。因此 CPU 會做一些額外的處理工作。如下：

從上述流程可得出，不做 “內(nèi)存對齊” 是一件有點 "麻煩" 的事。因為它會增加許多耗費時間的動作

而假設(shè)做了內(nèi)存對齊，從 Index 0 開始讀取 4 個字節(jié)，只需要讀取一次，也不需要額外的運算。這顯然高效很多，是標準的 空間換時間 做法

在不同平臺上的編譯器都有自己默認的 “對齊系數(shù)”，可通過預(yù)編譯命令 #pragma pack(n) 進行變更，n 就是代指 “對齊系數(shù)”。一般來講，我們常用的平臺的系數(shù)如下：

另外要注意，不同硬件平臺占用的大小和對齊值都可能是不一樣的。因此本文的值不是唯一的，調(diào)試的時候需按本機的實際情況考慮

輸出結(jié)果：

在 Go 中可以調(diào)用 unsafe.Alignof 來返回相應(yīng)類型的對齊系數(shù)。通過觀察輸出結(jié)果，可得知基本都是 2^n ，最大也不會超過 8。這是因為我手提（64 位）編譯器默認對齊系數(shù)是 8，因此最大值不會超過這個數(shù)

在上小節(jié)中，提到了結(jié)構(gòu)體中的成員變量要做字節(jié)對齊。那么想當(dāng)然身為最終結(jié)果的結(jié)構(gòu)體，也是需要做字節(jié)對齊的

接下來我們一起分析一下，“它” 到底經(jīng)歷了些什么，影響了 “預(yù)期” 結(jié)果

在每個成員變量進行對齊后，根據(jù)規(guī)則 2，整個結(jié)構(gòu)體本身也要進行字節(jié)對齊，因為可發(fā)現(xiàn)它可能并不是 2^n ，不是偶數(shù)倍。顯然不符合對齊的規(guī)則

根據(jù)規(guī)則 2，可得出對齊值為 8?，F(xiàn)在的偏移量為 25，不是 8 的整倍數(shù)。因此確定偏移量為 32。對結(jié)構(gòu)體進行對齊

Part1 內(nèi)存布局：axxx|bbbb|cxxx|xxxx|dddd|dddd|exxx|xxxx

通過本節(jié)的分析，可得知先前的 “推算” 為什么錯誤？

是因為實際內(nèi)存管理并非 “一個蘿卜一個坑” 的思想。而是一塊一塊。通過空間換時間（效率）的思想來完成這塊讀取、寫入。另外也需要兼顧不同平臺的內(nèi)存操作情況

在上一小節(jié)，可得知根據(jù)成員變量的類型不同，其結(jié)構(gòu)體的內(nèi)存會產(chǎn)生對齊等動作。那假設(shè)字段順序不同，會不會有什么變化呢？我們一起來試試吧 :-)

輸出結(jié)果：

通過結(jié)果可以驚喜的發(fā)現(xiàn)，只是 “簡單” 對成員變量的字段順序進行改變，就改變了結(jié)構(gòu)體占用大小

接下來我們一起剖析一下 Part2 ，看看它的內(nèi)部到底和上一位之間有什么區(qū)別，才導(dǎo)致了這樣的結(jié)果？

符合規(guī)則 2，不需要額外對齊

Part2 內(nèi)存布局：ecax|bbbb|dddd|dddd

通過對比 Part1 和 Part2 的內(nèi)存布局，你會發(fā)現(xiàn)兩者有很大的不同。如下：

仔細一看， Part1 存在許多 Padding。顯然它占據(jù)了不少空間，那么 Padding 是怎么出現(xiàn)的呢？

通過本文的介紹，可得知是由于不同類型導(dǎo)致需要進行字節(jié)對齊，以此保證內(nèi)存的訪問邊界

那么也不難理解，為什么 調(diào)整結(jié)構(gòu)體內(nèi)成員變量的字段順序 就能達到縮小結(jié)構(gòu)體占用大小的疑問了，是因為巧妙地減少了 Padding 的存在。讓它們更 “緊湊” 了。這一點對于加深 Go 的內(nèi)存布局印象和大對象的優(yōu)化非常有幫

「測試開發(fā)全?；?Go」(1) Go語言基本了解

作為一個測試，作為一個測試開發(fā)， 全?；?管理 是我們未來的發(fā)展方向。已經(jīng)掌握了Java、Python、HTML的你，是不是也想了解下最近異?；鸨腉o語言呢？來吧，讓我們一起了解下。

Go 是一個開源的編程語言 ，它能讓構(gòu)造簡單、可靠且高效的軟件變得容易。

Go是從2007年末由Robert Griesemer, Rob Pike, Ken Thompson主持開發(fā)，后來還加入了Ian Lance Taylor, Russ Cox等人，并最終于2009年11月開源，在2012年早些時候發(fā)布了Go 1穩(wěn)定版本?，F(xiàn)在Go的開發(fā)已經(jīng)是完全開放的，并且擁有一個活躍的社區(qū)。這三個人都是計算機界的大神，有的參與了C語言的編寫，有的還是數(shù)學(xué)大神，有的還獲得了計算機最高榮譽-圖靈獎。

接下來說說 Go語言的特色 :

簡潔、快速、安全

并行、有趣、開源

內(nèi)存管理、數(shù)組安全、編譯迅速

Go語言的用途 :

Go 語言被設(shè)計成一門應(yīng)用于搭載 Web 服務(wù)器，存儲集群或類似用途的巨型中央服務(wù)器的系統(tǒng)編程語言。

對于高性能分布式系統(tǒng)領(lǐng)域而言，Go 語言無疑比大多數(shù)其它語言有著更高的開發(fā)效率。它提供了海量并行的支持，這對于 游戲 服務(wù)端的開發(fā)而言是再好不過了。

Go語言的環(huán)境安裝:

建議直接打開 官方地址因為墻的原因打不開

因為我用的是windows系統(tǒng)，這里主要講下Windows系統(tǒng)上使用Go語言來編程。

Windows 下可以使用 .msi 后綴(在下載列表中可以找到該文件，如go1.17.2.windows-amd64.msi)的安裝包來安裝。

默認情況下 .msi 文件會安裝在 c:Go 目錄下。你可以將 c:Gobin 目錄添加到 Path 環(huán)境變量中。添加后你需要重啟命令窗口才能生效。個人建議還是安裝到 Program Files文件夾中。

使用什么開發(fā)工具來對Go語言進行編寫:

個人建議用VS code, 也可以用Sublime Text來編輯。如果你之前看了我講的HTML語言的學(xué)習(xí)，肯定已經(jīng)下載了VS code. 那么這時你需要在VS code中下載Go語言的擴展插件。

這里有一個巨大的坑，就是在下載Go的插件和依賴包時，會提示一些包沒有。主要是因為下載的依賴包部分被墻了，只能想別的辦法去下載。

建議參考網(wǎng)頁:

解決vscode中g(shù)olang插件安裝失敗方法

在學(xué)習(xí)go的過程中，使用的是vscode，但是一直提示安裝相關(guān)插件失敗，然后上網(wǎng)查方法，基本上是叫你建立golang.org目錄什么的，結(jié)果全是錯的，而且都是抄襲，很煩。無意之中看到一位博主分享的方法，他也是飽受上述的垃圾博文困擾，然后找到了解決方法，這里向他致敬，秉著讓更多人看到正確解決方法的心，我寫下正確的解決方法，希望對你有所幫助，也可以點開原博主鏈接參考：

Go有一個全球模塊代理，設(shè)置代理再去安裝golang的插件，就可以安裝成功了。步驟有，首先Windows用戶打開Powershell，一個藍色的界面，注意不是cmd！不知道的直接打開window下面的搜索，然后輸入powershell，搜索出來就可以了。

$env:GO111MODULE=“on”

$env:GOPROXY=“”

go env -w GOPROXY=

go env -w GOPRIVATE=*.corp.example.com

然后我們打開VsCode界面，下面會提示安裝插件，我們選擇Install ALL，就會安裝成功

當(dāng)你在運行Go語言程序時，提示所有的插件包都已經(jīng)安裝成功了時，就可以正常使用了，要不然一堆報錯會讓你非常心煩。

好了，今天先到這里，晚安、下班~

Python和go語言有什么區(qū)別？哪個更有優(yōu)勢？

python和go語言的區(qū)別

1、語法

Python的語法使用縮進來指示代碼塊。Go的語法基于打開和關(guān)閉括號。

2、范例

Python是一種基于面向?qū)ο缶幊痰亩喾妒?，命令式和函?shù)式編程語言。它堅持這樣一種觀點，即如果一種語言在某些情境中表現(xiàn)出某種特定的方式，理想情況下它應(yīng)該在所有情境中都有相似的作用。但是，它又不是純粹的OOP語言，它不支持強封裝，這是OOP的主要原則之一。

Go是一種基于并發(fā)編程范式的過程編程語言，它與C具有表面相似性。實際上，Go更像是C的更新版本。

3、并發(fā)

Python沒有提供內(nèi)置的并發(fā)機制，而Go有內(nèi)置的并發(fā)機制。

4、類型化

Python是動態(tài)類型語言，而Go是一種靜態(tài)類型語言，它實際上有助于在編譯時捕獲錯誤，這可以進一步減少生產(chǎn)后期的嚴重錯誤。

5、安全性

Python是一種強類型語言，它是經(jīng)過編譯的，因此增加了一層安全性。Go具有分配給每個變量的類型，因此，它提供了安全性。但是，如果發(fā)生任何錯誤，用戶需要自己運行整個代碼。

6、管理內(nèi)存

Go允許程序員在很大程度上管理內(nèi)存。而，Python中的內(nèi)存管理完全自動化并由Python VM管理；它不允許程序員對內(nèi)存管理負責(zé)。

7、庫

與Go相比，Python提供的庫數(shù)量要大得多。然而，Go仍然是新的，并且還沒有取得很大進展。

8、速度：

Go的速度遠遠超過Python。

（十一）golang 內(nèi)存分析

編寫過C語言程序的肯定知道通過malloc()方法動態(tài)申請內(nèi)存，其中內(nèi)存分配器使用的是glibc提供的ptmalloc2。 除了glibc，業(yè)界比較出名的內(nèi)存分配器有Google的tcmalloc和Facebook的jemalloc。二者在避免內(nèi)存碎片和性能上均比glic有比較大的優(yōu)勢，在多線程環(huán)境中效果更明顯。

Golang中也實現(xiàn)了內(nèi)存分配器，原理與tcmalloc類似，簡單的說就是維護一塊大的全局內(nèi)存，每個線程(Golang中為P)維護一塊小的私有內(nèi)存，私有內(nèi)存不足再從全局申請。另外，內(nèi)存分配與GC（垃圾回收）關(guān)系密切，所以了解GC前有必要了解內(nèi)存分配的原理。

為了方便自主管理內(nèi)存，做法便是先向系統(tǒng)申請一塊內(nèi)存，然后將內(nèi)存切割成小塊，通過一定的內(nèi)存分配算法管理內(nèi)存。 以64位系統(tǒng)為例，Golang程序啟動時會向系統(tǒng)申請的內(nèi)存如下圖所示：

預(yù)申請的內(nèi)存劃分為spans、bitmap、arena三部分。其中arena即為所謂的堆區(qū)，應(yīng)用中需要的內(nèi)存從這里分配。其中spans和bitmap是為了管理arena區(qū)而存在的。

arena的大小為512G，為了方便管理把arena區(qū)域劃分成一個個的page，每個page為8KB,一共有512GB/8KB個頁；

spans區(qū)域存放span的指針，每個指針對應(yīng)一個page，所以span區(qū)域的大小為(512GB/8KB)乘以指針大小8byte = 512M

bitmap區(qū)域大小也是通過arena計算出來，不過主要用于GC。

span是用于管理arena頁的關(guān)鍵數(shù)據(jù)結(jié)構(gòu)，每個span中包含1個或多個連續(xù)頁，為了滿足小對象分配，span中的一頁會劃分更小的粒度，而對于大對象比如超過頁大小，則通過多頁實現(xiàn)。

根據(jù)對象大小，劃分了一系列class，每個class都代表一個固定大小的對象，以及每個span的大小。如下表所示：

上表中每列含義如下：

class： class ID，每個span結(jié)構(gòu)中都有一個class ID, 表示該span可處理的對象類型

bytes/obj：該class代表對象的字節(jié)數(shù)

bytes/span：每個span占用堆的字節(jié)數(shù)，也即頁數(shù)乘以頁大小

objects: 每個span可分配的對象個數(shù)，也即（bytes/spans）/（bytes/obj）waste

bytes: 每個span產(chǎn)生的內(nèi)存碎片，也即（bytes/spans）%（bytes/obj）上表可見最大的對象是32K大小，超過32K大小的由特殊的class表示，該class ID為0，每個class只包含一個對象。

span是內(nèi)存管理的基本單位,每個span用于管理特定的class對象, 跟據(jù)對象大小，span將一個或多個頁拆分成多個塊進行管理。src/runtime/mheap.go:mspan定義了其數(shù)據(jù)結(jié)構(gòu)：

以class 10為例，span和管理的內(nèi)存如下圖所示：

spanclass為10，參照class表可得出npages=1,nelems=56,elemsize為144。其中startAddr是在span初始化時就指定了某個頁的地址。allocBits指向一個位圖，每位代表一個塊是否被分配，本例中有兩個塊已經(jīng)被分配，其allocCount也為2。next和prev用于將多個span鏈接起來，這有利于管理多個span，接下來會進行說明。

有了管理內(nèi)存的基本單位span，還要有個數(shù)據(jù)結(jié)構(gòu)來管理span，這個數(shù)據(jù)結(jié)構(gòu)叫mcentral，各線程需要內(nèi)存時從mcentral管理的span中申請內(nèi)存，為了避免多線程申請內(nèi)存時不斷的加鎖，Golang為每個線程分配了span的緩存，這個緩存即是cache。src/runtime/mcache.go:mcache定義了cache的數(shù)據(jù)結(jié)構(gòu)

alloc為mspan的指針數(shù)組，數(shù)組大小為class總數(shù)的2倍。數(shù)組中每個元素代表了一種class類型的span列表，每種class類型都有兩組span列表，第一組列表中所表示的對象中包含了指針，第二組列表中所表示的對象不含有指針，這么做是為了提高GC掃描性能，對于不包含指針的span列表，沒必要去掃描。根據(jù)對象是否包含指針，將對象分為noscan和scan兩類，其中noscan代表沒有指針，而scan則代表有指針，需要GC進行掃描。mcache和span的對應(yīng)關(guān)系如下圖所示：

mchache在初始化時是沒有任何span的，在使用過程中會動態(tài)的從central中獲取并緩存下來，跟據(jù)使用情況，每種class的span個數(shù)也不相同。上圖所示，class 0的span數(shù)比class1的要多，說明本線程中分配的小對象要多一些。

cache作為線程的私有資源為單個線程服務(wù)，而central則是全局資源，為多個線程服務(wù)，當(dāng)某個線程內(nèi)存不足時會向central申請，當(dāng)某個線程釋放內(nèi)存時又會回收進central。src/runtime/mcentral.go:mcentral定義了central數(shù)據(jù)結(jié)構(gòu)：

lock: 線程間互斥鎖，防止多線程讀寫沖突

spanclass : 每個mcentral管理著一組有相同class的span列表

nonempty: 指還有內(nèi)存可用的span列表

empty: 指沒有內(nèi)存可用的span列表

nmalloc: 指累計分配的對象個數(shù)線程從central獲取span步驟如下：

將span歸還步驟如下：

從mcentral數(shù)據(jù)結(jié)構(gòu)可見，每個mcentral對象只管理特定的class規(guī)格的span。事實上每種class都會對應(yīng)一個mcentral,這個mcentral的集合存放于mheap數(shù)據(jù)結(jié)構(gòu)中。src/runtime/mheap.go:mheap定義了heap的數(shù)據(jù)結(jié)構(gòu)：

lock： 互斥鎖

spans: 指向spans區(qū)域，用于映射span和page的關(guān)系

bitmap：bitmap的起始地址

arena_start: arena區(qū)域首地址

arena_used: 當(dāng)前arena已使用區(qū)域的最大地址

central: 每種class對應(yīng)的兩個mcentral

從數(shù)據(jù)結(jié)構(gòu)可見，mheap管理著全部的內(nèi)存，事實上Golang就是通過一個mheap類型的全局變量進行內(nèi)存管理的。mheap內(nèi)存管理示意圖如下：

系統(tǒng)預(yù)分配的內(nèi)存分為spans、bitmap、arean三個區(qū)域，通過mheap管理起來。接下來看內(nèi)存分配過程。

針對待分配對象的大小不同有不同的分配邏輯：

(0, 16B) 且不包含指針的對象： Tiny分配

(0, 16B) 包含指針的對象：正常分配

[16B, 32KB] : 正常分配

(32KB, -) : 大對象分配其中Tiny分配和大對象分配都屬于內(nèi)存管理的優(yōu)化范疇，這里暫時僅關(guān)注一般的分配方法。

以申請size為n的內(nèi)存為例，分配步驟如下：

Golang內(nèi)存分配是個相當(dāng)復(fù)雜的過程，其中還摻雜了GC的處理，這里僅僅對其關(guān)鍵數(shù)據(jù)結(jié)構(gòu)進行了說明，了解其原理而又不至于深陷實現(xiàn)細節(jié)。1、Golang程序啟動時申請一大塊內(nèi)存并劃分成spans、bitmap、arena區(qū)域

2、arena區(qū)域按頁劃分成一個個小塊。

3、span管理一個或多個頁。

4、mcentral管理多個span供線程申請使用

5、mcache作為線程私有資源，資源來源于mcentral。

當(dāng)前名稱：go語言的內(nèi)存管理 go內(nèi)存分析
地址分享：http://muchs.cn/article46/hjddeg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站維護、動態(tài)網(wǎng)站、域名注冊、手機網(wǎng)站建設(shè)、網(wǎng)站營銷、品牌網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)