GlusterFS存儲(chǔ)結(jié)構(gòu)原理介紹-創(chuàng)新互聯(lián)

一、分布式文件系統(tǒng)

成都網(wǎng)絡(luò)公司-成都網(wǎng)站建設(shè)公司成都創(chuàng)新互聯(lián)公司10余年經(jīng)驗(yàn)成就非凡，專(zhuān)業(yè)從事成都網(wǎng)站設(shè)計(jì)、網(wǎng)站制作，成都網(wǎng)頁(yè)設(shè)計(jì)，成都網(wǎng)頁(yè)制作，軟文營(yíng)銷(xiāo)，廣告投放等。10余年來(lái)已成功提供全面的成都網(wǎng)站建設(shè)方案，打造行業(yè)特色的成都網(wǎng)站建設(shè)案例，建站熱線(xiàn)：18980820575，我們期待您的來(lái)電！

  分布式文件系統(tǒng)（Distributed File System）是指文件系統(tǒng)管理的物理存儲(chǔ)資源并不直接與本地節(jié)點(diǎn)相連，而是分布于計(jì)算網(wǎng)絡(luò)中的一個(gè)或者多個(gè)節(jié)點(diǎn)的計(jì)算機(jī)上。目前意義上的分布式文件系統(tǒng)大多都是由多個(gè)節(jié)點(diǎn)計(jì)算機(jī)構(gòu)成，結(jié)構(gòu)上是典型的客戶(hù)機(jī)/服務(wù)器模式。流行的模式是當(dāng)客戶(hù)機(jī)需要存儲(chǔ)數(shù)據(jù)時(shí)，服務(wù)器指引其將數(shù)據(jù)分散的存儲(chǔ)到多個(gè)存儲(chǔ)節(jié)點(diǎn)上，以提供更快的速度，更大的容量及更好的冗余特性。

  目前流行的分布式文件系統(tǒng)有許多，如MooseFS、OpenAFS、GoogleFS，具體實(shí)現(xiàn)原理我這里不再介紹。

二、GlusterFS概述

  GlusterFS系統(tǒng)是一個(gè)可擴(kuò)展的網(wǎng)絡(luò)文件系統(tǒng)，相比其他分布式文件系統(tǒng)，GlusterFS具有高擴(kuò)展性、高可用性、高性能、可橫向擴(kuò)展等特點(diǎn)，并且其沒(méi)有元數(shù)據(jù)服務(wù)器的設(shè)計(jì)，讓整個(gè)服務(wù)沒(méi)有單點(diǎn)故障的隱患。

術(shù)語(yǔ)：

• Brick:GFS中的存儲(chǔ)單元，通過(guò)是一個(gè)受信存儲(chǔ)池中的服務(wù)器的一個(gè)導(dǎo)出目錄?？梢酝ㄟ^(guò)主機(jī)名和目錄名來(lái)標(biāo)識(shí)，如'SERVER:EXPORT'

• Client:掛載了GFS卷的設(shè)備

• Extended Attributes:xattr是一個(gè)文件系統(tǒng)的特性，其支持用戶(hù)或程序關(guān)聯(lián)文件/目錄和元數(shù)據(jù)。

• FUSE:Filesystem Userspace是一個(gè)可加載的內(nèi)核模塊，其支持非特權(quán)用戶(hù)創(chuàng)建自己的文件系統(tǒng)而不需要修改內(nèi)核代碼。通過(guò)在用戶(hù)空間運(yùn)行文件系統(tǒng)的代碼通過(guò)FUSE代碼與內(nèi)核進(jìn)行橋接。

• Geo-Replication

• GFID:GFS卷中的每個(gè)文件或目錄都有一個(gè)唯一的128位的數(shù)據(jù)相關(guān)聯(lián)，其用于模擬inode

• Namespace:每個(gè)Gluster卷都導(dǎo)出單個(gè)ns作為POSIX的掛載點(diǎn)

• Node:一個(gè)擁有若干brick的設(shè)備

• RDMA:遠(yuǎn)程直接內(nèi)存訪(fǎng)問(wèn)，支持不通過(guò)雙方的OS進(jìn)行直接內(nèi)存訪(fǎng)問(wèn)。

• RRDNS:round robin DNS是一種通過(guò)DNS輪轉(zhuǎn)返回不同的設(shè)備以進(jìn)行負(fù)載均衡的方法

• Self-heal:用于后臺(tái)運(yùn)行檢測(cè)復(fù)本卷中文件和目錄的不一致性并解決這些不一致。

• Split-brain:腦裂

• Translator:

• Volfile:glusterfs進(jìn)程的配置文件，通常位于/var/lib/glusterd/vols/volname

• Volume:一組bricks的邏輯集合

1、無(wú)元數(shù)據(jù)設(shè)計(jì)

  元數(shù)據(jù)是用來(lái)描述一個(gè)文件或給定區(qū)塊在分布式文件系統(tǒng)中所在的位置，簡(jiǎn)而言之就是某個(gè)文件或某個(gè)區(qū)塊存儲(chǔ)的位置。傳統(tǒng)分布式文件系統(tǒng)大都會(huì)設(shè)置元數(shù)據(jù)服務(wù)器或者功能相近的管理服務(wù)器，主要作用就是用來(lái)管理文件與數(shù)據(jù)區(qū)塊之間的存儲(chǔ)位置關(guān)系。相較其他分布式文件系統(tǒng)而言，GlusterFS并沒(méi)有集中或者分布式的元數(shù)據(jù)的概念，取而代之的是彈性哈希算法。集群中的任何服務(wù)器和客戶(hù)端都可以利用哈希算法、路徑及文件名進(jìn)行計(jì)算，就可以對(duì)數(shù)據(jù)進(jìn)行定位，并執(zhí)行讀寫(xiě)訪(fǎng)問(wèn)操作。

  這種設(shè)計(jì)帶來(lái)的好處是極大的提高了擴(kuò)展性，同時(shí)也提高了系統(tǒng)的性能和可靠性；另一顯著的特點(diǎn)是如果給定確定的文件名，查找文件位置會(huì)非?？?。但是如果要列出文件或者目錄，性能會(huì)大幅下降，因?yàn)榱谐鑫募蛘吣夸洉r(shí)，需要查詢(xún)所在節(jié)點(diǎn)并對(duì)各節(jié)點(diǎn)中的信息進(jìn)行聚合。此時(shí)有元數(shù)據(jù)服務(wù)的分布式文件系統(tǒng)的查詢(xún)效率反而會(huì)提高許多。

2、服務(wù)器間的部署

  在之前的版本中服務(wù)器間的關(guān)系是對(duì)等的，也就是說(shuō)每個(gè)節(jié)點(diǎn)服務(wù)器都掌握了集群的配置信息，這樣做的好處是每個(gè)節(jié)點(diǎn)度擁有節(jié)點(diǎn)的配置信息，高度自治，所有信息都可以在本地查詢(xún)。每個(gè)節(jié)點(diǎn)的信息更新都會(huì)向其他節(jié)點(diǎn)通告，保證節(jié)點(diǎn)間信息的一致性。但如果集群規(guī)模較大，節(jié)點(diǎn)眾多時(shí)，信息同步的效率就會(huì)下降，節(jié)點(diǎn)信息的非一致性概率就會(huì)大大提高。因此GlusterFS未來(lái)的版本有向集中式管理變化的趨勢(shì)。

3、客戶(hù)端訪(fǎng)問(wèn)流程

  當(dāng)客戶(hù)端訪(fǎng)問(wèn)GlusterFS存儲(chǔ)時(shí)，首先程序通過(guò)訪(fǎng)問(wèn)掛載點(diǎn)的形式讀寫(xiě)數(shù)據(jù)，對(duì)于用戶(hù)和程序而言，集群文件系統(tǒng)是透明的，用戶(hù)和程序根本感覺(jué)不到文件系統(tǒng)是本地還是在遠(yuǎn)程服務(wù)器上。讀寫(xiě)操作將會(huì)被交給VFS(Virtual File System)來(lái)處理，VFS會(huì)將請(qǐng)求交給FUSE內(nèi)核模塊，而FUSE又會(huì)通過(guò)設(shè)備/dev/fuse將數(shù)據(jù)交給GlusterFS Client。最后經(jīng)過(guò)GlusterFS Client的計(jì)算，并最終經(jīng)過(guò)網(wǎng)絡(luò)將請(qǐng)求或數(shù)據(jù)發(fā)送到GlusterFS Server上。

三、GlusterFS集群的模式

   GlusterFS 集群的模式只數(shù)據(jù)在集群中的存放結(jié)構(gòu)，類(lèi)似于磁盤(pán)陣列中的級(jí)別。

1、分布式卷（Distributed Volume）

  又稱(chēng)哈希卷，近似于RAID0，文件沒(méi)有分片，文件根據(jù)hash算法寫(xiě)入各個(gè)節(jié)點(diǎn)的硬盤(pán)上，優(yōu)點(diǎn)是容量大，缺點(diǎn)是沒(méi)冗余。

  創(chuàng)建卷指令如下：

gluster volume create test-volume server1:/exp1 server2:/exp2 server3:/exp3 server4:/exp4

2、復(fù)制卷（Replicated Volume）

  相當(dāng)于raid1，復(fù)制的份數(shù)，決定集群的大小，通常與分布式卷或者條帶卷組合使用，解決前兩種存儲(chǔ)卷的冗余缺陷。缺點(diǎn)是磁盤(pán)利用率低。

  復(fù)本卷在創(chuàng)建時(shí)可指定復(fù)本的數(shù)量，通常為2或者3，復(fù)本在存儲(chǔ)時(shí)會(huì)在卷的不同brick上，因此有幾個(gè)復(fù)本就必須提供至少多個(gè)brick，當(dāng)其中一臺(tái)服務(wù)器失效后，可以從另一臺(tái)服務(wù)器讀取數(shù)據(jù)，因此復(fù)制GlusterFS卷提高了數(shù)據(jù)可靠性的同事，還提供了數(shù)據(jù)冗余的功能。

  創(chuàng)建卷指令如下：

gluster volume create test-volume replica 2 transport tcp server1:/exp1 server2:/exp2

3、分布式復(fù)制卷（Distributed ReplicatedVolume）

  分布式復(fù)制GlusterFS卷結(jié)合了分布式和復(fù)制Gluster卷的特點(diǎn)，看起來(lái)類(lèi)似RAID10，但其實(shí)不同，RAID10其實(shí)質(zhì)是條帶化，但分布式復(fù)制GlusterFS卷則沒(méi)有。

  創(chuàng)建卷指令如下：

gluster volume create test-volume replica 2 transport tcp server1:/exp1 server2:/exp2 server3:/exp3 server4:/exp4

4、條帶卷（Striped Volume）

  相當(dāng)于raid0，文件是分片均勻?qū)懺诟鱾€(gè)節(jié)點(diǎn)的硬盤(pán)上的，優(yōu)點(diǎn)是分布式讀寫(xiě)，性能整體較好。缺點(diǎn)是沒(méi)冗余，分片隨機(jī)讀寫(xiě)可能會(huì)導(dǎo)致硬盤(pán)IOPS飽和。

  創(chuàng)建卷指令如下：

gluster volume create test-volume stripe 2 transport tcp server1:/exp1 server2:/exp2

5、分布式條帶卷（Distributed Striped Volume）

  當(dāng)單個(gè)文件的體型十分巨大，客戶(hù)端數(shù)量更多時(shí)，條帶卷已經(jīng)無(wú)法滿(mǎn)足需求，此時(shí)將分布式與條帶化結(jié)合起來(lái)是一個(gè)比較好的選擇。其性能與服務(wù)器數(shù)量有關(guān)。

  創(chuàng)建卷指令如下：

gluster volume create test-volume stripe 4 transport tcp server1:/exp1 server2:/exp2 server3:/exp3 server4:/exp4 server5:/exp5 server6:/exp6 server7:/exp7 server8:/exp8

參考文檔：http://gluster.readthedocs.io/en/latest/Quick-Start-Guide/Architecture/

四、GlusterFS 的安裝與應(yīng)用，請(qǐng)點(diǎn)擊查看

http://wzlinux.blog.51cto.com/8021085/1949619

                

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線(xiàn)，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性?xún)r(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專(zhuān)為企業(yè)上云打造定制，能夠滿(mǎn)足用戶(hù)豐富、多元化的應(yīng)用場(chǎng)景需求。

網(wǎng)頁(yè)標(biāo)題：GlusterFS存儲(chǔ)結(jié)構(gòu)原理介紹-創(chuàng)新互聯(lián)
網(wǎng)站路徑：http://muchs.cn/article2/idgoc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號(hào)、網(wǎng)站制作、網(wǎng)站設(shè)計(jì)、搜索引擎優(yōu)化、定制開(kāi)發(fā)、網(wǎng)站設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)