MFS分布式文件系統(tǒng)搭建與監(jiān)控詳解-創(chuàng)新互聯(lián)

MFS介紹

創(chuàng)新互聯(lián)專業(yè)為企業(yè)提供濠江網(wǎng)站建設(shè)、濠江做網(wǎng)站、濠江網(wǎng)站設(shè)計(jì)、濠江網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)與制作、濠江企業(yè)網(wǎng)站模板建站服務(wù)，十余年濠江做網(wǎng)站經(jīng)驗(yàn)，不只是建網(wǎng)站，更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。

官網(wǎng)地址：http://www.moosefs.com/

MooseFS是一個(gè)具有容錯(cuò)性的網(wǎng)絡(luò)分布式文件系統(tǒng)。

它把數(shù)據(jù)分散存放在多個(gè)物理服務(wù)器上，而呈現(xiàn)給用戶的則是一個(gè)統(tǒng)一的資源。通用文件系統(tǒng),不需要修改上層應(yīng)用就可以使用，通過(guò)附加新的計(jì)算機(jī)或者硬盤可以實(shí)現(xiàn)容量的動(dòng)態(tài)擴(kuò)展，體系架構(gòu)可伸縮性極強(qiáng)，刪除的文件可以根據(jù)配置的時(shí)間周期進(jìn)行保留（一個(gè)文件系統(tǒng)級(jí)別的回收站），高可靠（數(shù)據(jù)的多個(gè)拷貝被存儲(chǔ)在不同的計(jì)算機(jī)上），提供 web 監(jiān)控接口，提高隨機(jī)讀或?qū)懙男剩岣吆Ａ啃∥募淖x寫效率。但是mfs 把文件系統(tǒng)的結(jié)構(gòu)緩存到 master 的內(nèi)存中,文件越多,master 的內(nèi)存消耗越大,8g 對(duì)應(yīng) 2500w 的文件數(shù),2 億文件就得 64GB 內(nèi)存。支持特殊文件（塊和字符設(shè)備、管道以及套接字），符號(hào)連接和硬連接。

包括以下四種角色：

角色作用
管理服務(wù)器 managing server (master)負(fù)責(zé)各個(gè)數(shù)據(jù)存儲(chǔ)服務(wù)器的管理,文件讀寫調(diào)度,文件空間回收以及恢復(fù).多節(jié)點(diǎn)拷貝
元數(shù)據(jù)日志服務(wù)器 Metalogger server（Metalogger）負(fù)責(zé)備份 master 服務(wù)器的變化日志文件，文件類型為 changelog_ml.*.mfs，以便于在 master server 出問(wèn)題的時(shí)候接替其進(jìn)行工作
數(shù)據(jù)存儲(chǔ)服務(wù)器 data servers (chunk servers )聽(tīng)從管理服務(wù)器調(diào)度,提供存儲(chǔ)空間，并為客戶提供數(shù)據(jù)傳輸.。 真正存儲(chǔ)用戶數(shù)據(jù)的服務(wù)器。存儲(chǔ)文件時(shí)，首先把文件分成塊，然后這些塊在數(shù)據(jù)服務(wù)器 chunkserver之間復(fù) 制（復(fù)制份數(shù)可以手工指定，建議設(shè)置副本數(shù)為 3）。數(shù)據(jù)服務(wù)器可以是多個(gè)，并且數(shù)量越多，可使用的“磁盤空間”越大，可靠性也越高。
客戶機(jī)掛載使用 client computers掛載進(jìn)程 mfs 服務(wù)器共享出的存儲(chǔ)并使用。 通過(guò) fuse 內(nèi)核接口掛載進(jìn)程管理服務(wù)器上所管理的數(shù)據(jù)存儲(chǔ)服務(wù)器共享出的硬盤。 共享的文件系統(tǒng)的用法和 nfs 相似。 使用 MFS 文件系統(tǒng)來(lái)存儲(chǔ)和訪問(wèn)的主機(jī)稱為 MFS 的客戶端，成功掛接 MFS 文件系統(tǒng)以后，就可以像以前使用 NFS 一樣共享這個(gè)虛擬性的存儲(chǔ)了。

實(shí)驗(yàn)環(huán)境介紹

基本環(huán)境表

主機(jī)操作系統(tǒng)IP地址主要軟件
Master ServerCentos7.3192.168.137.10moosefs.x86_64.0.3.0.101-1
Metalogger ServerCentos7.3192.168.137.11moosefs.x86_64.0.3.0.101-1
Chunk server1Centos7.3192.168.137.12moosefs.x86_64.0.3.0.101-1
Chunk server2Centos7.3192.168.137.13moosefs.x86_64.0.3.0.101-1
ClientCentos7.3192.168.137.14moosefs.x86_64.0.3.0.101-1

拓?fù)鋱D

MFS分布式文件系統(tǒng)搭建與監(jiān)控詳解

操作步驟

  • 五臺(tái)虛擬機(jī)模擬搭建MFS文件系統(tǒng)

  • 關(guān)閉防火墻及selinux

    systemctl stop firewalld
    setenforce 0

    搭建Master Server

    安裝軟件

    curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加鍵值
    curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加適當(dāng)?shù)膸?kù)條目
    yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli –y

    配置文件解釋

    cd /etc/mfs/

    -rw-r--r--. 1 root root 4057 9月 27 15:18 mfsexports.cfg        //輸出目錄配置文件
    -rw-r--r--. 1 root root 4057 7月 20 19:16 mfsexports.cfg.sample
    -rw-r--r--. 1 root root 9015 9月 27 15:18 mfsmaster.cfg        //Master配置文件
    -rw-r--r--. 1 root root 9015 7月 20 19:16 mfsmaster.cfg.sample
    -rw-r--r--. 1 root root 1052 9月 27 15:18 mfstopology.cfg     //元數(shù)據(jù)日志
    -rw-r--r--. 1 root root 1052 7月 20 19:16 mfstopology.cfg.sample

    啟動(dòng)服務(wù)

    systemctl start moosefs-master
    systemctl enable moosefs-master
    netstat -ntap | grep mfs

    tcp       0     0 0.0.0.0:9419           0.0.0.0:*               LISTEN     6217/mfsmaster     
    tcp       0     0 0.0.0.0:9420            0.0.0.0:*              LISTEN     6217/mfsmaster     
    tcp       0     0 0.0.0.0:9421           0.0.0.0:*              LISTEN     6217/mfsmaster

    搭建MetalLogger Server

    安裝

    curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加鍵值
    curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加適當(dāng)?shù)膸?kù)條目
    yum install moosefs-metalogger –y

    修改配置文件

    vim /etc/mfs/mfsmetalogger.cfg

    MASTER_HOST = 192.168.137.10          //第52行，去除注釋，改地址指向主服務(wù)器。

    啟動(dòng)服務(wù)

    systemctl start moosefs-metalogger
    systemctl enable moosefs-metalogger
    netstat -ntap | grep mfs

    tcp       0     0 192.168.137.11:36766   192.168.137.10:9419     ESTABLISHED 73521/mfsmetalogger

    搭建Chunk Server

    這兩臺(tái)Chunk Server的搭建步驟是完全相同

    安裝

    curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加鍵值
    curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加適當(dāng)?shù)膸?kù)條目
    yum install moosefs-chunkserver –y

    修改配置文件

    修改一

    vim /etc/mfs/mfschunkserver.cfg

    MASTER_HOST = 192.168.137.10    //第77行，將地址指向主服務(wù)器

    修改二

    vim /etc/mfs/mfshdd.cfg
    /gongxiang            //在末行添加共享目錄

    mkdir /gongxiang     //創(chuàng)建共享目錄

    chown -R mfs:mfs /gongxiang   //為共享目錄授權(quán)

    啟動(dòng)服務(wù)

    systemctl start moosefs-chunkserver
    systemctl enable moosefs-chunkserver
    netstat -ntap | grep mfs

    tcp       0     0 0.0.0.0:9422           0.0.0.0:*               LISTEN     71921/mfschunkserve
    tcp       0     0 192.168.137.13:59006    192.168.137.10:9420    ESTABLISHED 71921/mfschunkserve

    Client的搭建

    安裝

    curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加鍵值
    curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加適當(dāng)?shù)膸?kù)條目
    yum install moosefs-client –y

    加載fuse模塊至內(nèi)核

    modprobe fuse

    掛載共享目錄

    mkdir /opt/mfs   //創(chuàng)建掛載點(diǎn)
    mfsmount /opt/mfs/ -H 192.168.137.10  //掛載，地址為master地址

    df –h

    文件系統(tǒng)            容量 已用 可用 已用% 掛載點(diǎn)
    /dev/sda6            21G 4.1G   17G  20% /
    devtmpfs            896M    0 896M   0% /dev
    tmpfs               911M    0 911M   0% /dev/shm
    tmpfs               911M  11M 900M   2% /run
    tmpfs               911M    0 911M   0% /sys/fs/cgroup
    /dev/sda2           9.8G  33M 9.8G   1% /opt
    /dev/sda3           4.9G  89M 4.8G   2% /home
    /dev/sda1           1014M 165M 850M  17% /boot
    tmpfs               183M  64K 183M   1% /run/user/1000
    tmpfs               183M    0 183M   0% /run/user/0
    192.168.137.10:9421  58G 8.1G  50G  14% /opt/mfs

  • MFS監(jiān)控

  • 主服務(wù)器上開(kāi)啟監(jiān)控

  • mfscgiserv
    lockfile created and locked
    starting simple cgi server (host: any , port: 9425 , rootpath: /usr/share/mfscgi)

    訪問(wèn)192.168.137.10：9425     主機(jī)地址

    填寫主服務(wù)器地址

    MFS分布式文件系統(tǒng)搭建與監(jiān)控詳解
    界面

    MFS分布式文件系統(tǒng)搭建與監(jiān)控詳解MFS分布式文件系統(tǒng)搭建與監(jiān)控詳解

    MFS分布式文件系統(tǒng)搭建與監(jiān)控詳解

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

網(wǎng)站欄目：MFS分布式文件系統(tǒng)搭建與監(jiān)控詳解-創(chuàng)新互聯(lián)
轉(zhuǎn)載注明：http://muchs.cn/article30/dshgpo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站排名、小程序開(kāi)發(fā)、自適應(yīng)網(wǎng)站、軟件開(kāi)發(fā)、網(wǎng)站營(yíng)銷、網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)

搜索引擎優(yōu)化