在CentOS7上部署MFS分布式文件系統(tǒng)-創(chuàng)新互聯(lián)

MFS原理

MFS是一個具有容錯性的網(wǎng)絡(luò)分布式文件系統(tǒng)，它把數(shù)據(jù)分散存放在多個物理服務(wù)器上，而呈現(xiàn)給用戶的則是一個統(tǒng)一的資源。

專業(yè)從事成都網(wǎng)站建設(shè)、成都網(wǎng)站制作,高端網(wǎng)站制作設(shè)計,小程序制作,網(wǎng)站推廣的成都做網(wǎng)站的公司。優(yōu)秀技術(shù)團隊竭力真誠服務(wù)，采用H5網(wǎng)站設(shè)計+CSS3前端渲染技術(shù)，響應(yīng)式網(wǎng)站建設(shè)，讓網(wǎng)站在手機、平板、PC、微信下都能呈現(xiàn)。建站過程建立專項小組，與您實時在線互動，隨時提供解決方案，暢聊想法和感受。

1）MFS文件系統(tǒng)的組成

MFS文件系統(tǒng)的組成架構(gòu)如圖所示。

• 元數(shù)據(jù)服務(wù)器（Master）：在整個體系中負責管理文件系統(tǒng)，維護元數(shù)據(jù)。
• 元數(shù)據(jù)日志服務(wù)器（MetaLogger）：備份Master服務(wù)器的變化日志文件，文件類型為changelog_ml.*.mfs。當Master服務(wù)器數(shù)據(jù)丟失或者損壞時，可以從日志服務(wù)器中取得文件，進行恢復。
• 數(shù)據(jù)存儲服務(wù)器（Chunk Server）：真正存儲數(shù)據(jù)的服務(wù)器。存儲文件時，會把文件分塊保存，并在數(shù)據(jù)服務(wù)器之間進行復制。數(shù)據(jù)服務(wù)器越多，能使用的“容量”就越大，可靠性就越高，性能也就越好。
• 客戶端（Client）：可以像掛載NFS一樣掛載MFS文件系統(tǒng)，其操作是相同的。
  

  2）MFS讀取數(shù)據(jù)的處理過程。

• 客戶端向元數(shù)據(jù)服務(wù)器發(fā)出讀請求。
• 元數(shù)據(jù)服務(wù)器把所需數(shù)據(jù)存放的位置（Chunk Server的IP地址和Chunk編號）告知客戶端。

• 客戶端向已知的Chunk Server請求發(fā)送數(shù)據(jù)。

• Chunk Server向客戶端發(fā)送數(shù)據(jù)。

  3）MFS寫入數(shù)據(jù)的處理過程。

• 客戶端向元數(shù)據(jù)服務(wù)器發(fā)送寫入請求。
• 元數(shù)據(jù)服務(wù)器與Chunk Server進行交互（只有當所需的分塊Chunks存在的時候才進行這個交互），但元數(shù)據(jù)服務(wù)器只在某些服務(wù)器創(chuàng)建新的分塊Chunks，創(chuàng)建成功后由Chunk Servers告知元數(shù)據(jù)服務(wù)器操作成功。
• 元數(shù)據(jù)服務(wù)器告知客戶端，可以在哪個Chunk Server的哪些Chunks寫入數(shù)據(jù)。
• 客戶端向指定的Chunks Server寫入數(shù)據(jù)。
• 該Chunk Server與其他Chunk Server進行數(shù)據(jù)同步，同步成功后Chunk Server告知客戶端數(shù)據(jù)寫入成功。
• 客戶端告知元數(shù)據(jù)服務(wù)器本次寫入完畢。

實驗環(huán)境

主機	IP地址	主要軟件
Master Server	192.168.58.10	mfs-1.6.27-5.tar.gz
MetaLogger Server	192.168.58.11	mfs-1.6.27-5.tar.gz
Chunk Server1	192.168.58.12	mfs-1.6.27-5.tar.gz
Chunk Server2	192.168.58.13	mfs-1.6.27-5.tar.gz
Client	192.168.58.14	mfs-1.6.27-5.tar.gz fuse-2.9.2.tar.gz

1.搭建Master Server

systemctl stop firewalld.service        //關(guān)閉防火墻及增強安全功能
systemctl disable firewalld.service
setenforce 0
yum install -y zlib-devel gcc gcc-c++   //安裝軟件包

useradd -s /sbin/nologin -M mfs     //創(chuàng)建用戶

mkdir /abc      //創(chuàng)建壓縮目錄
mount.cifs //192.168.58.22/share /abc           //掛載
cd /abc
tar zxvf mfs-1.6.27-5.tar.gz -C /opt        //解壓軟件包

cd /opt/mfs-1.6.27              //安裝軟件包
./configure \
--prefix=/usr/local/mfs \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfschunkserver \
--disable-mfsmount

make && make install 

cd /usr/local/mfs/etc/mfs       //復制配置文件
cp mfsmaster.cfg.dist mfsmaster.cfg
cp mfsexports.cfg.dist mfsexports.cfg
cp mfstopology.cfg.dist mfstopology.cfg

cd /usr/local/mfs/var/mfs
cp metadata.mfs.empty metadata.mfs

/usr/local/mfs/sbin/mfsmaster start         //啟動Master Server
ps -ef | grep mfs       //檢查是否啟動

/usr/local/mfs/sbin/mfsmaster -s //停止命令（選擇性使用）

2.搭建MetaLogger Server

systemctl stop firewalld.service        //關(guān)閉防火墻及增強安全功能
systemctl disable firewalld.service
setenforce 0
yum install -y zlib-devel gcc gcc-c++   //安裝軟件包

useradd -s /sbin/nologin -M mfs     //創(chuàng)建用戶

mkdir /abc      //創(chuàng)建壓縮目錄
mount.cifs //192.168.58.22/share /abc           //掛載
cd /abc
tar zxvf mfs-1.6.27-5.tar.gz -C /opt        //解壓軟件包

cd /opt/mfs-1.6.27              //安裝軟件包
./configure \
--prefix=/usr/local/mfs \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfschunkserver \
--disable-mfsmount

make && make install

cd /usr/local/mfs/etc/mfs
cp mfsmetalogger.cfg.dist mfsmetalogger.cfg

vi mfsmetalogger.cfg
...
MASTER_HOST = 192.168.58.10         //修改為Master Server的IP地址
...

/usr/local/mfs/sbin/mfsmetalogger start
ps -ef | grep mfs

/usr/local/mfs/sbin/mfsmetalogger -s        //停止MetaLogger Server(選擇性使用)

3.搭建Chunk Server1、Chunk Server2

systemctl stop firewalld.service        //關(guān)閉防火墻及增強安全功能
systemctl disable firewalld.service
setenforce 0
yum install -y zlib-devel gcc gcc-c++   //安裝軟件包

useradd -s /sbin/nologin -M mfs     //創(chuàng)建用戶

mkdir /abc      //創(chuàng)建壓縮目錄
mount.cifs //192.168.58.22/share /abc           //掛載
cd /abc
tar zxvf mfs-1.6.27-5.tar.gz -C /opt        //解壓軟件包

cd /opt/mfs-1.6.27              //安裝軟件包
./configure \
--prefix=/usr/local/mfs \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfsmaster \               //注意這里與前面的區(qū)別
--disable-mfsmount

make && make install

cd /usr/local/mfs/etc/mfs
cp mfschunkserver.cfg.dist mfschunkserver.cfg
cp mfshdd.cfg.dsit mfshdd.cfg

vi mfschunkserver.cfg
...
MASTER_HOST = 192.168.58.10    //修改為Master Server的IP地址
...

vi mfshdd.cfg
/data       //末尾添加一行，這里的/data是一個給MFS的分區(qū)

mkdir /data                     /創(chuàng)建相應(yīng)/data目錄
chown -R mfs:mfs /data          //修改屬主屬組

/usr/local/mfs/sbin/mfschunkserver start     //啟動Chunk Server
/usr/local/mfs/sbin/mfschunkserver -s       //關(guān)閉Chunk Server （選擇性使用）

4.客戶端配置

systemctl stop firewalld.service        //關(guān)閉防火墻及增強安全功能
systemctl disable firewalld.service
setenforce 0
yum install -y zlib-devel gcc gcc-c++   //安裝軟件包

4.1安裝FUSE

tar xzvf fuse-2.9.2.tar.gz -C /opt      //先掛載好，然后到目錄下解壓
cd /opt/fuse-2.9.2  

./configure
make && make install

vi /etc/profile
export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH    //添加到末尾
source /etc/profile

4.2安裝MFS客戶端

useradd -s /sbin/nologin -M mfs
cd /abc
tar zxvf mfs -C /opt

cd /opt/mfs
./configure \
--prefix=/usr/local/mfs \
--with-default-user=mfs \
--with-default-group=mfs \
--disable-mfschunkserver \
--disable-mfsmaster \
--disable-mfschunkserver \
--enable-mfsmount                   //開啟MFS掛載功能

make && make install

mkdir /opt/mfs              //創(chuàng)建掛載點
modprobe fuse          //加載fuse模塊到內(nèi)核
/usr/local/mfs/bin/mfsmount /opt/mfs -H 192.168.58.10
df -hT          //查看掛載情況

vi /etc/profile                     //優(yōu)化客戶端
export PATH=/usr/local/mfs/bin:$PATH            //添加/usr/local/mfs/bin至環(huán)境變量
source /etc/profile

5.MFS監(jiān)控

Mfscgiserv是用python編寫的一個Web服務(wù)器，其監(jiān)聽端口是9425，可以在Master Server上通過命令/usr/local/mfs/sbin/mfscgiserv來啟動，用戶利用瀏覽器就可以全面監(jiān)控所有客戶掛載、Chunk Server、Master Server，以及客戶端的各種操作等。
客戶端上通過瀏覽器訪問http://192.168.58.10:9425

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

當前文章：在CentOS7上部署MFS分布式文件系統(tǒng)-創(chuàng)新互聯(lián)
網(wǎng)站地址：http://muchs.cn/article18/djjgdp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站內(nèi)鏈、網(wǎng)站設(shè)計、網(wǎng)站策劃、動態(tài)網(wǎng)站、軟件開發(fā)、網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)