Sersync+Rsync實現(xiàn)觸發(fā)式文件同步實戰(zhàn)過程

背景

創(chuàng)新互聯(lián)堅持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：網(wǎng)站設(shè)計、成都做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時代的延長網(wǎng)站設(shè)計、移動媒體設(shè)計的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

通常我們在服務(wù)器上使用rsync加上crontab來定時地完成一些同步、備份文件的任務(wù)。隨著業(yè)務(wù)和應(yīng)用需求的不斷擴大、實時性要求越來越高。一般rsync是通過校驗所有文件后，進行差量同步，如果文件量十分龐大，那么rsync進行校驗的過程也是十分耗時的。而且正在發(fā)生變化的往往是其中很少的一部分，這是非常低效的方式。其次，rsync不能實時的去監(jiān)測、同步數(shù)據(jù)，雖然它可以通過crontab方式進行觸 發(fā)同步，但是兩次觸發(fā)動作一定會有時間差，這樣就導(dǎo)致了服務(wù)端和客戶端數(shù)據(jù)可能出現(xiàn)不一致，無法在應(yīng)用故障時完全的恢復(fù)數(shù)據(jù)。而Sersync+Rsync的組合能夠較好地解決這種問題。

Sersync介紹

1、sersync是使用c++編寫，而且對linux系統(tǒng)文 件系統(tǒng)產(chǎn)生的臨時文件和重復(fù)的文件操作進行過濾（詳細見附錄，這個過濾腳本程序沒有實現(xiàn)），所以在結(jié)合rsync同步的時候，節(jié)省了運行時耗和網(wǎng)絡(luò)資源。 因此更快。

2、sersync配置起來很簡單，其中bin目錄下已經(jīng)有基本上靜態(tài)編譯的2進制文件，配合bin目錄下的xml配置文件直接使用即可。

3、另外本項目相比較其他腳本開源項目，使用多線程進行同步，尤其在同步較大文件時，能夠保證多個服務(wù)器實時保持同步狀 態(tài)。

4、本項目有出錯處理機制，通過失敗隊列對出錯的文件重新同步，如果仍舊失敗，則每10個小時對同步失敗的文件重新同步。

5、本項目自帶crontab功能，只需在xml配置文件中開啟，即可按您的要求，隔一段時間整體同步一次。無需再額外配置crontab功能。

6、本項目socket與http插件擴展，滿足您二次開發(fā)的需要。

實戰(zhàn)過程

一、服務(wù)器環(huán)境

服務(wù)端：172.16.57.26 centos6.7 rsync-server 接收文件

客戶端：172.16.57.25 centos6.7 sersync+rsync-client 發(fā)送文件

二、服務(wù)端安裝rsync-server

1、安裝rsync

# rpm -qa | grep rsync #查看rsync是否已經(jīng)安裝，如果沒有安裝，yum install直接安裝即可

2、使用xinetd方式啟動rsync

# vim /etc/xinetd.d/rsync #修改disable = no，flags = IPv4

3、修改rsync配置文件

# mkdir /etc/rsyncd
# vim /etc/rsyncd/rsyncd.conf #修改配置文件如下
# GLOBAL OPTIONS
motd file=/etc/motd
port=873
pid file=/var/run/rsyncd.pid
lock file = /var/lock/rsyncd
log file=/var/log/rsyncd
transfer logging = yes
log format = [op]:%o [ip]:%a [module]:%m [path]:%P [file]:%f [size]:%l
syslog facility=daemon
max connections=100
[recv]
comment = "recv data from 57.25"
path = /opt/rsync_data/recv #這邊的目錄的宿主要改為apprun，在這里同步過程中使用的是普通賬戶apprun
list = yes
use chroot = yes
uid = apprun
gid = apprun
read only = no
write only = no
exclude =
include =
auth users = rsync
secrets file = /etc/rsyncd/rsyncd.secrets
strict modes = yes
hosts allow = 172.16.57.25
hosts deny = *
# ln -s /etc/rsyncd/rsyncd.conf /etc/rsyncd.conf

4、建立用戶認證文件

# vim /etc/rsyncd/rsyncd.secrets
rsync:111111   #格式  用戶名:口令
#chmod 600 /etc/rsyncd/rsyncd.secrets #權(quán)限設(shè)為600，否則啟動會報錯

5、啟動rsync

# /etc/init.d/xinetd start
# netstat -tpln | grep 873 #查看873端口是否已經(jīng)在監(jiān)聽了

三、客戶端安裝sersync+rsync-client

1、安裝rsync，和服務(wù)端一樣，沒有安裝的話yum install安裝

2、安裝sersync

# tar xzvf sersync2.5_64bit_binary_stable_final.tar.gz
# mv GNU-Linux-x86 /opt/programs/sersync #解壓并拷貝到安裝目錄

3、配置sersync

<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
  <host hostip="localhost" port="8008"></host>
  <debug start="false"/>
  <fileSystem xfs="false"/>
  <filter start="false">
  <exclude expression="(.*)\.svn"></exclude>
  <exclude expression="(.*)\.gz"></exclude>
  <exclude expression="^info/*"></exclude>
  <exclude expression="^static/*"></exclude>
  </filter>
  <inotify>
  <delete start="true"/>
  <createFolder start="true"/>
  <createFile start="true"/>
  <closeWrite start="true"/>
  <moveFrom start="true"/>
  <moveTo start="true"/>
  <attrib start="true"/>
  <modify start="true"/>
  </inotify>
  <sersync>
  <localpath watch="/opt/rsync_data/send"> #監(jiān)控目錄，一旦本地目錄有文件變化，將同步到服務(wù)端
    <remote ip="172.16.57.26" name="recv"/>#服務(wù)端ip和同步模塊
  </localpath>
  <rsync>
    <commonParams params="-artuz"/> #rsync同步參數(shù)
    <auth start="true" users="rsync" passwordfile="/etc/rsync.pas"/>?。７?wù)端認證密碼
    <userDefinedPort start="false" port="873"/>
    <timeout start="false" time="100"/><!-- timeout=100 -->
    <ssh start="false"/>
  </rsync>
  <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
  <crontab start="false" schedule="600"><!--600mins-->
    <crontabfilter start="false">
    <exclude expression="*.php"></exclude>
    <exclude expression="info/*"></exclude>
    </crontabfilter>
  </crontab>
  <plugin start="false" name="command"/>
  </sersync>
</head>

4、服務(wù)端密碼認證

# vim /etc/rsync.pas #在相應(yīng)的目錄下配置身份驗證文件，里面輸入服務(wù)端的密碼，并chmod 600
# chmod 600 /etc/rsync.pas

5、啟動sersync

# ./sersync2 -d -o confxml.xml

四、測試認證

在客戶端下監(jiān)控目錄/opt/rsync_data/send下添加文件或者刪除，服務(wù)端的接受目錄都會實時地進行更新。

在此例中，服務(wù)器iptables和selinux均處于關(guān)閉狀態(tài)。

note: 這種方法同步文件的時候，同步文件的數(shù)量如果很多，可能會有部分文件在同步過程中缺失。查閱相關(guān)資料后，找到了如下的解決方案。由于本例中，使用的是xinetd方式啟動的rsync服務(wù)，在xinetd的配置文件中，修改幾個參數(shù)如下：

# vim /etc/xinetd.conf

修改幾個參數(shù)：

 cps       = 500 30
 instances    = UNLIMITED
 per_source   = UNLIMITED

總結(jié)

以上所述是小編給大家介紹的Sersync+Rsync實現(xiàn)觸發(fā)式文件同步，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復(fù)大家的。在此也非常感謝大家對創(chuàng)新互聯(lián)網(wǎng)站的支持！

網(wǎng)頁題目：Sersync+Rsync實現(xiàn)觸發(fā)式文件同步實戰(zhàn)過程
新聞來源：http://muchs.cn/article26/pcoojg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站建設(shè)、網(wǎng)站策劃、營銷型網(wǎng)站建設(shè)、虛擬主機、企業(yè)網(wǎng)站制作、定制開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)

小程序開發(fā)