Sersync數(shù)據(jù)同步
rsync是類unix系統(tǒng)下的數(shù)據(jù)鏡像備份工具——remote sync。一款快速增量備份工具Remote Sync,遠(yuǎn)程同步支持本地復(fù)制,或者與其他SSH、rsync主機(jī)同步。
它的特性如下:
v 可以鏡像保存整個(gè)目錄樹(shù)和文件系統(tǒng)。
v 可以很容易做到保持原來(lái)文件的權(quán)限、時(shí)間、軟硬鏈接等等。
v 無(wú)須特殊權(quán)限即可安裝。
v 快速:第一次同步時(shí) rsync 會(huì)復(fù)制全部?jī)?nèi)容,但在下一次只傳輸修改過(guò)的文件。rsync在傳輸數(shù)據(jù)的過(guò)程中可以實(shí)行壓縮及解壓縮操作,因此可以使用更少的帶寬。
v 安全:可以使用scp、ssh等方式來(lái)傳輸文件,當(dāng)然也可以通過(guò)直接的socket連接。
v 支持匿名傳輸,以方便進(jìn)行網(wǎng)站鏡象。
IP | 角色 | 安裝軟件 | 目錄 | 目的 |
192.168.91.166 | Rsync daemon 服務(wù)端 | rsync | /data | 將192.168.91.156 rsync客戶端上的/data下目錄實(shí)時(shí)推送到192.168.91.166 rsync服務(wù)器端/data下 |
192.168.91.156 | Rsync 客戶端 | serync | /data |
yum install -y rsync
rsync -avz -P 本地目錄 -e 'ssh -p 端口號(hào)' 遠(yuǎn)端用戶名@遠(yuǎn)端IP:遠(yuǎn)端路徑
root@template /tmp 16:33:07 # cat rsync.txt
我是rsync測(cè)試
root@template /tmp 16:34:02 # rsync -avzP /tmp/rsync.txt -e 'ssh -p 22' root@192.168.44.100:/tmp
The authenticity of host '192.168.44.100(192.168.44.100)' can't be established.
RSA key fingerprint is57:22:33:d6:43:40:31:84:88:19:5d:f5:fc:7d:4e:ce.
Are you sure you want to continue connecting(yes/no)? yes
Warning: Permanently added '192.168.44.100' (RSA) tothe list of known hosts.
reverse mapping checking getaddrinfo for bogon[192.168.44.100] failed - POSSIBLE BREAK-IN ATTEMPT!
root@192.168.44.100's password:
sending incremental file list
rsync.txt
18100% 0.00kB/s 0:00:00 (xfer#1, to-check=0/1)
sent 93 bytes received 31 bytes 13.05 bytes/sec
total size is 18 speedup is 0.15
詳細(xì)參數(shù):
-v, --verbose 詳細(xì)模式輸出
-q, --quiet 精簡(jiǎn)輸出模式
-c, --checksum 打開(kāi)校驗(yàn)開(kāi)關(guān),強(qiáng)制對(duì)文件傳輸進(jìn)行校驗(yàn)
-a, --archive 歸檔模式,表示以遞歸方式傳輸文件,并保持所有文件屬性,等于-rlptgoD
-r, --recursive 對(duì)子目錄以遞歸模式處理
-R, --relative 使用相對(duì)路徑信息
-b, --backup 創(chuàng)建備份,也就是對(duì)于目的已經(jīng)存在有同樣的文件名時(shí),將老的文件重新命名為~filename??梢允褂?-suffix選項(xiàng)來(lái)指定不同的備份文件前綴。
--backup-dir 將備份文件(如~filename)存放在在目錄下。
-suffix=SUFFIX 定義備份文件前綴
-u, --update 僅僅進(jìn)行更新,也就是跳過(guò)所有已經(jīng)存在于DST,并且文件時(shí)間晚于要備份的文件。(不覆蓋更新的文件)
-l, --links 保留軟鏈結(jié)
-L, --copy-links 想對(duì)待常規(guī)文件一樣處理軟鏈結(jié)
--copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹(shù)以外的鏈結(jié)
--safe-links 忽略指向SRC路徑目錄樹(shù)以外的鏈結(jié)
-H, --hard-links 保留硬鏈結(jié)
-p, --perms 保持文件權(quán)限
-o, --owner 保持文件屬主信息
-g, --group 保持文件屬組信息
-D, --devices 保持設(shè)備文件信息
-t, --times 保持文件時(shí)間信息
-S, --sparse 對(duì)稀疏文件進(jìn)行特殊處理以節(jié)省DST的空間
-n, --dry-run現(xiàn)實(shí)哪些文件將被傳輸
-W, --whole-file 拷貝文件,不進(jìn)行增量檢測(cè)
-x, --one-file-system 不要跨越文件系統(tǒng)邊界
-B, --block-size=SIZE 檢驗(yàn)算法使用的塊尺寸,默認(rèn)是700字節(jié)
-e, --rsh=COMMAND 指定使用rsh、ssh方式進(jìn)行數(shù)據(jù)同步
--rsync-path=PATH 指定遠(yuǎn)程服務(wù)器上的rsync命令所在路徑信息
-C, --cvs-exclude 使用和CVS一樣的方法自動(dòng)忽略文件,用來(lái)排除那些不希望傳輸?shù)奈募?/p>
--existing 僅僅更新那些已經(jīng)存在于DST的文件,而不備份那些新創(chuàng)建的文件
--delete 刪除那些DST中SRC沒(méi)有的文件
--delete-excluded 同樣刪除接收端那些被該選項(xiàng)指定排除的文件
--delete-after 傳輸結(jié)束以后再刪除
--ignore-errors 及時(shí)出現(xiàn)IO錯(cuò)誤也進(jìn)行刪除
--max-delete=NUM 最多刪除NUM個(gè)文件
--partial 保留那些因故沒(méi)有完全傳輸?shù)奈募?,以是加快隨后的再次傳輸
--force 強(qiáng)制刪除目錄,即使不為空
--numeric-ids 不將數(shù)字的用戶和組ID匹配為用戶名和組名
--timeout=TIME IP超時(shí)時(shí)間,單位為秒
-I, --ignore-times 不跳過(guò)那些有同樣的時(shí)間和長(zhǎng)度的文件
--size-only 當(dāng)決定是否要備份文件時(shí),僅僅察看文件大小而不考慮文件時(shí)間
--modify-window=NUM 決定文件是否時(shí)間相同時(shí)使用的時(shí)間戳窗口,默認(rèn)為0
-T --temp-dir=DIR 在DIR中創(chuàng)建臨時(shí)文件
--compare-dest=DIR 同樣比較DIR中的文件來(lái)決定是否需要備份
-P 等同于--partial
--progress 顯示備份過(guò)程
-z, --compress 對(duì)備份的文件在傳輸時(shí)進(jìn)行壓縮處理
--exclude=PATTERN 指定排除不需要傳輸?shù)奈募J?/p>
--include=PATTERN 指定不排除而需要傳輸?shù)奈募J?/p>
--exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--version 打印版本信息
--address 綁定到特定的地址
--config=FILE 指定其他的配置文件,不使用默認(rèn)的rsyncd.conf文件
--port=PORT 指定其他的rsync服務(wù)端口
--blocking-io 對(duì)遠(yuǎn)程shell使用阻塞IO
-stats 給出某些文件的傳輸狀態(tài)
--progress 在傳輸時(shí)現(xiàn)實(shí)傳輸過(guò)程
--log-format=formAT 指定日志文件格式
--password-file=FILE 從FILE中得到密碼
--bwlimit=KBPS 限制I/O帶寬,KBytes per second
-h, --help 顯示幫助信息
rsync -avz -P -e 'ssh -p 端口號(hào)' 遠(yuǎn)端用戶名@遠(yuǎn)端IP:遠(yuǎn)端路徑 本地目錄
root@template /tmp 16:34:19 # rsync -avzP -e 'ssh -p 22'root@192.168.44.100:/tmp/rsync.txt /tmp
reverse mapping checking getaddrinfo for bogon[192.168.44.100] failed - POSSIBLE BREAK-IN ATTEMPT!
root@192.168.44.100's password:
receiving incremental file list
rsync.txt
19100% 18.55kB/s 0:00:00 (xfer#1, to-check=0/1)
sent 36 bytes received 99 bytes 30.00 bytes/sec
total size is 19 speedup is 0.14
root@template /tmp 16:39:26 # cat rsync.txt
我是rsync測(cè)試2
[root@salt-master data]# cat /etc/rsyncd.conf
#config_______________start
##rsyncd.conf start##
uid = root #此時(shí)用戶可以是別的,但是只要有管理服務(wù)端下/data的權(quán)限即可,不一定非得要用root
gid = root
use chroot = no #內(nèi)網(wǎng)設(shè)置為no
max connections = 200 #大連接數(shù)默認(rèn)為0無(wú)限大,負(fù)數(shù)為關(guān)閉
timeout = 300 #超時(shí)默認(rèn)為0 notimeout無(wú)超時(shí)時(shí)間 建議200-600(5-10分鐘)
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[data] #新建的模塊名
comment = datafile by caimengzhi at 2016-11-10 #注釋部分
path = /data/ #默認(rèn)上傳和下載的路徑
ignore errors #忽略錯(cuò)誤
read only = false #禁止只讀可寫
list = false #禁止列表
hosts allow = 192.168.91.0/24 #指定可以連接的客戶端ip或地址段
hosts deny = 0.0.0.0/32 #指定不可以連接的ip或地址段
auth users = rsync_body #客戶端同步的虛擬用戶
secrets file = /etc/rsync.password #客戶端同步的虛擬機(jī)用戶的密碼
[root@salt-master data]# echo 'rsync_body:admin' >> /etc/rsync.password #添加賬戶和密碼,前面是同步時(shí)候的虛擬賬號(hào)和密碼
[root@salt-master data]# cat /etc/rsync.password
rsync_body:admin
[root@salt-master data]# chmod 600 /etc/rsync.password
[root@salt-master data]# rsync --daemon #rsync服務(wù)端以守護(hù)進(jìn)程方式啟動(dòng),且端口是tcp協(xié)議的873
[root@salt-master data]# ps -ef | grep rsync |grep -v grep
root 7247 1 0 17:21 ? 00:00:00 rsync --daemon
[root@salt-master data]# netstat -lnp| grep 873
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 7247/rsync
tcp 0 0 :::873 :::* LISTEN 7247/rsync
[root@salt-master data]# lsof -i:873
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
rsync 7247 root 4u IPv4 67065 0t0 TCP *:rsync (LISTEN)
rsync 7247 root 5u IPv6 67066 0t0 TCP *:rsync (LISTEN)
[root@salt-client01 sersync]# echo "admin">/etc/rsync.password #客戶端只需要配置密碼文件即可,因?yàn)樵谕降臅r(shí)候會(huì)指定虛擬同步賬號(hào)
[root@salt-client01 sersync]# cat /etc/rsync.password
admin
[root@salt-client01 sersync]# chmod 600 /etc/rsync.password
[root@salt-client01 sersync]# ll /etc/rsync.password
-rw------- 1 root root 6 Nov 10 17:26 /etc/rsync.password
rsync -avz -P 本地目錄或文件 rsync_backup@服務(wù)端地址::模塊名--password-file=/etc/rsync.pwd
[root@salt-client01 sersync]# rsync -avz /data rsync_body@192.168.91.166::data --password-file=/etc/rsync.password
sending incremental file list
data/
data/3
sent 88 bytes received 31 bytes 238.00 bytes/sec
total size is 0 speedup is 0.00
#說(shuō)明rsync服務(wù)端和客戶端是OK的
rsync -avz -P rsync_backup@服務(wù)端地址::模塊名 本地目錄或文件--password-file=/etc/rsync.pwd
采用inotify來(lái)對(duì)文件進(jìn)行監(jiān)控,當(dāng)監(jiān)控到文件有文件發(fā)生改變的時(shí)候,就會(huì)調(diào)用rsync實(shí)現(xiàn)觸發(fā)式實(shí)時(shí)同步!
[root@salt-client01 ~]# cd /usr/local/src/
[root@salt-client01 src]# tar -zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /usr/local/
GNU-Linux-x86/
GNU-Linux-x86/sersync2
GNU-Linux-x86/confxml.xml
[root@salt-client01 src]# cd /usr/local/
[root@salt-client01 local]# mv GNU-Linux-x86 sersync
[root@salt-client01 local]# cd sersync/
[root@salt-client01 sersync]# mkdir conf bin log
[root@salt-client01sersync]# mv confxml.xml conf
[root@salt-client01sersync]# mv sersync2 bin/sersync
***********************************30行開(kāi)始******************************
<commonParams params="-artuz"/> #-artuz為rsync同步時(shí)的參數(shù)
<authstart="true" users="rsync的虛擬用戶名(rsync_backup)" passwordfile="rsync的密碼文件"/>
<userDefinedPort start="true"port="873"/><!-- port=874 -->
<timeout start="false" time="100"/><!--timeout=100 -->
<sshstart="false"/>
************************************第36行***********************************
<failLogpath="自己定義的log文件夾(/usr/local/sersync/log)rsync_fail_log.sh"
timeToExecute="60"/><!--defaultevery 60mins execute once-->
*******************************************************************************
*注:若有多個(gè)目錄備份可以穿件多個(gè)配置文件在啟動(dòng)時(shí)的-o參數(shù)中添加即可
[root@salt-client01 conf]# diff confxml.xml confxml.xml.bak
24,25c24,25
< <localpath watch="/data/"> #data就是本地需要同步的文件夾到服務(wù)器端的目錄
< <remote ip="192.168.91.166" name="data"/>
#data (server的模塊名)是rsync服務(wù)端的文件夾,也就是推送到服務(wù)器端的目標(biāo)文件夾,可以配置多個(gè),
---
> <localpath watch="/opt/tongbu">
> <remote ip="127.0.0.1" name="tongbu1"/>
31c31
< <auth start="true" users="rsync_body" passwordfile="/etc/rsync.password"/>
#true 才能生效,rsync_body同步時(shí)候虛擬賬號(hào),后面是密碼文件
---
> <auth start="false" users="root" passwordfile="/etc/rsync.pas"/>
33c33
< <timeout start="true" time="100"/><!-- timeout=100 --> #true 才能生效
---
> <timeout start="false" time="100"/><!-- timeout=100 -->
36c36
< <failLog path="/usr/local/sersync/log/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once--> #檢測(cè)rsync進(jìn)程判斷,沒(méi)有自動(dòng)啟
---
> <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
[root@salt-client01 src]# echo 'export PATH=$PATH:/usr/local/sersync/bin'>>/etc/profile
#聲明環(huán)境變量
[root@salt-client01 src]# source /etc/profile
[root@salt-client01 src]# sersync2 -r -d -o /usr/local/sersync/conf/confxml.xml #啟動(dòng)
set the system param
execute:echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute:echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
option: -r rsync all the local files to the remote servers before the sersync work
option: -d run as a daemon
option: -o config xml name: /usr/local/sersync/conf/confxml.xml
daemon thread num: 10
parse xml config file
host ip : localhosthost port: 8008
daemon start,sersync run behind the console
use rsync password-file :
user isrsync_body
passwordfile is /etc/rsync.password
config xml parse success
please set /etc/rsyncd.conf max connections=0 Manually
sersync working thread 12 = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads)
Max threads numbers is: 22 = 12(Thread pool nums) + 10(Sub threads)
please according your cpu ,use -n param to adjust the cpu rate
------------------------------------------
rsync the directory recursivly to the remote servers once
working please wait...
execute command: cd /data && rsync -artuz -R --delete ./ --timeout=100 rsync_body@192.168.91.166::data --password-file=/etc/rsync.password >/dev/null 2>&1
run the sersync:
watch path is:/data #此時(shí)可以看出sersync已經(jīng)啟動(dòng)成功了
#檢測(cè)腳本
[root@salt-client01 log]# pwd
/usr/local/sersync/log
[root@salt-client01 log]# vim rsync_fail_log.sh
[root@salt-client01 log]# chmod +x rsync_fail_log.sh
[root@salt-client01 ~]# cat /usr/local/sersync/log/rsync_fail_log.sh
#!/bin/bash
#Purpose: Check sersync whether it is alive
#Author: cai meng zhi
SERSYNC="/usr/local/sersync/bin/sersync2"
CONF_FILE="/usr/local/sersync/conf/confxml.xml"
STATUS=$(ps aux |grep 'sersync2'|grep -v 'grep'|wc -l)
if [ $STATUS -eq 0 ];
then
$SERSYNC -d -r -o $CONF_FILE &
else
exit 0;
fi
腳本寫好以后,添加到計(jì)劃任務(wù)中去
*/1 * * * * /bin/bash /usr/local/sersync/log/rsync_fail_log.sh > /dev/null 2>&1
測(cè)試同步:
客戶端新增文件
[root@salt-client01 data]# cp /etc/passwd192.168.91.156.passwd
[root@salt-client01 data]# ll
total 4
-rw-r--r-- 1 root root 1928 Nov 10 18:15 192.168.91.156.passwd
-rw-r--r-- 1 root root 0 Nov 10 17:27 3
服務(wù)端檢測(cè)
[root@salt-master data]# cd /data/
[root@salt-master data]# ll
total 8
-rw-r--r-- 1 root root 1928 Nov 10 18:15192.168.91.156.passwd #說(shuō)明已經(jīng)同步過(guò)來(lái)了
-rw-r--r-- 1 root root 0 Nov 10 17:27 3
drwxr-xr-x 2 root root 4096 Nov 10 17:27 data
客戶端測(cè)試刪除
[root@salt-client01 data]# rm rf 192.168.91.156.passwd
rm: cannot remove `rf': No such file or directory
rm: remove regular file `192.168.91.156.passwd'? y
[root@salt-client01 data]# ll
total 0
-rw-r--r-- 1 root root 0 Nov 10 17:27 3
[root@salt-client01 data]#
服務(wù)器端:
[root@salt-master data]# ll
total 4
-rw-r--r-- 1 root root 0 Nov 10 17:27 3 #說(shuō)明已經(jīng)刪除掉了
drwxr-xr-x 2 root root 4096 Nov 10 17:27 data
錯(cuò)誤一:
@ERROR: auth failed on module xxxxx
rsync: connection unexpectedly closed(90 bytes read so far)
rsync error: error in rsync protocoldata stream (code 12) at io.c(150)
說(shuō)明:這是因?yàn)槊艽a設(shè)置錯(cuò)了,無(wú)法登入成功,檢查一下rsync.pwd,看客服是否匹配。還有服務(wù)器端沒(méi)啟動(dòng)rsync 服務(wù)也會(huì)出現(xiàn)這種情況。
錯(cuò)誤二:
password file must not beother-accessible
continuing without password file
Password:
說(shuō)明:這是因?yàn)閞syncd.pwdrsyncd.sec的權(quán)限不對(duì),應(yīng)該設(shè)置為600。如:chmod600 rsyncd.pwd
錯(cuò)誤三:
@ERROR: chroot failed
rsync: connection unexpectedly closed(75 bytes read so far)
rsync error: error in rsync protocoldata stream (code 12) at io.c(150)
說(shuō)明:這是因?yàn)槟阍?rsync.conf中設(shè)置的 path 路徑不存在,要新建目錄才能開(kāi)啟同步
錯(cuò)誤四:
rsync: failed to connect to218.107.243.2: No route to host (113)
rsync error: error in socket IO (code10) at clientserver.c(104) [receiver=2.6.9]
說(shuō)明:防火墻問(wèn)題導(dǎo)致,這個(gè)最好先徹底關(guān)閉防火墻,排錯(cuò)的基本法就是這樣,無(wú)論是S還是C,還有ignore errors選項(xiàng)問(wèn)題也會(huì)導(dǎo)致
錯(cuò)誤五:
@ERROR: access denied to www fromunknown (192.168.1.123)
rsync: connection unexpectedly closed(0 bytes received so far) [receiver]
rsync error: error in rsync protocoldata stream (code 12) at io.c(359)
說(shuō)明:此問(wèn)題很明顯,是配置選項(xiàng)hostallow的問(wèn)題,初學(xué)者喜歡一個(gè)允許段做成一個(gè)配置,然后模塊又是同一個(gè),致使導(dǎo)致
錯(cuò)誤六:
rsync error: received SIGINT,SIGTERM, or SIGHUP (code 20) at rsync.c(244) [generator=2.6.9]
rsync error: received SIGUSR1 (code19) at main.c(1182) [receiver=2.6.9]
說(shuō)明:導(dǎo)致此問(wèn)題多半是服務(wù)端服務(wù)沒(méi)有被正常啟動(dòng),到服務(wù)器上去查查服務(wù)是否有啟動(dòng),然后查看下 /var/run/rsync.pid 文件是否存在,最干脆的方法是殺死已經(jīng)啟動(dòng)了服務(wù),然后再次啟動(dòng)服務(wù)或者讓腳本加入系統(tǒng)啟動(dòng)服務(wù)級(jí)別然后shutdown -r now服務(wù)器
錯(cuò)誤七:
rsync: read error: Connection resetby peer (104)
rsync error: error in rsync protocoldata stream (code 12) at io.c(604) [sender=2.6.9]
說(shuō)明:原數(shù)據(jù)目錄里沒(méi)有數(shù)據(jù)存在
.......
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn,海內(nèi)外云服務(wù)器15元起步,三天無(wú)理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì),專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
本文標(biāo)題:服務(wù)-Sersync數(shù)據(jù)同步詳細(xì)教程-創(chuàng)新互聯(lián)
網(wǎng)頁(yè)鏈接:http://muchs.cn/article48/iocep.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)頁(yè)設(shè)計(jì)公司、建站公司、關(guān)鍵詞優(yōu)化、Google、網(wǎng)站制作、搜索引擎優(yōu)化
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容