运维自动化,减少重复工作,降低知识传递成本,使运维交付更高效、更安全,使产品运行更稳定。对于故障的处理,由事后处理变成提前发现,人工处理变成系统自动容灾。

Rsync+sersync 实现数据实时同步

首页 51geeks 59℃ 0评论

一、为什么要用rsync+sersync架构?
    1、sersync是基于inotify开发的,类似于inotify-tools的工具。
    2、sersync可以记录下被监听目录中发生变化的(包括增加、删除、修改)具体某一个文件或者某一个目录的名字,然后使用  rsync同步的时候,只同步发生变化的文件或者目录。

二、rsync+inotify-tools与rsync+sersync架构的区别?
    1、rsync+inotify-tools
     a、inotify只能记录下被监听的目录发生了变化(增,删,改)并没有把具体是哪个文件或者哪个目录发生了变化记录下来;
     b、rsync在同步的时候,并不知道具体是哪个文件或目录发生了变化,每次都是对整个目录进行同步,当数据量很大时,整个目录同步非常耗时(rsync要对整个目录遍历查找对比文件),因此效率很低。
     2、rsync+sersync
      a、sersync可以记录被监听目录中发生变化的(增,删,改)具体某个文件或目录的名字;
       b、rsync在同步时,只同步发生变化的文件或目录(每次发生变化的数据相对整个同步目录数据来说很小,rsync在遍历查找对比文件时,速度很快),因此效率很高。

三 项目实践
3.1 准备两台机器

rsync服务器(备份端,目标机器) 192.168.139.136  [root@nfs-server /]# uname -r
3.10.0-862.el7.x86_64
sersync服务器(数据源,源机器) 192.168.139.135 [root@backup /]# uname -r
3.10.0-862.el7.x86_64
3.2 在两台机器上都安装rsync

 [root@rsync-server /]# yum install -y rsync

 [root@backup /]# yum install -y rsync
四 .配置rsync服务器上面的rsync
4.1 编辑配置文件rsyncd.conf

[root@backup /]

vi /etc/rsyncd.conf
uid = rsync #设置rsync运行权限为rsync
gid = rsync #设置rsync运行权限为rsync
use chroot = no #默认为true,修改为no,增加对目录文件软连接的备份
max connections = 200 #最大连接数
timeout = 300 #设置超时时间
pid file = /var/run/rsyncd.pid #pid文件的存放位置
lock file = /var/run/rsyncd.lock #支持max connections参数的锁文件
log file = /var/log/rsyncd.log #日志文件位置,启动rsync后自动产生这个文件,无需提前创建
read only = false #设置rsync服务端文件为读写权限
list = false #不显示rsync服务端资源列表
hosts allow = 192.168.139.0/24 #允许进行数据同步的客户端IP地址,可以设置多个,用英文状态下逗号隔开
hosts deny = 0.0.0.0/32 #禁止数据同步的客户端IP地址,可以设置多个,用英文状态下逗号隔开
auth users = rsyncbak #执行数据同步的用户名,可以设置多个,用英文状态下逗号隔开
secrets file = /etc/rsync.password #用户认证配置文件,里面保存用户名称和密码,后面会创建这个文件

[backup]

#自定义模块名称
path = /backup #rsync服务端数据目录路径
4.2 建立相关测试数据目录和用户

[root@rsync-server /]

#useradd -s /no/login -M rsync

[root@rsync-server /]

#id rsync
uid=1001(rsync) gid=1001(rsync) groups=1001(rsync)

[root@rsync-server /]

#mkdir /backup

[root@rsync-server /]

#chown -R rsync.rsync /backup
4.3 创建远程验证用户

[root@rsync-server /]

#vi /etc/rsyncd.password
rsyncbak:1
 4.4 启动服务

  [root@rsync-server /]#systemctl start rsyncd
  [root@rsync-server /]#systemctl enable rsyncd
  检查

[root@nfs-server /]

# ps aux |grep rsync
root 3813 0.0 0.0 114740 1172 ? Ss 09:11 0:00 /usr/bin/rsync –daemon –no-detach
root 4033 0.0 0.0 112704 960 pts/0 S+ 15:57 0:00 grep –color=auto rsync
五. 搭建sersync  
5.1 在sersync服务器上安装sersync

 [root@backup /]cd /usr/local/src
 [root@backup /]wget http://down.whsir.com/downloads/sersync2.5.4_64bit_binary_stable_final.tar.gz
 [root@backup /]tar xzvf sersync2.5.4_64bit_binary_stable_final.tar.gz
 [root@backup /usr/local/src]cd GNU-Linux-x86/
 [root@backup /]cp confxml.xml{,.ori}
5.2 配置sersync

[root@backup GNU-Linux-x86]

# cat confxml.xml






#inotify 事件监听#

<sersync>
<localpath watch="/data"> #本地监控目录#
    <remote ip="192.168.139.136" name="backup"/> #远程服务器ip地址和模块#
    <!--<remote ip="192.168.8.39" name="tongbu"/>-->
    <!--<remote ip="192.168.8.40" name="tongbu"/>-->
</localpath>
<rsync>
    <commonParams params="-artuz"/>
    <auth start="true" users="rsyncbak" passwordfile="/etc/rsync.password"/> #rsync 远程连接验证的用户名和密码#
    <userDefinedPort start="false" port="874"/><!-- port=874 -->
    <timeout start="false" time="100"/><!-- timeout=100 -->
    <ssh start="false"/>
</rsync>
<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
<crontab start="false" schedule="600"><!--600mins-->
    <crontabfilter start="false">
    <exclude expression="*.php"></exclude>
    <exclude expression="info/*"></exclude>
    </crontabfilter>
</crontab>
<plugin start="false" name="command"/>
</sersync>

<plugin name="command">
<param prefix="/bin/sh" suffix="" ignoreError="true"/>  <!--prefix /opt/tongbu/mmm.sh suffix-->
<filter start="false">
    <include expression="(.*)\.php"/>
    <include expression="(.*)\.sh"/>
</filter>
</plugin>

<plugin name="socket">
<localpath watch="/opt/tongbu">
    <deshost ip="192.168.138.20" port="8009"/>
</localpath>
</plugin>
<plugin name="refreshCDN">
<localpath watch="/data0/htdocs/cms.xoyo.com/site/">
    <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
    <sendurl base="http://pic.xoyo.com/cms"/>
    <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
</localpath>
</plugin>


5.3 创建本地目录用来测试数据并启动服务

 [root@backup /]mkdir /data
启动服务
 [root@backup /]/usr/local/src/GNU-Linux-x86/sersync2 -d
检查
 [root@backup /]ps aux |grep sersync2
root 2562 0.0 0.0 125108 800 ? Ssl 14:30 0:00 /usr/local/src/GNU-Linux-x86/sersync2 -d
root 2731 0.0 0.0 125108 836 ? Ssl 14:45 0:00 /usr/local/src/GNU-Linux-x86/sersync2 -d -o /usr/local/src/GNU-Linux-x86/confxml.xml.bbs
root 2959 0.0 0.0 112704 960 pts/0 R+ 21:34 0:00 grep –color=auto sersync2
六.测试rsync是否搭建成功
6.1 在sersync服务器上操作:

确保两台服务器上测试目录一样

[root@backup ~]

# ll /data
total 0

[root@rsync-server /]

# ll /backup
total 0
6.2 测试backup服务器与rsync服务器通信

[root@backup ~]

# touch /data/2.txt

[root@backup ~]

# rsync -avz /data/ rsyncbak@192.168.139.136::backup
Password:
sending incremental file list
1.txt

sent 130 bytes received 43 bytes 69.20 bytes/sec
total size is 0 speedup is 0.00

在rsync服务器上检查,可以看到我们的2.txt传送过来了

[root@rsync-server /]

# ll /backup
total 0
-rw-r–r– 1 rsync rsync 0 Jul 16 22:53 2.txt
七.测试sersync是否搭建成功
7.1 在backup服务器上创建 删除 或者修改文件

[root@backup ~]

# touch /data/3.txt

[root@backup ~]

# ll /data
total 0
-rw-r–r– 1 root root 0 Jul 16 21:38 1.txt
-rw-r–r– 1 root root 0 Jul 16 23:07 2.txt
-rw-r–r– 1 root root 0 Jul 16 23:07 3.txt
7.2在rsync服务器上查看是否成功

//可以看到我们的3.txt已经创建成功

[root@nfs-server /]

# ll /backup
total 0
-rw-r–r– 1 rsync rsync 0 Jul 16 23:07 2.txt
-rw-r–r– 1 rsync rsync 0 Jul 16 23:07 3.txt

1.rsync 排错 
 1.1错误:
 [root@backup ~]# rsync -avz /data/ rsyncbak@192.168.139.136::backup
  Password: 
  sending incremental file list
   1.txt
   rsync: chgrp “.1.txt.rnUDvB” (in backup) failed: Operation not permitted (1)

    sent 108 bytes  received 124 bytes  154.67 bytes/sec
     total size is 0  speedup is 0.00
    rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1178) [sender=3.1.2]  
 1.2 解决方法:如果推送的时候出现以下错误,可能是配置文件中需要加入
           fake super = yes
————————————————
版权声明:本文为CSDN博主「a1779078902」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/a1779078902/article/details/96480004

转载请注明:Linux系统自动化运维 » Rsync+sersync 实现数据实时同步

喜欢 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址