数据库做了同步备份,服务器上的文件一样可以做同步备份。我们一般采用的方案是使用rsync+sersync自动同步备份,当服务器指定的目录下有新的文件产生或者修改时,会将文件自动同步到另一台或多台服务器上,达到实时备份的目的。
为什么选用Rsync+sersync
1.sersync是基于Inotify开发的,类似于Inotify-tools的工具。
sersync可以记录被监听目录中发生变化的(包括增删改)具体某一个文件或某一个目录的名字,然后使用rsync同步的时候,只同步发生变化的这个文件或者这个目录。
2.rsync在同步的时候,只同步发生变化的这个文件或者这个目录(每次发生变化的数据相对整个同步目录数据来说是很小的,rsync在遍历查找比对文件时,速度很快),因此,效率很高。
当同步的目录数据量不大时,建议使用Rsync+Inotify-tools;当数据量很大(几百G甚至1T以上)、文件很多时,建议使用Rsync+sersync。
准备环境
服务器A:192.168.11.31 源服务器。
服务器B: 192.168.11.34 目标服务器。
我们要实现的就是把A服务器上的文件同步到B服务器上,从而实现备份。我们主要是在B服务器上安装配置rsync,在A服务器上安装配置sersync,通过sersync把文件推送到B服务器上。
服务器系统环境为CentOS7.4。
系统基础配置
1.修改inotify默认参数
inotify默认内核参数值太小,我们需要手动修改参数:
sysctl -w fs.inotify.max_queued_events="99999999"sysctl -w fs.inotify.max_user_watches="99999999"sysctl -w fs.inotify.max_user_instances="65535"vi /etc/sysctl.conf #添加以下代码fs.inotify.max_queued_events=99999999fs.inotify.max_user_watches=99999999fs.inotify.max_user_instances=65535:wq! #保存退出
参数说明:
max_queued_events:inotify队列最大长度,如果值太小,会出现"** Event Queue Overflow **"错误,导致监控文件不准确
max_user_watches:要同步的文件包含多少目录,可以用:find /data/file -type d | wc -l 统计,必须保证max_user_watches值大于统计结果(这里/data/file为同步文件目录)
max_user_instances:每个用户创建inotify实例最大值
2.关闭selinux
在/etc/sysconfig/selinux 这个文件,设置SELINUX=disable
3.防火墙开通873端口
firewall-cmd --zone=public --add-port=873/tcp --permanentfirewall-cmd --reload
以上A、B两台服务器都需要配置。
部署rsync
我们需要在源服务器A和目标服务器B上都要部署rsync。
安装rsync:
yum install -y rsync
配置rsync:
[root@localhost ~]# vim /etc/rsyncd.confuid = rootgid = rootuse chroot =nolist = nolog file = /var/log/rsyncd.log[helloweba]path=/data/filecomment=helloweba file backupignore errors=yesread only=nolist=nomax connections=2000timeout=200auth users=rsyncsecrets file=/etc/rsync.pashosts allow=*#host deny=0.0.0.0/0
auth users
配置同步验证的用户名。
secrets file
这个是配置同步的密码文件的。
[helloweba]
这个是配置同步模块的名称。
path
是配置同步的目录。
hosts allow
是允许同步的主机。
hosts deny
拒绝同步的主机。
创建同步的用户与密码的文件
将用户名和密码写入密码文件中,同样要设置这个文件的权限为600。
echo "rsync:123456" >> /etc/rsync.paschmod 600 /etc/rsync.pas
创建同步的目录
按照配置文件中的path
创建对应的目录:
mkdir /data/file
启动和管理rsync
启动rsync:
systemctl start rsyncd
将rsync设置为开机自启动:
systemctl enable rsyncd
如果要停止和重启rsync可以使用以下命令:
systemctl stop|restart rsyncd
启动好rsync服务后,我们可以使用netstat -tunpl | grep :873
查看服务端口873是否正常。
源服务器A部署sersync
安装和配置rsync
源服务器A也需要安装rsync,方法同上述目标服务器B部署rsync一样。
下载sersync
在google code ( http://code.google.com/p/sersync/downloads/list )下载sersync的可执行文件版本,里面有配置文件和可执行文件
不能google的同学可以到http://sersync.sourceforge.net/ 下载旧版本。
安装sersync
tar xf sersync2.5.4_64bit_binary_stable_final.tar.gzmv GNU-Linux-x86 /usr/local/sersync
我们下载的是二进制版,无需编译安装,直接就可使用。
我们可以规范下目录结构:
cd /usr/local/sersync/mkdir conf bin logsmv confxml.xml conf/mv sersync2 bin/
最后目录结构应该是这样的:
.|-- bin| `-- sersync2|-- conf| `-- confxml.xml`-- logs
创建密码文件
和目标服务器一样,不过这个文件只要保存密码即可,不需要保存用户名,权限也是600
echo "123456" >> /etc/rsync-client.paschmod 600 /etc/rsync-client.pas
配置sersync
直接编辑sersync的配置文件:
vim /usr/local/sersync/conf/confxml.xml
要注意几处需要修改的地方:
1.定义同步目录和目标服务器ip及模块名称。
<localpath watch="/data/file"> # 定义本地要同步的目录 <remote ip="192.168.11.34" name="helloweba"/> # 定义要同步的服务器IP和模块名 <!--<remote ip="192.168.8.39" name="tongbu"/>--> <!--<remote ip="192.168.8.40" name="tongbu"/>--></localpath>
2.配置rsync同步指令及同步认证。
<rsync> <commonParams params="-artuzP"/> # 定义同步指令 <auth start="true" users="rsync" passwordfile="/etc/rsync-client.pas"/> #启用同步认证,指定用户名及密码文件 <userDefinedPort start="false" port="873"/><!-- port=874 --> #定义远程端口 <timeout start="false" time="100"/><!-- timeout=100 --> <ssh start="false"/></rsync>
启动和管理sersync服务
我们需要自己制作一个服务管理脚本,新建sersync.service文件:vim /usr/lib/systemd/system/sersync.service
,添加以下代码:
[Unit]Description=sersync serviceAfter=network.target[Service]Type=forkingLimitNOFILE=65535ExecStart=/usr/local/sersync/bin/sersync2 -r -d -o /usr/local/sersync/conf/confxml.xmlExecReload=/bin/kill -USR1 $MAINPIDRestart=always[Install]WantedBy=multi-user.target graphical.target
保存,然后启动sersync服务:
systemctl start sersync.service
加入到启动项随系统启动:
systemctl enable sersync.service
可以使用以下命令停止和重启sersync服务:
systemctl stop|restart sersync.service
验证
服务都搭建好了,现在最后一步就是验证测试,我们在源服务器A的/data/file目录下(如果不存在则手动创建目录),执行新建文件、删除文件、新建文件夹等操作后,再到目标服务器B的/data/file目录下看看是否也存在相同的文件和文件夹。如果一切正常,那么恭喜实时同步配置成功了。
以上我们就做好了文件双机自动同步备份,作者亲测并应用在实际项目中,这样就不怕文件丢失了。
后记
有的项目中,我们希望做到双机双向自动同步备份,就像《MySQL/MariaDB主主数据同步配置》一样,两台服务器既是源服务器又是目标服务器,这个时候只需在两台服务器上都部署rsync和sersync服务,配置和本文配置一毛一样。
以上就上有关使用rsync+sersync实现文件同步实时备份的全部内容,学步园全面介绍编程技术、操作系统、数据库、web前端技术等内容。