rsync同步
一、rsync同步的认识
【1】应用场景
rsync是可以实现增量备份的工具。配合任务计划,rsync能实现定时或间隔同步,配合inotify或sersync,可以实现触发式的实时同步。
【2】三种工作模式
本地文件系统上实现同步:
rsync -auv /opt/rsync/ /opt/local/
本地主机使用远程shell和远程主机通信(scp方式)
rsync -auv /opt/rsync/ root@192.168.1.101:/opt/test
本地主机通过网络套接字连接远程主机上的rsync daemon
rsync -auv /opt/rsync test@192.168.1.101::test
说明:
1.前面的命令为源目录,后者为目的地目录。表示以源目录为基准,把源目录文件同步到目的目录。
2.如果多余2个路径,那么最后一个路径为目标路径,前面都是源目录,表示把所有源目录下文件都同步到目标路径
3.源目录如果不带后缀“/”表示在目标目录下创建该目录并把源目录下文件一并同步过去,带“/”表示只是把源目录下的文件全部同步过去。
4.关于第三种模式,server端可以单独以一个进程方式启动,也可以通过xinetd方式启动,两者都是监听873端口,第三种模式可以指定要对外开放的目录,并对目录上传/下载权限控制对client端通过ip 限制,可以设置密码等等。相比于xinetd 独立进程模式处理请求能力更大,而xinetd 更轻量。
【3】常用的选项
-n 仅测试传输,而不实际传输。常和"-vvvv"配合使用来查看rsync是如何工作的。
-auv (一般常用此3个参数同步)
-v:显示rsync过程中详细信息。可以使用"-vvvv"获取更详细信息
-a --archive :归档模式,表示递归传输并保持文件属性。等同于"-rtopgDl"。
-u --update :仅在源mtime比目标已存在文件的mtime新时才拷贝。注意,该选项是接收端判断的,
不会影响删除行为
--exclude 排除某个目录/文件 rsync -r -v --exclude="anaconda/*.log" /var/log/anaconda /var/log/audit /tmp
--delete 使用"--delete"选项后,接收端的rsync会先删除目标目录下已经存在,但源端目录不存在的文件。
也就是"多则删之,少则补之"。
注:如果将"--delete"选项和"--exclude"选项一起使用,则被排除的文件不会被删除
二、rsync同步的配置
【1】手动同步之主服务配置
yum install -y httpd
yum install -y rsync
(1)修改配置文件信息
vim /etc/rsyncd.conf
uid = nobody
gid = nobody
use chroot = yes
port 873
# max connections = 4
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
hosts allow = 192.168.60.0/24
[wwwroot]
path = /var/www/html
comment = www.test.com
read only = yes
dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
auth users = backuper
secrets file = /etc/rsyncd_users.db
(2)编写密码文件
vim /etc/rsyncd_users.db
backuper:123123
chmod 600 /etc/rsyncd_users.db
(3)启动rsync
rsync --daemon //启动rsync同步服务
netstat -natp | grep rsync //查看端口状态
pkill rsync //结束进程
(4)编写web站点文件
cd /var/www/html
vim index.html
this is shoudong web
【2】手动同步之从服务器同步配置
//手动同步方法一
rsync -avz backuper@192.168.60.10::wwwroot /var/www/html
//手动同步方法二
rsync -avz rsync://backuper@192.168.60.10/wwwroot /var/www/html
//免密码登录手动同步方法三
vim /opt/server.pass
123123
chmod 600 /opt/server.pass
rsync -zva --delete --password-file=/opt/server.pass backuper@192.168.60.10::wwwroot /var/www/html
【3】inotify+rsync自动同步在发起端配置
(1)设置监控事件【后面脚本做铺垫】
vim /etc/sysctl.conf
fs.inotify.max_queued_events = 16384 //监控事件队列大小
fs.inotify.max_user_instances = 1024 //监控最大实例数
fs.inotify.max_user_watches = 1048576 //每个实例数最多监控文件数,监控数应大于监控的总文件数
sysctl -p
(2)安装inotify-tools辅助工具
yum install -y gcc gcc-c++
tar zxvf inotify-tools-3.14.tar.gz
cd /opt/inotify-tools-3.14
./configure
make && make install
(3)测试inotify辅助工具是否正常
inotifywait用于持续监控,实时输出结果
inotifywatch用于短期监控,任务完成后在输出结果
-m 持续进行监控
-r 递归监控所有子对象
-q 简化输出信息
-e 指定要监控那些事件类型
inotifywait -mrq -e modify,create,move,delete /var/www/html
另外在开启一个新的终端
(4)rsync+inotify实时同步
//在服务端设置
vim /etc/rsyncd.conf
read only = no
chmod 777 /var/www/html
//在发起端设置
chmod 777 /var/www/html
vim /opt/inotify_rsync.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,move,delete /var/www/html"
RSYNC_CMD="rsync -avz --delete --password-file=/opt/server.pass backuper@192.168.60.10::wwwroot /var/www/html"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
if [ $(pgrep rsync |wc -l) -le 0 ];then
$RSYNC_CMD
fi
done
sh inotify.sh
(5)验证
在发起端创建比写入内容
[root@promote html]# echo “this is abc web” >> abc.html
查看监听脚本是否正常【下面的error无所谓】
在服务端查看是否同步
三、故障及解决方案
【问题一】编译安装inotify-tools工具时出现编译错误
分析:configure: error: no acceptable C compiler found in $PATH错误主要是没有C编译器.
【解决方案】安装C编译器:
[root@localhost ~]# yum -y install gcc gcc-c++
【问题二】执行脚本之后没有效果
分析:出现这个结果说明此脚本信息没有执行,问题出现在脚本中的内容,经过分析脚本的执行在于if条件语句,而最关键的是pgrep rsync | wc -l 。
执行pgrep rsync | wc -l 查看,大于0,所有有rsync进程存在。
【解决方案】关闭发起端的rsync进程
[root@localhost opt]# pkill rsync
[root@localhost opt]# netstat -natp | grep rsync