Rsync远程同步与inotify监控

目录

前言

一、Rsync简介

1.Rsync介绍

2.Rsync同步方式

二、Rsync同步源

4.配置Rsync源

三、Rsync常用命令

四、Rsync与cp、scp对比

五、配置源的两种表达方式

六、配置服务端与客户端的实验

1.实验环境

2.rsync服务端配置

3.Rsync客户端配置

七、inotify简介

1.inotify介绍

2.rsync+inotify实现配置

2.1rsync服务端配置

2.2client端配置

 2.3验证

---

前言

Rsync（Remote Sync，远程同步）是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份，镜像服务器等应用

一、Rsync简介

1.Rsync介绍

Rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息，实现数据的备份迁移特性。

在远程同步任务中，负责发起Rsync同步操作的客户机称为发起端，而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中，同步源负责提供文件的原始位置，发起端应对该位置具有读取权限

Rsync是linux系统下的数据镜像备份工具，使用快速增量备份工具Remote Sync可以远程同步，可以在不同主机之间进行同步，可实现全量备份与增量备份，保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适合用于架构集中式备份或异地备份等应用。同时Rsync支持本地复制，或者与其他SSH、Rsync主机同步，Rsync监听端口：873、Rsync运行模式：C/S
 

2.Rsync同步方式

• 完整备份：每次备份都是从备份源将所有的文件或目录备份到目的地
• 差量备份：备份上次完全备份以后有变化的数据（它针对的上次的完全备份，它备份过程中不清除存档属性）
• 增量备份：备份上次备份以后有变化的数据（它不管是哪种类型的备份，有变化的数据就备份，它会清除存档属性）

二、Rsync同步源

Rsync同步源：指的就是备份操作的远程服务器，也称备份源

4.配置Rsync源

基本思路

• 建立rsync.conf配置文件。独立的账户文件
• 启用rsync的–daemon（守护进程）模式

配置文件/etc/rsync/rsyncd.conf

• 认证配置auth users、secrets file，不加则为匿名

独立的账号文件

• 文件位置可在配置文件中定义
• 格式：用户名：密码
• 每一行一个用户记录
• 独立的账号数据，不依赖系统账号

启动rsync服务

• 通过–daemon独自提供服务，rsync–daemon
• 执行jill（cat /var/run/rsyncd.pid）关闭服务

三、Rsync常用命令

命令使用语法

rsync [选项] 原始位置 目标位置

常用选项

选项	功能
-r	递归模式，包含目录及子目录中的所有文件
-l	对于符号链接文件仍然复制为符号链接文件
-v	显示同步过程的详细(verbose)信息
-z	在传输文件时进行压缩(compress)
-a	归档模式，保留文件的权限、熟悉等信息，等同于组合选项"-riptgoD"
-p	保留文件的权限标记。
-t	保留文件的时间标记。
-g	保留文件的属组标记(仅超级用户使用)。
-o	保留文件的属主标记（仅超级用户使用)。
-H	保留硬连接文件。
-A	保留ACL属性信息。
-D	保留设备文件及其他特殊文件。
-delete	删除目标位置有而原始位置没有的文件。
checksum	根据校验和（而不是文件人小、修改时间）来决定是否跳过文件。

 –delete的作用简单来说，就是删除差异文件，保持一致性

四、Rsync与cp、scp对比

cp命令是一种典型的将文件完成的拷贝到一个位置。而rsync是，第一次拷贝，在目标位置没有的时候rsync是全量拷贝过去，但是第二次拷贝的时候，只会对差异项进行同步拷贝。所以结果对同一个文件进行二次备份的话，rsync速度会相较于cp而言更快

cp只支持本地，而rsync支持远程

scp是基于cp原理，也是属于完整性拷贝文件。假设rsync和scp拷贝的文件都是第一，目标地址都没有要同步的文件，此时，这两者的差异在于，第一个，这个要传输的文件大不大，第二个要看在传输的过程中，用的带宽大不大。如果文件不大的情况下，scp是把数据从磁盘中的块存储提取出来，封装一下，网络传过去，此时scp更快，如果是更大的文件，比如说40G，带宽只支持100M的带宽，scp想要传输，需要拆分数据，一段一段传输。而rsync会根据一个逻辑意义上的空间，把数据划分出来，把数据先压缩再传输，所以这种方式而言，带宽校，文件大，这个时候先压缩再传输会比较快。此时适合用rsync远程同步
 

五、配置源的两种表达方式

格式一

用户名@主机地址::共享模块名
例：
rsync -avz backuper@192.168.58.30::wwwroot /opt/

格式二

rsync://用户名@主机地址/共享模块名
例：
rsync -avz rsync://backuper@192.168.58.30/wwwroot /opt/

六、配置服务端与客户端的实验

1.实验环境

主机名	IP地址
rsync	192.168.226.128
client	192.168.226.129

 关闭防火墙及核心防护，下载更新rsync服务

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
yum -y install rsync

2.rsync服务端配置

修改配置文件

vim /etc/rsync.conf

uid = root
gid = root
use chroot = yes          #禁锢在源目录                                      
address = 192.168.226.128     #监听地址
port 873         #监听端口 tcp/udp 873，可通过cat /etc/services | grep  rsync查看                                                       
log file = /var/log/rsyncd.log      #日志文件位置              
pid file = /var/run/rsyncd.pid       #存放进程 ID 的文件位置         
hosts allow = 192.168.226.0/24     #允许访问的客户机地址
[wwwroot]         #共享模块名称                                                      
path = /var/www/html       #源目录的实际路径                             
comment = Document Root of www.lic.com    #默认
read only = yes          #是否为只读                                        
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z     #对这种格式的文件不用再次压缩   
auth users = backuper       #授权的用户，多个账号以空格分开                                   
secrets file = /etc/rsyncd_users.db    #存放账户信息的数据文件

 

[root@rsync ~]# vim /etc/rsyncd_users.db   #设置密码文件
backuper:123456

[root@rsync ~]# chmod 600 /etc/rsyncd_users.db 

[root@rsync ~]# rsync --daemon    #启动rsync服务
[root@rsync ~]# netstat -natp |grep rsync

 

mkdir -p /var/www/html   #创建共享目录
chmod +r /var/www/html   #给与共享目录一个只读权限
echo "this is test" > /var/www/html/1.txt     #创建一个文件
ls -ld /var/www/html     #查看权限

 

3.Rsync客户端配置

普通同步
创建目录，完成共享

mkdir /abc     #创建对接目录
echo "this is new file" >> /abc/2.txt    #创建文件，加入文件内容（与rsync服务端不一致的内容）

rsync -avz backuper@192.168.226.128::wwroot /abc    #进行同步rsync的内容

 免密同步

vim /etc/server.pass
123456

chmod 600 /etc/server.pass
rsync -avz --password-file=/etc/server,pass backuper@192.168.226.128::wwwroot /abc

 

 

七、inotify简介

1.inotify介绍

可以监控文件系统的变动情况，并作出通知响应

可以调整inotify内核参数（优化）

vim /etc/sysctl.conf  (内核参数文件)
max_queue_events    	#监控事件队列大小
max_user_instances  	#最多监控实例数
max_user_watches    	#每个实例最多监控文件数  

#命令工具
inotifywait     #用于持续监控，时实输出结果
inotifywatch    #用于短期监控，任务完成后再输出结果

常用选项

选项	功能
-m	持续监控
-r	递归监控所有子对象
-q	简化输出信息
-e	指定要监控哪些事件类型
modify	修改
create	创建
move	移动
delete	删除

 

2.rsync+inotify实现配置

2.1rsync服务端配置

修改rsync服务端配置

vim /etc/rsyncd.conf
read only = no   #将模块中只读改为no，关闭只读

#重启rsync服务
kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid
rsync --daemon
netstat -natp |grep rsync

 修改内核文件（一个优化操作）

vim /etc/sysctl.conf

fs.inotify.max_queued_events = 32768
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

sysctl -p

2.2client端配置

安装inotify安装包

yum -y install gcc gcc-c++

cd /opt
tar zxf inotify-tools-3.14.tar.gz
cd inotify-tools-3.14/
./configure
make && make install

 编写触发同步脚本
脚本的目的就是实时监控，实时同步的功能

vim /opt/inotify.sh

#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /abc"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /abc/ backuper@192.168.226.128::wwwroot"
 
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
        $RSYNC_CMD
	fi
done

#脚本解释
先定义一个变量为监控这个目录中是否创建、删除、移动、修改、属性等信息的变化
再定义一个变量为rsync同步，将/abc中的目录中的信息同步到rsync服务器中的指定目录
再编写一个while循环，先执行监控变量，再执行while循环，
循环内容为，读取目录事件文件，如果rsync进程同步操作不存在，则执行同步操作的变量。

chmod +x /opt/inotify.sh
./inotify.sh
 
---------------#加入自启动-----------------------
chmod +x /etc/rc.d/rc.local
echo "/opt/inotify.sh" >>/etc/rc.d/rc.local

 2.3验证