需求
在软件开发与运维的过程中,数据远程同步不仅是保障业务连续性的关键步骤,也是灾难恢复计划不可或缺的一部分。
这一过程涉及将关键数据,包括文件、数据库、目录结构、定时打包的资源等,从生产环境安全、高效地传输至远程备份服务器。这样做的目的在于,一旦主系统遭遇硬件故障、自然灾害、人为错误或网络攻击等不可预见事件导致数据丢失或损坏时,能够迅速且准确地从备份中恢复数据,以最小化业务中断时间和损失。
设计思路
使用crontab、rsync 和 inotify-tools 完成
- rsync
rsync
是一个用于文件和目录同步的强大工具,它能高效地同步两个目录的内容,并且可以跨网络进行操作。它支持增量数据传输,这意味着只传输文件变化的部分,从而节省了大量的带宽和时间。
rsync 将文件分割成固定大小的块,并计算每个块的校验和。
在同步过程中,rsync 检查源文件和目标文件中对应块的校验和是否相同。
如果校验和匹配,则认为该块没有变化,不需要传输;如果不匹配,则传输该块
- inotify-tools
inotify-tools 提供了一个名为 inotifywait 的工具,它可以监视文件系统事件,并在检测到事件时触发动作。
- crontab
crontab
是一个用于设置定时任务的工具,可以让您在指定的时间自动执行命令或脚本。这对于自动化任务非常有用,比如定期备份、清理日志文件、同步文件等。
定时打包相关资源
此功能比较简单 使用crontab执行脚本
0 0 * * * /opt/timer/xxx_backup_targz.sh
脚本格式如下 根据需求替换 输入输出目录
#!/bin/bash
# 定义备份资料的名称,包含当前日期
DATE=$(date +%Y%m%d)
BACKUP_FILE="/opt/test-bk/osslog-${DATE}.tgz"
SOURCE_DIR="/data/test/use205"
# 使用tar命令打包并压缩目录
tar czvf "$BACKUP_FILE" "$SOURCE_DIR"
# 可以在这里添加更多的命令,比如日志记录等
echo "Backup completed: $BACKUP_FILE" >> /opt/cibnnas/shell/osssql_backup.log
rsync同步
介绍
在 rsync 的网络同步场景中,通常有一个服务器端和一个或多个客户端。以下是它们的工作流程:
- 客户端发起同步请求:
客户端通过命令行调用 rsync,并指定源文件和目标文件的位置。如果目标文件位于远程服务器上,客户端会通过网络连接到远程服务器。 - 服务器端响应:
服务器端接收到客户端的请求后,开始执行同步操作。服务器端计算源文件的块校验和,并与客户端发送的目标文件的块校验和进行比较。 - 数据传输:
对于不匹配的块,客户端只传输这些块给服务端。服务端接收到这些块后,将它们合并到目标文件中。
结束同步:
当所有需要同步的块都被传输完毕后,同步过程结束。
注意 rsync 的工作方式更为灵活,它可以双向同步文件,即可以从客户端向服务器传输文件,也可以从服务器向客户端传输文件。如果命令是从客户端到服务器,那么客户端会发送文件差异到服务器;如果是从服务器到客户端,那么服务器会发送文件差异到客户端
配置的时候需要根据具体需求判断
例如: 将192.168.0.1 上的 /opt/test/ 目录 同步到 192.168.0.2
192.168.0.1=====>192.168.0.2
192.168.0.1 源服务器 有目录 /opt/test/ 是rsync客户端
192.168.0.2 目标服务器 有目录 /opt/bak/test/ 是服务端
rsync
源服务器: 是rsync客户端,不需要配置
目标服务器: 是rsync服务器端,需要配置/etc/rsyncd.conf里的内容
安装
查看 rpm -qa | grep rsyn
## 源码安装
下载:wget https://download.samba.org/pub/rsync/rsync-3.1.3.tar.gz
解压:解压tar.gz文件: tar -zxvf filename.tar.gz 解压tar.bz2文件: tar -jxvf filename.tar.bz2
安装:进入解压目录后依次输入三条命令:1:./configure 2:make 3: make insall
## 或者 yum
yum install rsync
安装的完整包 客户端 服务器都有
rm -rf /var/run/rsyncd.*
创建rsync用户目录
[root@backup ~]# mkdir /backup
[root@backup ~]# useradd -s /sbin/nologin -M rsync
[root@backup ~]# chown -R rsync.rsync /backup
注意 chmnod 777
服务器配置
配置文件路径 /etc/rsyncd.conf (如果不存在,就创建)
####rsync_config-------------------------------------start-------------------
uid = rsync
gid = rsync
use chroot = no
max connections = 50
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
log file = /var/log/rsyncd.log
[backup]
path = /backup/
ignore errors
read only = false
list = false
hosts allow = 192.168.0.0/24
#hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
####rsync_config-------------------------------------end---------------------
密码配置
[root@backup ~]# echo "rsync_backup:test123456" > /etc/rsync.password
[root@backup ~]# cat /etc/rsync.password
rsync_backup:test123456
[root@backup ~]# chmod 600 /etc/rsync.password
启动服务
rsync --daemon
ps -ef|grep rsync
ss -lntup |grep rsync
可以配置为服务 /etc/systemd/system/rsyncd.service
[Unit]
Description=rsync daemon
After=network.target
[Service]
Type=forking
ExecStart=/usr/bin/rsync --daemon --no-detach --config=/etc/rsyncd.conf
PIDFile=/var/run/rsyncd.pid
[Install]
WantedBy=multi-user.target
验证客户端
配置密码
echo "test123456" > /etc/rsync.password
chmod 600 /etc/rsync.password
测试
rsync -azu /opt/cibnnas/test/ rsync_backup@192.168.0.2::backup/ --password-file=/etc/rsync.password
会在服务器创建对应 test目录
参数说明:
-a (archive mode): 归档模式:这个选项使得 rsync 保留文件的属性,包括权限、时间戳、符号链接、设备文件、目录权限等。 这意味着同步后的文件将尽可能保持与源文件相同的属性。
-z (compress): 压缩:启用数据压缩。在数据传输之前对其进行压缩,可以减少网络带宽的使用。 这对于跨网络的同步尤其有用,特别是当网络带宽有限时。
-u (update): 更新:仅当源文件比目标文件新或者目标文件不存在时才进行同步。 这意味着 rsync 不会覆盖已经存在于目标位置并且是最新的文件。
inotify-tools 工具
流程
目标服务器:先启动rsync后台服务: /usr/bin/rsync --daemon
来源服务器: 执行 inotify_bak.sh &
在来源服务器目录中新建目录和文件,inotify_bak.sh脚本会检测到,然后同步到目标服务器的相关目录下
可以查看日志文件: /opt/soft/log/rsync.log 命令如下:观察实时同步的情况。
安装
sudo yum install epel-release
yum install inotify-tools -y
inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,delete,create,attrib ./test/
-m: 即“--monitor” 表示始终保持事件监听状态。
-r: 即“--recursive” 表示递归查询目录
-q: 即“--quiet” 表示打印出监控事件
-o: 即“--outfile” 输出事情到一个文件而不是标准输出
-s: 即“--syslog” 输入错误信息到系统日志
-format: 指定输出格式;常用的格式符如:%w:表示发生事件的目录 %f:表示发生事件的文件 %e:表示发生的事件 %T:使用由-timefmt定义的时间格式
注意 该工具为文件实时监控工具,需要linux操作系统内核支持,内核支持需要至少版本为2.6.13
在源服务器上需要安装,目标服务器上不需要安装inotify,发现文件变化,同步到目标服务器。
完整脚本
inotify_bak.sh &
#!/bin/bash
# 设置源目录和目标目录(对于 rsync 来说,这实际上是远程服务器的模块名)
src_dir="/opt/cibnnas/test"
dest_server="rsync_backup@113.105.131.182::backup"
/usr/bin/inotifywait -mrq --format '%w%f' -e create,delete,close_write "$src_dir" | while read file; do
# 打印出发生变化的文件或目录
echo "Detected change in $file"
# 使用 rsync 同步变化的文件或目录到远程服务器
# 注意:由于我们监听的是目录,所以 $file 可能是文件也可能是目录
# rsync 的 -a 选项已经包含了递归,所以我们不需要 -r
# 如果 $file 是目录,rsync 会处理它;如果是文件,它也会只同步该文件
/usr/bin/rsync -azu --files-from=- - --contimeout=60 --password-file=/etc/rsync.password "$file" "$dest_server"
# 记录日志
echo "$(date): $file was rsync'ed" >>/opt/cibnnas/shell/log/rsync.log
done