数据备份-linux之间同步目录和文件

需求

在软件开发与运维的过程中，数据远程同步不仅是保障业务连续性的关键步骤，也是灾难恢复计划不可或缺的一部分。
这一过程涉及将关键数据，包括文件、数据库、目录结构、定时打包的资源等，从生产环境安全、高效地传输至远程备份服务器。这样做的目的在于，一旦主系统遭遇硬件故障、自然灾害、人为错误或网络攻击等不可预见事件导致数据丢失或损坏时，能够迅速且准确地从备份中恢复数据，以最小化业务中断时间和损失。

设计思路

使用crontab、rsync 和 inotify-tools 完成

• rsync

rsync
是一个用于文件和目录同步的强大工具，它能高效地同步两个目录的内容，并且可以跨网络进行操作。它支持增量数据传输，这意味着只传输文件变化的部分，从而节省了大量的带宽和时间。
rsync 将文件分割成固定大小的块，并计算每个块的校验和。
在同步过程中，rsync 检查源文件和目标文件中对应块的校验和是否相同。
如果校验和匹配，则认为该块没有变化，不需要传输；如果不匹配，则传输该块

• inotify-tools

inotify-tools 提供了一个名为 inotifywait 的工具，它可以监视文件系统事件，并在检测到事件时触发动作。

• crontab

crontab
是一个用于设置定时任务的工具，可以让您在指定的时间自动执行命令或脚本。这对于自动化任务非常有用，比如定期备份、清理日志文件、同步文件等。

定时打包相关资源

此功能比较简单 使用crontab执行脚本

0 0 * * * /opt/timer/xxx_backup_targz.sh

脚本格式如下 根据需求替换 输入输出目录

#!/bin/bash  
  
# 定义备份资料的名称，包含当前日期  
DATE=$(date +%Y%m%d)  
BACKUP_FILE="/opt/test-bk/osslog-${DATE}.tgz"  
SOURCE_DIR="/data/test/use205"  
  
# 使用tar命令打包并压缩目录  
tar czvf "$BACKUP_FILE" "$SOURCE_DIR"  
  
# 可以在这里添加更多的命令，比如日志记录等  
echo "Backup completed: $BACKUP_FILE" >> /opt/cibnnas/shell/osssql_backup.log

rsync同步

介绍

在 rsync 的网络同步场景中，通常有一个服务器端和一个或多个客户端。以下是它们的工作流程：

• 客户端发起同步请求：
  客户端通过命令行调用 rsync，并指定源文件和目标文件的位置。如果目标文件位于远程服务器上，客户端会通过网络连接到远程服务器。
• 服务器端响应：
  服务器端接收到客户端的请求后，开始执行同步操作。服务器端计算源文件的块校验和，并与客户端发送的目标文件的块校验和进行比较。
• 数据传输：
  对于不匹配的块，客户端只传输这些块给服务端。服务端接收到这些块后，将它们合并到目标文件中。
  结束同步：
  当所有需要同步的块都被传输完毕后，同步过程结束。

注意 rsync 的工作方式更为灵活，它可以双向同步文件，即可以从客户端向服务器传输文件，也可以从服务器向客户端传输文件。如果命令是从客户端到服务器，那么客户端会发送文件差异到服务器；如果是从服务器到客户端，那么服务器会发送文件差异到客户端
配置的时候需要根据具体需求判断

例如： 将192.168.0.1 上的 /opt/test/ 目录 同步到 192.168.0.2

           192.168.0.1=====>192.168.0.2
192.168.0.1 源服务器     有目录 /opt/test/          是rsync客户端
192.168.0.2 目标服务器  有目录 /opt/bak/test/   是服务端 
rsync 
源服务器： 是rsync客户端，不需要配置
目标服务器： 是rsync服务器端，需要配置/etc/rsyncd.conf里的内容 

安装

查看 rpm -qa | grep rsyn

## 源码安装
下载：wget https://download.samba.org/pub/rsync/rsync-3.1.3.tar.gz
解压：解压tar.gz文件: tar -zxvf filename.tar.gz 解压tar.bz2文件： tar -jxvf filename.tar.bz2
安装：进入解压目录后依次输入三条命令：1：./configure 2：make 3： make insall

## 或者 yum
yum install rsync
安装的完整包 客户端 服务器都有

rm -rf /var/run/rsyncd.*

创建rsync用户目录

[root@backup ~]# mkdir /backup
[root@backup ~]# useradd -s /sbin/nologin -M rsync
[root@backup ~]# chown -R rsync.rsync /backup
注意 chmnod 777

服务器配置

配置文件路径 /etc/rsyncd.conf （如果不存在，就创建）

####rsync_config-------------------------------------start-------------------
uid = rsync
gid = rsync
use chroot = no
max connections = 50
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
log file = /var/log/rsyncd.log
[backup]
path = /backup/
ignore errors
read only = false
list = false
hosts allow = 192.168.0.0/24
#hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
####rsync_config-------------------------------------end---------------------

密码配置

[root@backup ~]# echo "rsync_backup:test123456" > /etc/rsync.password
[root@backup ~]# cat /etc/rsync.password
rsync_backup:test123456
[root@backup ~]# chmod 600 /etc/rsync.password

启动服务

rsync --daemon
ps -ef|grep rsync
 ss -lntup |grep rsync

可以配置为服务 /etc/systemd/system/rsyncd.service

[Unit]  
Description=rsync daemon  
After=network.target  
  
[Service]  
Type=forking  
ExecStart=/usr/bin/rsync --daemon --no-detach --config=/etc/rsyncd.conf  
PIDFile=/var/run/rsyncd.pid  
  
[Install]  
WantedBy=multi-user.target

验证客户端

配置密码 

echo "test123456" > /etc/rsync.password
chmod 600 /etc/rsync.password

测试

rsync -azu /opt/cibnnas/test/ rsync_backup@192.168.0.2::backup/ --password-file=/etc/rsync.password

会在服务器创建对应 test目录

参数说明：

-a (archive mode)： 归档模式：这个选项使得 rsync 保留文件的属性，包括权限、时间戳、符号链接、设备文件、目录权限等。 这意味着同步后的文件将尽可能保持与源文件相同的属性。
-z (compress)： 压缩：启用数据压缩。在数据传输之前对其进行压缩，可以减少网络带宽的使用。 这对于跨网络的同步尤其有用，特别是当网络带宽有限时。
-u (update)： 更新：仅当源文件比目标文件新或者目标文件不存在时才进行同步。 这意味着 rsync 不会覆盖已经存在于目标位置并且是最新的文件。

inotify-tools 工具

流程 
目标服务器：先启动rsync后台服务： /usr/bin/rsync --daemon
来源服务器： 执行 inotify_bak.sh & 
在来源服务器目录中新建目录和文件，inotify_bak.sh脚本会检测到，然后同步到目标服务器的相关目录下 
可以查看日志文件： /opt/soft/log/rsync.log 命令如下：观察实时同步的情况。

安装

sudo yum install epel-release
yum install inotify-tools -y

inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,delete,create,attrib ./test/

   -m： 即“--monitor”   表示始终保持事件监听状态。
   -r： 即“--recursive” 表示递归查询目录
   -q： 即“--quiet”     表示打印出监控事件
   -o： 即“--outfile”   输出事情到一个文件而不是标准输出
   -s:  即“--syslog”    输入错误信息到系统日志
   -format： 指定输出格式；常用的格式符如：%w：表示发生事件的目录 %f：表示发生事件的文件 %e：表示发生的事件 %T：使用由-timefmt定义的时间格式

注意 该工具为文件实时监控工具，需要linux操作系统内核支持，内核支持需要至少版本为2.6.13

在源服务器上需要安装，目标服务器上不需要安装inotify，发现文件变化，同步到目标服务器。

完整脚本

inotify_bak.sh &

#!/bin/bash  

# 设置源目录和目标目录（对于 rsync 来说，这实际上是远程服务器的模块名）  
src_dir="/opt/cibnnas/test"  
dest_server="rsync_backup@113.105.131.182::backup"  

/usr/bin/inotifywait -mrq --format '%w%f' -e create,delete,close_write "$src_dir" | while read file; do  
# 打印出发生变化的文件或目录  
echo "Detected change in $file"  

# 使用 rsync 同步变化的文件或目录到远程服务器  
# 注意：由于我们监听的是目录，所以 $file 可能是文件也可能是目录  
# rsync 的 -a 选项已经包含了递归，所以我们不需要 -r  
# 如果 $file 是目录，rsync 会处理它；如果是文件，它也会只同步该文件  
/usr/bin/rsync -azu --files-from=- - --contimeout=60 --password-file=/etc/rsync.password "$file" "$dest_server" 
# 记录日志  
echo "$(date): $file was rsync'ed" >>/opt/cibnnas/shell/log/rsync.log  
done