MySQL2MySQL离线同步工具

一、概述

---

功能：Mysql向Mysql数据同步工具，可实现全量、增量同步。基于PYTHON3语言开发，支持MySQL表全量、增量方式同步至MySQL数据库中，基于时间戳实现。

1.1 安装依赖

pip install pymysql

1.3 启动同步

python3 sync_mysql2mysql.py -conf sync_mysql2mysql.ini -debug

二、配置文件

---

[sync]
sync_db_mysql_sour=10.28.8.233:3306:hopsonone_flow_cd_real_time:sync:sync

sync_db_mysql_desc=10.28.8.234:3306:hopsonone_flow_cd_real_time:sync:sync

sync_table=dbo_summary_thirty:modifytime:1

batch_size=2000

batch_size_incr=200

sync_gap=30

mail_title=成都实时客流同步情况[PROD/BI]=>[MySQL->MySQL]

send_mail_user=test@163.com

send_mail_pass=xxxxxxx

acpt_mail_user=test@163.com

send_mail_gap=1800

sync_type=flow_real_cd

sync_col_val=108

sync_time_type=hour

2.2 参数说明：

---

参数名	参数描述
sync_db_mysql_sour	配置 MySQL源数据库连接，格式：IP:PORT:DB:USER:PASS
sync_db_mysql_desc	配置 MySQL目标数据库连接，格式：IP:PORT:DB:USER:PASS
sync_table	配置同步表，格式:TNAME:COL:TIME,COL:指的是时间列，TIME：指同步最近多长时间的数据，值依赖参数sync_time_type，TNAME为必填项，其它两项为空表示全量，有值表示增量。
sync_time_type	配置同步时间类型，值为：day,hour,min
batch_size	全量同步批大小，必须为正数，全量同步时多少数据打包在一起发送
batch_size_incr	增量同步批大小，必须为正数
sync_gap	配置每次同步后休眠的秒数
mail_title	邮件标题
send_mail_user	发件人用户
send_mail_pass	发件人密码
acpt_mail_user	收件人用户
send_mail_gap	发送邮件间隔，单位：秒
sync_time_type	配置同步时间类型，值为：day,hour,min