加速mysql备份和恢复

链接：https://www.zhihu.com/question/20334428/answer/110981915
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

使用mysqldump备份时一般会会加上--single-transaction参数，这里假设你是加了这个参数。

一 加速备份
1 加了single-transaction参数 备份时 需要先flush table with read lock 这个过程中会有一个锁表的过程，如果有事务或语句正在执行，没有结束，那么备份进程会一直等待，并且阻塞别的事务，那么也会影响业务。所以要先确认备份的时候没有大的事务在运行。
具体 single-transaction的加锁可以参考 我的博客：mysqldump备份时加single-transaction会不会加锁
2 mysqldump是单进程的，没有办法并行，但现在机器的瓶颈多是出现在IO方面，可以使用更了的IO设备加快速度
3 mysqldump时如果空间够的话，不要边压缩边备份

二 加速恢复
1 关闭binlog:不写入Binlog会大大的加快数据导入的速度
2 innodb_flush_log_at_trx_commit=0
3 更好的配置

建议：
一 如果非要使用逻辑备份，可以考虑mysqldumper, mysqlpump(5.7)这两个工具去备份，这两个在备份的时候支持并行操作，mysqldumper还可以对单表进行恢复，在只需要恢复单表的情况下，恢复速度会大大加快
二 使用物理备份 xtrabackup (open source),MEB(oracle提供，收费)： 他们的备份原理是基于mysql crash recover， 备份速度 是和逻辑备份的相差不太大。但是恢复速度却有很大的提升。

逻辑备份 备出来的是sql语句文件，恢复时需要一条一条的执行sql,所以恢复很慢。
而物理备份和还原的速度 相当于直接copy文件，所以恢复的时候性能有很大的提升
并且这两个软件还支持并行，效果更好。

逻辑备份最大的优点是 备份好的文件经压缩后占用空间较小，最大缺点恢复太慢
物理备份可以很快的恢复，但是备份好的文件压缩后占用空间比逻辑备份要大。

mysqldump --all-databases --master-data=2 --single-transaction --quick -R --events -uroot > /tmp/full.sql

通过根踪可以看到：
8 Connect root@localhost on
8 Query
8 Query
8 Query FLUSH TABLES
8 Query FLUSH TABLES WITH READ LOCK
8 Query SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
8 Query START TRANSACTION
8 Query SHOW VARIABLES LIKE 'gtid\_mode'
8 Query SHOW MASTER STATUS
8 Query UNLOCK TABLES

从红色部分可以看出，还是会加锁的，在这个过程中，别的session同样不能进行dml， 只是加锁的时间很短。


使用single-transaction时要求：
1 只对支持事务的存储引擎有效果
2 不能执行ddl操作，因为 ddl操作会改变字典表，而字典表多数是myisam的
3 事务隔离级别为 RR

mysqldump备份时，加和不加single-transaction的区别：
通过打开general_log可以看到过程：
1 加single-transaction时，是通过START TRANSACTION 的方式来实现的。
  里面同时有很多savepoint，
2 不加single-trsnsaction是通过在整个过程中锁表实现数据一致性的。


 
左图为加single-transaction,右图未加：