mysql迁移数据全表扫表造成的迁移失败问题

1、事故起因

公司的交易量比较大，使用的数据库是mysql，每天的增量差不多在百万左右，公司并没有分库分表，所以想维持这个表的性能只能考虑做数据迁移。

为了维持表的性能，同时保留有效数据，经过商量定了一个量，保留10天的数据，差不多要在表里面保留1kw的数据。所以同事就做了一个时间筛选的操作，直接insert
into select … dateTime < (Ten days
ago)，爽极了，直接就避免了要去分页查询数据，这样就不存在OOM啦。还简化了很多的代码操作，减少了网络问题。
为了测试，还特意建了1kw的数据来模拟，测试环境当然是没有问题啦，顺利通过。考虑到这个表是一个支付流水表，于是将这个任务做成定时任务，并且定在晚上8点执行。
晚上量也不是很大，自然是没有什么问题，但是第二天公司财务上班，开始对账，发现资金对不上，很多流水都没有入库。最终排查发现晚上8点之后，陆陆续续开始出现支付流水插入失败的问题，很多数据因此丢失。
最终定位到了是迁移任务引起的问题，刚开始还不明所以，白天没有问题，然后想到晚上出现这样的情况可能是晚上的任务出现了影响，最后停掉该任务的第二次上线，发现没有了这样的情况。

2、sql分析

已定位到是全表扫描的问题，就好解决了，explain语句来分析sql语句，发现是全表扫描，想要避免全表扫描，对where后面的条件做索引，让我们的select查询都走索引即可。

3、总结

使用insert into select迁移数据的时候请慎重，一定要做好索引。