大数据：大数据比对平台dataCompare设计与实践

---

背景

在大数数据开发过程中，经常会遇到数据迁移或者升级的工作，或者不同的业务方根据需求加工了一下数据，但是认为两边的数据还是一样，因此会出现需要去手动比对数据。那两边数据究竟是不是一致的呢？如果不一致，那又有哪些差异呢？

如果没有平台的话，需要手动写一些SQL 脚本进行去比对的，而且也没有一个评估标准。这样的话效率比较低下。

痛点：

• (1)验证数据、数据比对，浪费极大的人力成本
• (2)没有一套标准，验证的结果难以评估
• (3)达到界面交互、勾选或者低代码即可实现自动化数据校验比对

目标：

• (1)采用界面交互、勾选的方式或者低代码的方式即可实现自动化数据校验对比。
• (2)数据团队的验数比对效率，至少提升50%左右。
• (3)一套统一的数据验证方案，达到数据校验比对的标准规范

架构设计

前端主要是针对数据校验对比选择表和字段，生成校验任务。

后端主要是采用spring boot、Mybatis 将前端的配置