多系统之间大数据量增量同步解决方案

一、背景介绍

上海立邦TU报销系统，是上海立邦集团针对内部的报销的业务，编写的一套系统，此系统主要特点是和Web、SAP和Notes等系统实现无缝对接，从而完成整体业务的流转，目前立邦已经存在SAP报销系统、Notes系统，情况如下：

n  SAP报销系统：实现上海立邦主要业务的实现，例如：供应商、客户、员工、人员等信息的维护及控制

n  Notes：主要通过邮件实现对业务流转中的具体单据进行审核以及日常的业务管理

n  TU报销系统：主要通过同步SAP报销系统中的供应商、客户、员工、项目等主数据信息，编写报销单，递交到Notes系统进行数据流转，并且递交数据到SAP，从而完成整个业务处理

二、需求说明

在SAP报销系统中的主数据据达到百万级的数据，需要要将其中的供应商、客户、员工、项目等信息同步到本地数据库中：

1)    SAP每天每种类型的主数据大约会增加2000条以上的数据量

2)    要求每天同步数据一次，在紧急状态下，可以实现手动同步

3)    5年只能不能因为数据量太大，导致同步业务失败，引起代码重构

三、概要设计

由于数据量太大，决定采用增量同步的方式进行数据同步；为了满足用户需求，同时设计手动同步的模块，实现手动及时同步。

四、详细设计

1.     SAP的数据获取

采用PI方式获取SAP数据，通过WebService方式发布数据，由于是采用增量同步，因此有2个必备参数为：开始时间、中止时间，数据获取逻辑如下

n