软考高级系统架构设计师系列论文二十九：论异构数据库集成应用

一、摘要

• 本文讨论了某数据集市项目的数据集成方法与过程。该系统在2008年12月启动，在2009年5月正式上线使用。该系统是以oracle系统为主要的数据库，同时集成DB2系统中的数据。每天的话费清单系在DB2数据库中存储，通过ETL调度程序把DB2中的数据进行汇总并把结果写入到ORACLE数据仓库中。本文首先讨论了建立数据集市项目异构数据库的两个数据库系统的背景以及用户对该项目的需求。接着讨论了使用Perl技术来集成两个数据库中的业务逻辑的过程，并说明了该技术在集成过程中出现的问题，如：数据分层，ETL调度程序改造，以及参数化SQL处理等问题。最后讨论了该集成方法的优点和缺点，并对改进该项目提出了优化Perl技术的设想。在本次的项目开发过程中，我主要担任了系统分析与设计的工作。

二、正文

• 某数据集市项目是在2008年12月启动的，我所在的部门主旨了该项目的开发过程，我有幸在该项目中担任了系统分析与设计的工作。该项目的实施是基于以下的背景的。在2005年12月，我们部门已经组织了开发**经营分析系统，该系统已经建立了数据仓库系统，把BOSS，财务数据，DSMP，MIS等项目的业务操作数据作为数据源，通过清洗，转换，装载等方式把所有的清单一级的数据全部集中到该系统中了，该经营分析系统是基于DB2的数据库开发而成的，把数据仓库分为了STAGE层，ODS层，EDS层，REF层。STAGE层是数据清单的原始数据，ODS层是经过日汇总的数据，EDS层是经过维度统一化后的数据，REF层是维度数据层。每一层数据之间的业务逻辑是通过ETL调度程序实现，该程序主要调用的是数据库中的