最近在开发一个数据校验、转换的项目,使用的是Mirosoft的SQLServer 20005 Intergration Service - 简称SSIS,感觉到SSIS的功能的确很强大。通过自己的学习研究和咨询微软的MVP徐老师,熟悉了SSIS的使用方法并已经开发出成型可用的东西。
我在这里说一下我们通过SSIS完成的功能,如果各位也有类似的功能需求,可以借鉴此套解决方案。如在SSIS开发中遇到问题,可以与我联系。我们一起学习。
使用工具:Microsoft Visual Stuidio 2005, Microsoft SQLServer 2005,Intergraion Service.
技术:VB.NET,WebService,SQLServer 存储过程
系统运行流程:
1 B/S业务管理系统(WebLogic)通过页面接收到用户上传的源文件、用户输入的业务参数
2 B/S业务管理系统把用户上传的文件路径(一个或多个文件)、业务参数通过WebService(VB.NET编写)发送给ETL子系统(我负责的数据转换、校验系统)
3 ETL子系统接收到参数之后,通过TFTP去B/S业务管理系统服务器上获取需处理的源文件,下载到本地的一个目录。
4 VB.NET程序到数据表里查询预先定义好的配置信息,选择需要执行的DTS包(或称为SSIS包)路径,然后执行DTS包
5 DTS包中完成了对源文件(可以是DBF、EXCEL、TXT等)的校验和数值转换。符