DMHS系统组成

9 篇文章 0 订阅
4 篇文章 0 订阅

引言

DMHS 同步服务主要分为三大模块,分别是日志分析(CPT)、数据入库(EXEC)和消息发
送(NET),这三个模块统一由管理模块(MGR)进行调度执行。
在这里插入图片描述

1. 日志分析(CPT)

负责对源数据库日志进行解析,联合字典信息提取其中数据的变化如插入(INSERT)、
删除(DELETE)、修改(UPDATE)和对像操作(DDL),这些操作经过包装后投递给消
息发送(NET)模块。
CPT 分析日志时,需要从数据库中查询表的字典信息以及日志文件发生切换时需要访问
日志文件信息,也就是说,日志分析过程中 CPT 会和源数据库建立连接进行交互。如果同
步需要支持同步 DDL,那么还需要在源数据库(DM6、DM7 和 ORACLE)上建立事件触发
器,用来捕获 DDL 操作,这些配置需要在搭建同步时完成。

2. 数据传输(NET)

. 1) NET 消息发送子模块**
经过 CPT 捕获到的日志操作,在这里进行分发,分发前可以对操作进行过滤,或者对
表进行过滤和映射,还可以对消息中的列进行映射(改名、剔除和函数计算)。经过处理的
消息通过网络(TCP/IP)发送给下一级,或者保存到本地文件。
.2) NET 消息接收子模块
经上一级 NET 消息发送子模块通过网络传输的消息,在这里由 NET 消息接收子模块通
过网络(TCP/IP)接收并发送给 EXEC 模块。而上一级 NET 消息发送子模块保存消息的本地
文件目录,既可以是一般的本地文件目录,也可以是提供 FTP 服务的 FTP 文件目录。当上
一级 NET 消息发送子模块将消息保存在一般本地文件目录时,NET 消息接收子模块读取本
地文件并发送给 EXEC 模块;当上一级 NET 消息发送子模块将消息保存在 FTP 文件目录时,
NET 消息接收子模块可通过 FTP 服务器下载数据,并发送给 EXEC 模块。
除了作为 CPT 模块和 EXEC 模块的传输媒介外,NET 模块还能够单独实现转发和路由
功能,这两个功能需要在配置文件中独立配置,通过转发和路由功能实现多对多、一对多、
文件中转和 FTP 中转的高级功能,具体配置方式和功能介绍请参阅相关章节。

3. 数据入库(EXEC)

EXEC 模块接收到 NET 接受子模块发来的消息,把这些消息按事务分类,如果某个事
务上收到了提交消息,则构造相应的 SQL,使用 ODBC 驱动接口对这些数据进行入库;如
果某个事务在源端回滚,则直接丢弃不执行。同步中如果使用了中文表名或者字段名,要使
用支持中文字符集的 unixODBC,否则描述表会出错。
EXEC 模块在运行过程中需要不断的刷新检查点,以便推进入库的 LSN。

更多资讯请上达梦技术社区了解: https://eco.dameng.com

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值