DMHS同步原理介绍以及DM8同步到DM8

一、DMHS原理介绍

1.DMHS介绍

达梦数据实时同步软件 DMHS 是达梦公司推出的新一代支持异构环境的高性能、高可靠和高可扩展的数据库实时同步系统。该产品基于成熟的关系数据模型和标准接口，跨越多种软硬件平台实现秒级数据实时同步。该产品可广泛应用于应急系统、容灾备份、负载均衡、数据移植、联机维护、订阅分发和多业务中心等业务领域。

达梦数据实时同步软件 DMHS，通过秒级数据实时同步可以有效避免传统备份系统导致的无法完全满足企业对于信息系统不中断服务的问题；通过变化日志捕捉可以有效降低传统 ETL 工具因创建触发器、影子表等对业务系统带来的性能影响；通过实时的数据同步，构建“双活”的主备系统，解决传统基于数据库自身的主备系统中备机只读而无法对外提供写服务的问题。

DMHS 的组成原理框图中包含源端数据库、目标端数据库、源端 DMHS 服务以及目标端 DMHS 服务，其中源端 DMHS 服务主要由装载模块（LOAD)、日志捕获分析模块（CPT）以及管理服务模块（MGR)组成；目标端 DMHS 服务则由执行模块（EXEC)和管理服务模块(MGR)组成。

在源端，DMHS 的 CPT 模块采用优化的日志扫描算法实现增量日志数据的快速捕获分析，并将分析完成后的日志数据转换为内部的消息格式，然后通过网络将消息发送至目标端DMHS 服务；

在目标端， DMHS 服务接收到源端的日志消息后，对消息进行处理，通过多线程并行执行的方式将同步数据应用至目标端数据库，实现数据实时同步。

2.DMHS 系统组成

DMHS 同步服务主要包括四个模块，分别是捕获模块(CPT)、装载模块(LOAD)、传输 模块(NET)以及执行模块(EXEC)，这些模块统一由管理模块(MGR)进行管理执行。

管理模块(MGR)是DMHS 同步服务的启动框架，根据配置文件加载并启动相关的功能模块：

捕获模块（CPT） 

对源数据库增量日志进行捕获并完成解析，结合数据字典信息提取其中数据的变化如插入（INSERT）、删除（DELETE）、修改（UPDATE）和对象操作（DDL），然后将这些操作及数据转换为内部的消息格式投递给网络（NET）模块。

装载模块（LOAD)

DMHS 在进行增量数据同步之前，需完成同步表的字典装载和表数据的初始装载。表字典装载将所有同步表的数据字典信息从源库中抽取出来，保存为本地的数据字典文件，用于数据同步过程中提供准确表定义信息。数据初始装载用于将源端数据库的初始数据同步至目标数据库，使得源库和目标库的初始数据保持一致。

传输模块（NET）

1) NET 消息发送子模块

经过CPT捕获到的日志操作，在这里进行分发，分发前可以对操作进行过滤，或者对表进行过滤和映射，还可以对消息中的列进行映射（改名、剔除和函数计算）。经过处理的消息通过网络(TCP/IP)发送给下一级，或者保存到本地文件。

2) NET 消息接收子模块

经上一级 NET 消息发送子模块通过网络传输的消息，在这里由 NET 消息接收子模块通过网络(TCP/IP)接收并发送给 EXEC 模块。而上一级 NET 消息发送子模块保存消息的本地文件目录，既可以是一般的本地文件目录，也可以是提供 FTP 服务的 FTP 文件目录。当上一级 NET 消息发送子模块将消息保存在一般本地文件目录时，NET 消息接收子模块读取本地文件并发送给 EXEC 模块；当上一级 NET 消息发送子模块将消息保存在 FTP 文件目录时，NET 消息接收子模块可通过 FTP 服务器下载数据，并发送给 EXEC 模块。

执行模块（EXEC）

DMHS 目标端通过 NET 模块接收源端发送过来的日志消息，然后把这些消息按事务分类，如果某个事务上收到了提交消息，则通过 SQL 逆向生成的技术构造还原相应的事务 SQL语句，使用 ODBC 驱动接口对这些数据进行入库执行，完成数据同步；如果某个事务在源端回滚，则直接丢弃不执行。

二、安装前准备环境

1.DMHS安装环境

源端环境：达梦8  ip：192.168.1.104  主机名：centos-04 操作系统版本：ky10

目的端环境：达梦8 ip：192.168.1.105    主机名：centos-05 操作系统版本：ky10

2.安装环境检查

1）检查系统信息

源端192.168.1.104：

[root@centos-04 ~]# lsb_release -a

LSB Version:    :core-5.0-amd64:core-5.0-noarch

Distributor ID: KylinAdvancedServer

Description:    Kylin Linux Advanced Server release V10 (Sword)

Release:        V10

Codename:       Sword

[root@centos-04 ~]# getconf LONG_BIT

64

[root@centos-04 ~]#