1.安装aria2
添加环境变量 Path=C:\syn\aria2-1.17.1-win-32bit-build1
2.安装jdk
3.安装mysql
http://blog.csdn.net/longyuhome/article/details/7913375
配置:mysql安装路径下的my.ini
log-bin=mysql-bin
binlog_format=ROW
server-id=1 ---这个跟zookeeper里面的myid一样
4.zookeeper
conf\zoo_sample.cfg 复制并重命名为zoo.cfg
在zookeeper路径下新建文件夹 data
修改或添加: dataDir=F:\otter\zookeeper\data
添加 server.1=127.0.0.1:2887:3887 ---这里的1跟下面的 (多个机器集群的时候,分别添加ip及对应的server号,在所有机器都配上同样的信息)
在上上步新建的文件夹data下面新建文件 myid 内容取上面的数字1 ---这里是标识本机的server号
执行 bin\zkServer.cmd
dos下执行 F:\otter\zookeeper\bin\zkCli.cmd -server 127.0.0.1
5.manager
在安装manager的机器上面初始化mysql系统表
进入Mysql中执行:mysql>source X:\XX\otter-manager-schema.sql ---这个初始化已经建了otter的database
修改 otter.domainName = 启动manage的本地ip
修改 otter.database.driver.url = jdbc:mysql://mysql目标库的机器ip:3306/otter?useUnicode=true&characterEncoding=utf8
修改otter.zookeeper.cluster.default = 附件的一个zookeepeIP:2181
修改 otter.zookeeper.sessionTimeout = 90000
执行 startup.bat
6.node
conf路径下新建文件nid 数字取自前台配置的node序列号
修改otter.properties
otter.zookeeper.sessionTimeout = 90000
otter.manager.address = manager的ip:1099
执行bin\startup.bat
7.manager前台配置
1)添加zookeeper集群
2)添加node,一个源库node,一个目标库node
非集群数据库 zookeeper就随意填了
3)数据源配置
配两个 源库、目标库登陆信息
jdbc:mysql://172.31.108.170:3306/otter
---otter在源库mysql里面要手动create出来
4)数据表配置
根据上一步配置的两个库,取要同步的表,.*是同步整个otter库
5)canal配置
6)同步channel管理
点击channel名字,添加pipeline。除红色框内信息,以及并行度和消费批次大小(M),
2GB:并行度2,批次大小3000
4GB:并行度2,批次大小5000
8GB:并行度3,批次大小7000
这些数字都需要时间去验证。根据系统物理内存、业务需求,以及实时性的要求来决
定。https://github.com/alibaba/otter/wiki/Faq,第六点
其他默认
----这里的canal应该取配置为源库的canal
最后点pipe的名字进入
如果配置的双通道,就是双机房双写,那么需要点击使用文档-》数据库初始化页面。
添加环境变量 Path=C:\syn\aria2-1.17.1-win-32bit-build1
2.安装jdk
3.安装mysql
http://blog.csdn.net/longyuhome/article/details/7913375
配置:mysql安装路径下的my.ini
log-bin=mysql-bin
binlog_format=ROW
server-id=1 ---这个跟zookeeper里面的myid一样
4.zookeeper
conf\zoo_sample.cfg 复制并重命名为zoo.cfg
在zookeeper路径下新建文件夹 data
修改或添加: dataDir=F:\otter\zookeeper\data
添加 server.1=127.0.0.1:2887:3887 ---这里的1跟下面的 (多个机器集群的时候,分别添加ip及对应的server号,在所有机器都配上同样的信息)
在上上步新建的文件夹data下面新建文件 myid 内容取上面的数字1 ---这里是标识本机的server号
执行 bin\zkServer.cmd
dos下执行 F:\otter\zookeeper\bin\zkCli.cmd -server 127.0.0.1
5.manager
在安装manager的机器上面初始化mysql系统表
进入Mysql中执行:mysql>source X:\XX\otter-manager-schema.sql ---这个初始化已经建了otter的database
修改 otter.domainName = 启动manage的本地ip
修改 otter.database.driver.url = jdbc:mysql://mysql目标库的机器ip:3306/otter?useUnicode=true&characterEncoding=utf8
修改otter.zookeeper.cluster.default = 附件的一个zookeepeIP:2181
修改 otter.zookeeper.sessionTimeout = 90000
执行 startup.bat
6.node
conf路径下新建文件nid 数字取自前台配置的node序列号
修改otter.properties
otter.zookeeper.sessionTimeout = 90000
otter.manager.address = manager的ip:1099
执行bin\startup.bat
7.manager前台配置
1)添加zookeeper集群
2)添加node,一个源库node,一个目标库node
非集群数据库 zookeeper就随意填了
3)数据源配置
配两个 源库、目标库登陆信息
jdbc:mysql://172.31.108.170:3306/otter
---otter在源库mysql里面要手动create出来
4)数据表配置
根据上一步配置的两个库,取要同步的表,.*是同步整个otter库
5)canal配置
6)同步channel管理
点击channel名字,添加pipeline。除红色框内信息,以及并行度和消费批次大小(M),
2GB:并行度2,批次大小3000
4GB:并行度2,批次大小5000
8GB:并行度3,批次大小7000
这些数字都需要时间去验证。根据系统物理内存、业务需求,以及实时性的要求来决
定。https://github.com/alibaba/otter/wiki/Faq,第六点
其他默认
----这里的canal应该取配置为源库的canal
最后点pipe的名字进入
如果配置的双通道,就是双机房双写,那么需要点击使用文档-》数据库初始化页面。
在双机房的数据库(需要同步数据的数据库,而非manager自己的数据库)同时执行初始化SQL
双向需要注意
一个channel 只能添加两个 pipeline ,
两个为双向同步,如果要用DDL同步,一个pipeline开启ddl同步,
另一个不要开启,且都要开启跳过ddl异常,DryRun模式 不要开启
双向同步参考 https://github.com/alibaba/otter/wiki/Manager配置介绍