用Mycat实现从Oracle迁移到Mysql

最新推荐文章于 2024-07-05 17:17:32 发布

zhanglei_16

最新推荐文章于 2024-07-05 17:17:32 发布

阅读量2.5k

点赞数

分类专栏： Mycat 文章标签： mycat mysql oracle

本文链接：https://blog.csdn.net/zhanglei_16/article/details/50993281

版权

Mycat 专栏收录该内容

11 篇文章 0 订阅

订阅专栏

Mycat 后面接一个Oracle实例与一个MySQL实例，假设用户表，订单表，转账记录表，Oracle字符集为GBK的，MySQL字符集则要求UTF8的
完成用户表与订单表到MySQL的迁移过程，要求导数据是通过命令行连接Mycat来完成的

同时操作如下过程：
在Mycat里查询转账记录表，查询OK

在Mycat里查询用户表，查询OK

####################################

1:准备Oracle测试环境
Linux 部署安装Oracle 过程省略
创建Oracle用户：
create tablespace mycat datafile '/oracle/oradata/orcl/mycat' size 50M autoextend on;
create user mycat identified by mycat123
default tablespace mycat
temporary tablespace temp;
grant connect,resource to mycat;

确认Oracle的字符集为GBK
select userenv('language') from dual;
USERENV('LANGUAGE')
----------------------------------------------------
AMERICAN_AMERICA.ZHS16GBK

通过mycat创建Oracle表，也可以在oracle实例上创建表：
conn mycat/mycat123
create table uc_user(id number,uc_name varchar(64),create_time date);
create table uc_order(id number,uc_id number,shop_name varchar(64),create_time date);
create table traders(id number,uc_id number,order_id number,fee number,trade_status char(1),create_time date);

2：准备mysql测试环境
建库，这里为了好提现对比，所以将mysql实例下的表加了后缀_2来区分：
去mysql实例上建库： create database powerdes;
在myacat命令行上建表，mysql相对于oracle，比如数字int、日期datetime等都描述不一样：
create table uc_user_2(id int,uc_name varchar(64),create_time datetime);
create table uc_order_2(id int,uc_id int,shop_name varchar(64),create_time datetime);
create table traders_2(id int,uc_id int,order_id int,fee int,trade_status char(1),create_time datetime);

3：mycat中配置oracle、mysql数据源
schema.xml中oracle配置：
<table name="UC_USER" primaryKey="_ID" dataNode="dn_oracle_1" needAddLimit="false"/> <table name="ORDER" primaryKey="_ID" dataNode="dn_oracle_1" needAddLimit="false"/>
<table name="TRADERS" primaryKey="_ID" dataNode="dn_oracle_1" needAddLimit="false"/>

<dataNode name="dn_oracle_1" dataHost="dn_oracle_1" database="orcl" />

<dataHost name="dn_oracle_1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="oracle" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select 1 from dual</heartbeat>
<connectionInitSql>alter session set nls_date_format='yyyy-mm-dd hh24:mi:ss'</connectionInitSql>
<writeHost host="hostM1" url="jdbc:oracle:thin:@192.168.10.20:1521:orcl" user="mycat" password="mycat123456" >
</writeHost>
</dataHost>

schema.xml里面配置mysql源：
<table name="UC_USER_2"primaryKey="_ID" dataNode="dn_uc" needAddLimit="false"/> <table name="UC_ORDER_2"primaryKey="_ID" dataNode="dn_uc" needAddLimit="false"/>
<table name="TRADERS_2" primaryKey="_ID" dataNode="dn_uc" needAddLimit="false"/>

<dataNode name="dn_uc"dataHost="mysql1" database="powerdes" />

############################################
配置好后的schema.xml：
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://org.opencloudb/">
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" >
<table name="UC_USER" primaryKey="_ID" dataNode="dn_oracle_1" needAddLimit="false"/>
<table name="ORDER" primaryKey="_ID" dataNode="dn_oracle_1" needAddLimit="false"/>
<table name="TRADERS" primaryKey="_ID" dataNode="dn_oracle_1" needAddLimit="false"/>
<table name="UC_USER_2" primaryKey="_ID" dataNode="dn_uc" needAddLimit="false"/>
<table name="UC_ORDER_2" primaryKey="_ID" dataNode="dn_uc" needAddLimit="false"/>
<table name="TRADERS_2" primaryKey="_ID" dataNode="dn_uc" needAddLimit="false"/>
</schema>

<dataNode name="dn_oracle_1" dataHost="dn_oracle_1" database="orcl" />
<dataNode name="dn_uc" dataHost="mysql1" database="powerdes" />

<dataHost name="dn_oracle_1" maxCon="1000" minCon="1" balance="0" writeType="0" dbType="oracle" dbDriver="jdbc">
<heartbeat>select 1 from dual</heartbeat>
<connectionInitSql>alter session set nls_date_format='yyyy-mm-dd hh24:mi:ss'</connectionInitSql>
<writeHost host="oracle1" url="jdbc:oracle:thin:@192.168.10.20:1521:orcl" user="mycat" password="mycat123">
</writeHost>
</dataHost>

<dataHost name="mysql1" maxCon="1000" minCon="10" balance="1"
writeType="0" dbType="mysql" dbDriver="native" switchType="2" slaveThreshold="100">
<heartbeat>show slave status</heartbeat>
<writeHost host="mysql1" url="192.168.10.23:3306" user="root" password="oracle">
</writeHost>
</dataHost>
</mycat:schema>

加载oracle的lib包，默认在/oracle/product/11.2.0/db_1/jdbc/lib下，ojdbc6.jar文件。
需要把oracle的jar包放到mycat安装目录下，一般是用这个ojdbc6.jar，放到/usr/mysql/mycat/lib目录下面，然后重新加载下mycat生效。

4：录入oracle数据
在oracle实例窗口录入数据：
用Pl/SQL录入用户数据：
INSERT INTO mycat.UC_USER(ID,UC_NAME,CREATE_TIME)VALUES(1,'张三',SYSDATE);
INSERT INTO mycat.UC_USER(ID,UC_NAME,CREATE_TIME)VALUES(2,'李四',SYSDATE);
录入订单数据：
INSERT INTO mycat.UC_ORDER(ID,UC_ID,SHOP_NAME,CREATE_TIME)VALUES(1,1,'mycat技术权威指南书籍',SYSDATE);
INSERT INTO mycat.UC_ORDER(ID,UC_ID,SHOP_NAME,CREATE_TIME)VALUES(2,2,'mysql高性能第三版',SYSDATE);
录入转账数据：
INSERT INTO mycat.TRADERS(ID,UC_ID,ORDER_ID,FEE,TRADE_STATUS,CREATE_TIME)VALUES(1,1,1,59,1,SYSDATE);
INSERT INTO mycat.TRADERS(ID,UC_ID,ORDER_ID,FEE,TRADE_STATUS,CREATE_TIME)VALUES(2,2,2,119,1,SYSDATE);

防止乱码配置，在server.xml里面配置：
<property name="charset">utf8</property>

5：在mycat平台上从oracle迁移到mysql中文乱码怎么破？
5.1，从oracle迁移出来
在mycat命令行迁移出来：
mysql -h192.168.10.21 -P8066 -uroot -poracle -DTESTDB -s -N -e "select * from UC_USER" > /tmp/UC_USER.txt

[root@mycat1 conf]# mysql -h192.168.10.21 -P8066 -uroot -poracle -DTESTDB -s -N -e "select * from UC_USER" > /tmp/UC_USER.txt
[root@mycat1 conf]# more /tmp/UC_USER.txt
1 ???? 2016-04-06 23:09:48
2 ???? 2016-04-06 23:11:19

5.2，导入到mysql实例中
在mycat命令行执行load data infile '/tmp/UC_USER.txt' into table UC_USER_2;：
load data infile '/tmp/UC_USER.txt' into table UC_USER_2;
[root@mycat1 conf]# mysql -h192.168.10.21 -P8066 -uroot -poracle -DTESTDB
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.5.8-mycat-1.5-alpha-20151221110028 MyCat Server (OpenCloundDB)
Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> load data infile '/tmp/UC_USER.txt' into table UC_USER_2;
Query OK, 2 rows affected (0.24 sec)
Records: 2 Deleted: 0 Skipped: 0 Warnings: 0

mysql> select * from uc_user_2;
+------+---------+---------------------+
| id | uc_name | create_time |
+------+---------+---------------------+
| 1 | ???? | 2016-04-06 23:09:48 |
| 2 | ???? | 2016-04-06 23:11:19 |
+------+---------+---------------------+

6：在mycat平台上从oracle迁移到mysql中文正常
指导思想：
Mycat对于数据库而言就是客户端，一般来讲客户端字符编码与数据库服务端一致就不会有什么问题，或者是严格超集，保证插入到数据库不因转码而丢失。
客户端、系统终端、数据库三者字符庥得协调，否则不一致的话，会有字符集转换的问题，有时候，显示正确的，但不一定在数据库就保存正确，
或者保存到数据库的数据编码正确，没准显示为乱码。这就意味着，在oracle里面是gbk或者latin1啥都没有关系，只要做好以下3点：
(1)，在迁移到mysql里面，在mycat平台上从oracle导出时候字符集设置为utf8
(2)，在mycat平台上导入到mysql字符集也要设置为utf8
(3)，然后在mycat平台上查看数据也要设置字符集为utf8
做好了以上3点，三而合一，这样就能正常显示中文了。

6.1：从oracle导出设定好字符集utf8
设定好utf8，--default-character-set=utf8：

mysql -h192.168.10.21 -P8066 -uroot -poracle -DTESTDB -s -N --default-character-set=utf8 -e "select * from UC_USER" > /tmp/UC_USER_2.txt
mysql -h192.168.10.21 -P8066 -uroot -poracle -DTESTDB -s -N --default-character-set=utf8 -e "select * from UC_ORDER" > /tmp/UC_ORDER_2.txt
mysql -h192.168.10.21 -P8066 -uroot -poracle -DTESTDB -s -N --default-character-set=utf8 -e "select * from TRADERS" > /tmp/TRADERS_2.txt

mysql> set names utf8; Query OK, 0 rows affected (0.00 sec)

mysql> load data infile '/tmp/UC_USER_2.txt' into table UC_USER_2;
Query OK, 2 rows affected (0.03 sec)
Records: 2 Deleted: 0 Skipped: 0 Warnings: 0

mysql> load data infile '/tmp/UC_ORDER_2.txt' into table UC_ORDER_2;
Query OK, 2 rows affected (0.02 sec)
Records: 2 Deleted: 0 Skipped: 0 Warnings: 0

mysql> load data infile '/tmp/TRADERS_2.txt' into table TRADERS_2;
load data infile '/tmp/UC_USER_2.txt' into table UC_USER_2;