需求:部分业务数据量达到5KW,数据统计分析,效率太慢
概念
中间件:提供系统软件和应用软件之间连接的软件,以便于软件各部件之间的沟通。通俗点这边数据库中间件,介于应用与物理数据库之间。我们操作中间件就像操作一个普通的 MySQL 一样,这就是 MyCat 的优势之一。
数据切分:通过某种特定的条件,将我们存放在同一个数据库中的数据分散存放到多个数据库(主机)上面,以达到分散单台设备负载的效果
垂直切分:不同业务模块所使用的表分拆到不同的数据库中
水平切分:将同一个表中的不同数据拆分到不同的数据库中
Mycat 的原理中最重要的一个动词是“拦截”,它拦截了用户发送过来的 SQL 语句,首先对 SQL 语句做了
一些特定的分析:如分片分析、路由分析、读写分离分析、缓存分析等,然后将此 SQL 发往后端的真实数据库,
并将返回的结果做适当的处理,最终再返回给用户。
环境:
JDK:1.8
安装
解压
tar -zxvf Mycat-server-1.6.7.4-release-20200105164103-linux.tar.gz
配置
之前文章mysql读写分离环境已经搭建,就在这基础上做分库分表
schema.xml 管理着 MyCat 的逻辑库、表、分片规则、DataNode 以及 DataSource。
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<!-- MyCat 可以有多个逻辑库-->
<!-- name 中指定逻辑库的名字 ,checkSQLschema执行查询时把表示 schema Name 的字符去掉 -->
<!-- sqlMaxLimit如果没有加上 limit 语句,limit100 ,randomDataNode 定义将一些随机语句发送到该数据节点中-->
<schema name="TESTDB" checkSQLschema="true" sqlMaxLimit="100" randomDataNode="dn1">
<!-- name 定义逻辑表的表名,dataNode 定义这个逻辑表所属的 dataNode,-->
<!-- rule 逻辑表要使用的规则名字,规则名字在 rule.xml 中定义 -->
<!-- primaryKey 逻辑表对应真实表的主键 -->
<!-- type 逻辑表的类型,不指定是普通表,global为全局表 -->
<!-- autoIncrement 这个表有使用自增长主键,可以用 last_insert_id()返回主键值 -->
<table name="travelrecord,address" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" splitTableNames ="true"/>
</schema>
<!-- dataHost 该分片属于哪个数据库实例的 -->
<!-- database 定义该分片属性哪个具体数据库实例上的具体库 -->
<dataNode name="dn1" dataHost="localhost1" database="test1" />
<dataNode name="dn2" dataHost="localhost1" database="test2" />
<dataNode name="dn3" dataHost="localhost1" database="test3" />
<!-- 数据库实例、读写分离配置和心跳语句 -->
<!-- balance="0", 不开启读写分离机制,所有读操作都发送到当前可用的 writeHost 上。 -->
<!-- balance="1",全部的 readHost 与 stand by writeHost 参与 select 语句的负载均衡,
简单的说,当双主双从模式(M1->S1,M2->S2,并且 M1 与 M2 互为主备)
正常情况下,M2,S1,S2 都参与 select 语句的负载均衡。 -->
<!-- balance="2",所有读操作都随机的在 writeHost、readhost 上分发 -->
<!-- balance="3",所有读请求随机的分发到 wiriterHost 对应的 readhost 执行,writerHost 不负担读压力,注意 balance=3 只在 1.4 及其以后版本有,1.3 没有。 -->
<!-- writeType 写类型
0 所有写操作发送到配置的第一个 writeHost,第一个挂了切到还生存的第二个 writeHost
1 所有写操作都随机的发送到配置的 writeHost,1.5 以后废弃不推荐。
2 不执行写操作 -->
<!-- dbType 后端连接的数据库类型 mongodb、oracle、spark -->
<!-- dbDriver 连接后端数据库使用的 Driver,目前可选的值有 native 和 JDBC -->
<!-- switchType 转换的类型
-1 表示不自动切换
1 默认值,自动切换
2 基于 MySQL 主从同步的状态决定是否切换 心跳语句为 show slave status
3 基于 MySQL galary cluster 的切换机制(适合集群) version>1.4.1-->
<!-- switchType为2 Seconds_Behind_Master>slaveThreshold 时,读写分离筛选器会过滤掉此 Slave 机器-->
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="3"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<!-- 心跳检查 -->
<heartbeat>select user()</heartbeat>
<writeHost host="hostM1" url="localhost:33061" user="root"
password="1234">
<readHost host="hostS1" url="localhost:33062" user="root" password="1234" />
</writeHost>
</dataHost>
</mycat:schema>
server.xml mycat 需要的系统配置信息
不做修改,先用默认的
场地有限,实际环境 dataNode在不同的dataHost和database
主库33061中建表语句
create table address(id integer primary key,username varchar(255))
//test1
INSERT into address values(11,'11')
INSERT into address values(22,'22')
//test2
INSERT into address values(33,'33')
INSERT into address values(44,'44')
//test3
INSERT into address values(55,'55')
INSERT into address values(66,'66')
INSERT into address values(77,'77')
INSERT into address values(88,'88')
测试
主库中加一条数据,mycat的address就加一条数据。mycat中修改username,相应分片库中,更新username,从库也相应更新。
我把主从复制,Slave_SQL_Running挂掉,mycat数据更新,因我配置了balance=3,数据还是从库取。主库数据更新了,mycat还是显示之前数据
这就要牵扯balance、writeType、switchType三个属性根据自身搭建