分布式数据库中间件Mycat入门

最新推荐文章于 2021-08-30 00:06:17 发布

树欲静而风不止

最新推荐文章于 2021-08-30 00:06:17 发布

阅读量275

点赞数

分类专栏： DB 文章标签： Mycat 分布式数据库中间件

本文链接：https://blog.csdn.net/zjy660358/article/details/110475051

版权

DB 专栏收录该内容

38 篇文章 0 订阅

订阅专栏

需求：部分业务数据量达到5KW，数据统计分析，效率太慢

概念

中间件：提供系统软件和应用软件之间连接的软件，以便于软件各部件之间的沟通。通俗点这边数据库中间件，介于应用与物理数据库之间。我们操作中间件就像操作一个普通的 MySQL 一样，这就是 MyCat 的优势之一。

数据切分：通过某种特定的条件，将我们存放在同一个数据库中的数据分散存放到多个数据库（主机）上面，以达到分散单台设备负载的效果

垂直切分：不同业务模块所使用的表分拆到不同的数据库中

水平切分：将同一个表中的不同数据拆分到不同的数据库中

Mycat 的原理中最重要的一个动词是“拦截”，它拦截了用户发送过来的 SQL 语句，首先对 SQL 语句做了
一些特定的分析：如分片分析、路由分析、读写分离分析、缓存分析等，然后将此 SQL 发往后端的真实数据库，
并将返回的结果做适当的处理，最终再返回给用户。

环境：

JDK：1.8

安装

下载地址

解压

tar -zxvf Mycat-server-1.6.7.4-release-20200105164103-linux.tar.gz

配置

之前文章mysql读写分离环境已经搭建，就在这基础上做分库分表

schema.xml 管理着 MyCat 的逻辑库、表、分片规则、DataNode 以及 DataSource。

<?xml version="1.0"?>

<!DOCTYPE mycat:schema SYSTEM "schema.dtd">

<mycat:schema xmlns:mycat="http://io.mycat/">

	<!-- MyCat 可以有多个逻辑库-->
	
	
	<!-- name 中指定逻辑库的名字 ,checkSQLschema执行查询时把表示 schema Name 的字符去掉 -->
	<!-- sqlMaxLimit如果没有加上 limit 语句,limit100 ,randomDataNode 定义将一些随机语句发送到该数据节点中-->
	<schema name="TESTDB" checkSQLschema="true" sqlMaxLimit="100" randomDataNode="dn1">


		<!-- name 定义逻辑表的表名,dataNode 定义这个逻辑表所属的 dataNode,-->
		<!-- rule 逻辑表要使用的规则名字,规则名字在 rule.xml 中定义 -->
		<!-- primaryKey 逻辑表对应真实表的主键 -->
		<!-- type 逻辑表的类型,不指定是普通表，global为全局表 -->
		<!-- autoIncrement 这个表有使用自增长主键，可以用 last_insert_id()返回主键值 -->
		<table name="travelrecord,address" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" splitTableNames ="true"/>

		

	</schema>


	
	<!-- dataHost 该分片属于哪个数据库实例的  -->
	<!-- database 定义该分片属性哪个具体数据库实例上的具体库 -->
	<dataNode name="dn1" dataHost="localhost1" database="test1" />
	<dataNode name="dn2" dataHost="localhost1" database="test2" />
	<dataNode name="dn3" dataHost="localhost1" database="test3" />


	<!-- 数据库实例、读写分离配置和心跳语句 -->
	
	<!-- balance="0", 不开启读写分离机制，所有读操作都发送到当前可用的 writeHost 上。 -->
	<!-- balance="1"，全部的 readHost 与 stand by writeHost 参与 select 语句的负载均衡，
	简单的说，当双主双从模式(M1->S1，M2->S2，并且 M1 与 M2 互为主备)
	正常情况下，M2,S1,S2 都参与 select 语句的负载均衡。 -->
	<!-- balance="2"，所有读操作都随机的在 writeHost、readhost 上分发 -->
	<!-- balance="3"，所有读请求随机的分发到 wiriterHost 对应的 readhost 执行，writerHost 不负担读压力，注意 balance=3 只在 1.4 及其以后版本有，1.3 没有。 -->
	
	<!-- writeType 写类型 
	0 所有写操作发送到配置的第一个 writeHost，第一个挂了切到还生存的第二个 writeHost
	1 所有写操作都随机的发送到配置的 writeHost，1.5 以后废弃不推荐。
	2 不执行写操作 -->
	
	<!-- dbType 后端连接的数据库类型 mongodb、oracle、spark -->
	<!-- dbDriver 连接后端数据库使用的 Driver，目前可选的值有 native 和 JDBC -->
	<!-- switchType 转换的类型
		-1 表示不自动切换
		1 默认值，自动切换
		2 基于 MySQL 主从同步的状态决定是否切换 心跳语句为 show slave status
		3 基于 MySQL galary cluster 的切换机制（适合集群） version>1.4.1-->
		
	<!-- switchType为2 Seconds_Behind_Master>slaveThreshold 时，读写分离筛选器会过滤掉此 Slave 机器-->
	
	<dataHost name="localhost1" maxCon="1000" minCon="10" balance="3"

			  writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">

		<!-- 心跳检查 -->
		<heartbeat>select user()</heartbeat>


		<writeHost host="hostM1" url="localhost:33061" user="root"

				   password="1234">

            <readHost host="hostS1" url="localhost:33062" user="root" password="1234" />
		</writeHost>

	</dataHost>


</mycat:schema>

server.xml mycat 需要的系统配置信息

不做修改，先用默认的

场地有限，实际环境 dataNode在不同的dataHost和database

主库33061中建表语句

create table address(id integer primary key,username varchar(255))

//test1
INSERT into address values(11,'11')
INSERT into address values(22,'22')
//test2
INSERT into address values(33,'33')
INSERT into address values(44,'44')
//test3
INSERT into address values(55,'55')
INSERT into address values(66,'66')
INSERT into address values(77,'77')
INSERT into address values(88,'88')