mycat 连续分片(按日期（天）分片)

最新推荐文章于 2021-07-25 16:16:42 发布
最新推荐文章于 2021-07-25 16:16:42 发布
阅读量984 收藏
点赞数
分类专栏： Mycat 文章标签： mycat mysql
mycat 连续分片(按日期（天）分片)
1：按日期（天）分片
按日期（天）分片：从开始日期算起，按照天数来分片 
例如，从2016-01-01，每10天一个分片 
注意事项：需要提前将分片规划好，建好，否则有可能日期超出实际配置分片数

2：配置mycat
在schema.xml里面进行配置：
<table name="ORDER0402" primaryKey="ID" dataNode="dn1,dn2,dn3" rule="sharding-by-date-tr04"/>

在rule.xml里面进行配置：
    <tableRule name="sharding-by-date-tr04">
        <rule>
            <columns>CREATE_TIME</columns>
            <algorithm>sharding-by-date</algorithm>
        </rule>

    </tableRule>

    

    <function name="sharding-by-date" class="org.opencloudb.route.function.PartitionByDate">
        <property name="dateFormat">yyyy-MM-dd</property>      <!-—日期格式-->
        <property name="sBeginDate">2016-01-01</property>      <!--开始日期-->
        <property name="sPartionDay">10</property>             <!--每分片天数-->
    </function>

[root@mycat1 conf]# /usr/local/mycat/bin/mycat restart
Stopping Mycat-server...
Mycat-server was not running.
Starting Mycat-server...

[root@mycat1 conf]# netstat -an|grep 9066
tcp        0      0 :::9066                     :::*                        LISTEN 

3：建表并且录入数据
[root@mycat1 conf]# mysql -uroot -poracle -h192.168.10.21 -P8066 -D TESTDB
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 1
Server version: 5.5.8-mycat-1.5-alpha-20151221110028 MyCat Server (OpenCloundDB)
Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> explain CREATE TABLE ORDER0402(ID INT NOT NULL AUTO_INCREMENT PRIMARY KEY,PROVINCE VARCHAR(16),SN VARCHAR(64),CREATE_TIME DATETIME);
+-----------+-----------------------------------------------------------------------------------------------------------------------------+
| DATA_NODE | SQL                                                                                                                         |
+-----------+-----------------------------------------------------------------------------------------------------------------------------+
| dn1       | CREATE TABLE ORDER0402(ID INT NOT NULL AUTO_INCREMENT PRIMARY KEY,PROVINCE VARCHAR(16),SN VARCHAR(64),CREATE_TIME DATETIME) |
| dn2       | CREATE TABLE ORDER0402(ID INT NOT NULL AUTO_INCREMENT PRIMARY KEY,PROVINCE VARCHAR(16),SN VARCHAR(64),CREATE_TIME DATETIME) |
| dn3       | CREATE TABLE ORDER0402(ID INT NOT NULL AUTO_INCREMENT PRIMARY KEY,PROVINCE VARCHAR(16),SN VARCHAR(64),CREATE_TIME DATETIME) |
+-----------+-----------------------------------------------------------------------------------------------------------------------------+
3 rows in set (0.06 sec)

mysql> CREATE TABLE ORDER0402(ID INT NOT NULL AUTO_INCREMENT PRIMARY KEY,PROVINCE VARCHAR(16),SN VARCHAR(64),CREATE_TIME DATETIME);
Query OK, 0 rows affected (0.41 sec)

mysql> explain INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(10001,'shanghai','shanghai10006_2016-01-03','2016-01-03');
+-----------+--------------------------------------------------------------------------------------------------------------------+
| DATA_NODE | SQL                                                                                                                |
+-----------+--------------------------------------------------------------------------------------------------------------------+
| dn1       | INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(10001,'shanghai','shanghai10006_2016-01-03','2016-01-03') |
+-----------+--------------------------------------------------------------------------------------------------------------------+
1 row in set (0.12 sec)

mysql> INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(10001,'shanghai','shanghai10006_2016-01-03','2016-01-03');
Query OK, 1 row affected (0.08 sec)

mysql> explain INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(5000001,'shanghai','shanghai10006_2016-01-13','2016-01-13');
+-----------+----------------------------------------------------------------------------------------------------------------------+
| DATA_NODE | SQL                                                                                                                  |
+-----------+----------------------------------------------------------------------------------------------------------------------+
| dn2       | INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(5000001,'shanghai','shanghai10006_2016-01-13','2016-01-13') |
+-----------+----------------------------------------------------------------------------------------------------------------------+
1 row in set (0.03 sec)

mysql> explain INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(10000001,'shanghai','shanghai10006_2016-01-23','2016-01-23');
+-----------+-----------------------------------------------------------------------------------------------------------------------+
| DATA_NODE | SQL                                                                                                                   |
+-----------+-----------------------------------------------------------------------------------------------------------------------+
| dn3       | INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(10000001,'shanghai','shanghai10006_2016-01-23','2016-01-23') |
+-----------+-----------------------------------------------------------------------------------------------------------------------+
1 row in set (0.02 sec)

mysql> INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(10000001,'shanghai','shanghai10006_2016-01-23','2016-01-23');
Query OK, 1 row affected (0.06 sec)  
    
4：对insert操作流程进行分析，参考mycat.log对路由过程做完整的分析
开始获取连接：
02/24 21:54:27.564  DEBUG [$_NIOREACTOR-1-RW] (ServerQueryHandler.java:56) -ServerConnection [id=1, schema=TESTDB, host=192.168.10.21, user=root,txIsolation=3, autocommit=true, schema=TESTDB]INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(10001,'shanghai','shanghai10006_2016-01-03','2016-01-03')

开始匹配路由：
02/24 21:54:27.565  DEBUG [$_NIOREACTOR-1-RW] (NonBlockingSession.java:113) -ServerConnection [id=1, schema=TESTDB, host=192.168.10.21, user=root,txIsolation=3, autocommit=true, schema=TESTDB]INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(10001,'shanghai','shanghai10006_2016-01-03','2016-01-03'), route={
   1 -> dn1{INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(10001,'shanghai','shanghai10006_2016-01-03','2016-01-03')}
} rrs 
02/24 21:54:27.567  DEBUG [$_NIOREACTOR-1-RW] (MySQLConnection.java:445) -con need syn ,total syn cmd 2 commands SET names latin1;SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ;schema change:false con:MySQLConnection [id=15, lastTime=1456322067567, user=root, schema=db1, old shema=db1, borrowed=true, fromSlaveDB=false, threadId=39, charset=latin1, txIsolation=0, autocommit=true, attachment=dn1{INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(10001,'shanghai','shanghai10006_2016-01-03','2016-01-03')}, respHandler=SingleNodeHandler [node=dn1{INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(10001,'shanghai','shanghai10006_2016-01-03','2016-01-03')}, packetId=0], host=192.168.10.23, port=3306, statusSync=null, writeQueue=0, modifiedSQLExecuted=true]
匹配好路由后，直接往对应的dn1节点开始执行insert数据录入操作
02/24 21:54:27.625  DEBUG [$_NIOREACTOR-3-RW] (NonBlockingSession.java:229) -release connection MySQLConnection [id=15, lastTime=1456322067563, user=root, schema=db1, old shema=db1, borrowed=true, fromSlaveDB=false, threadId=39, charset=latin1, txIsolation=3, autocommit=true, attachment=dn1{INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(10001,'shanghai','shanghai10006_2016-01-03','2016-01-03')}, respHandler=SingleNodeHandler [node=dn1{INSERT INTO ORDER0402(ID,PROVINCE,SN,CREATE_TIME) VALUES(10001,'shanghai','shanghai10006_2016-01-03','2016-01-03')}, packetId=0], host=192.168.10.23, port=3306, statusSync=null, writeQueue=0, modifiedSQLExecuted=true]
操作完成，释放连接：
02/24 21:54:27.626  DEBUG [$_NIOREACTOR-3-RW] (PhysicalDatasource.java:403) -release channel MySQLConnection [id=15, lastTime=1456322067563, user=root, schema=db1, old shema=db1, borrowed=true, fromSlaveDB=false, threadId=39, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=192.168.10.23, port=3306, statusSync=null, writeQueue=0, modifiedSQLExecuted=false]

5：执行查询，如果指定分片字段ID字段，则走分片查询单个分片节点
mysql> explain select * from ORDER0402 t1 where t1.CREATE_TIME='2016-01-23';
+-----------+--------------------------------------------------------------------------+
| DATA_NODE | SQL                                                                      |
+-----------+--------------------------------------------------------------------------+
| dn3       | SELECT * FROM ORDER0402 t1 WHERE t1.CREATE_TIME = '2016-01-23' LIMIT 100 |
+-----------+--------------------------------------------------------------------------+
1 row in set (0.02 sec)

查看mycat.log信息：
02/24 22:48:55.262  DEBUG [$_NIOREACTOR-2-RW] (ServerQueryHandler.java:56) -ServerConnection [id=2, schema=TESTDB, host=192.168.10.21, user=root,txIsolation=3, autocommit=true, schema=TESTDB]select * from ORDER0402 t1 where t1.CREATE_TIME='2016-01-23'
02/24 22:48:55.262  DEBUG [$_NIOREACTOR-2-RW] (EnchachePool.java:76) -SQLRouteCache  miss cache ,key:TESTDBselect * from ORDER0402 t1 where t1.CREATE_TIME='2016-01-23'
02/24 22:48:55.265  DEBUG [$_NIOREACTOR-2-RW] (EnchachePool.java:59) -SQLRouteCache add cache ,key:TESTDBselect * from ORDER0402 t1 where t1.CREATE_TIME='2016-01-23' value:select * from ORDER0402 t1 where t1.CREATE_TIME='2016-01-23', route={
   1 -> dn3{SELECT *
FROM ORDER0402 t1
WHERE t1.CREATE_TIME = '2016-01-23'
LIMIT 100}
}
02/24 22:48:55.265  DEBUG [$_NIOREACTOR-2-RW] (NonBlockingSession.java:113) -ServerConnection [id=2, schema=TESTDB, host=192.168.10.21, user=root,txIsolation=3, autocommit=true, schema=TESTDB]select * from ORDER0402 t1 where t1.CREATE_TIME='2016-01-23', route={
   1 -> dn3{SELECT *
FROM ORDER0402 t1
WHERE t1.CREATE_TIME = '2016-01-23'
LIMIT 100}
} rrs 
02/24 22:48:55.265  DEBUG [$_NIOREACTOR-2-RW] (PhysicalDBPool.java:452) -select read source mysql1 for dataHost:mysql1
02/24 22:48:55.266  DEBUG [$_NIOREACTOR-2-RW] (MySQLConnection.java:445) -con need syn ,total syn cmd 3 commands SET names latin1;SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ;schema change:true con:MySQLConnection [id=11, lastTime=1456325335266, user=root, schema=db3, old shema=db1, borrowed=true, fromSlaveDB=false, threadId=67, charset=latin1, txIsolation=0, autocommit=true, attachment=dn3{SELECT *
FROM ORDER0402 t1
WHERE t1.CREATE_TIME = '2016-01-23'
LIMIT 100}, respHandler=SingleNodeHandler [node=dn3{SELECT *
FROM ORDER0402 t1
WHERE t1.CREATE_TIME = '2016-01-23'
LIMIT 100}, packetId=0], host=192.168.10.22, port=3306, statusSync=null, writeQueue=0, modifiedSQLExecuted=false]
02/24 22:48:55.268  DEBUG [$_NIOREACTOR-3-RW] (NonBlockingSession.java:229) -release connection MySQLConnection [id=11, lastTime=1456325335266, user=root, schema=db3, old shema=db3, borrowed=true, fromSlaveDB=false, threadId=67, charset=latin1, txIsolation=3, autocommit=true, attachment=dn3{SELECT *
FROM ORDER0402 t1
WHERE t1.CREATE_TIME = '2016-01-23'
LIMIT 100}, respHandler=SingleNodeHandler [node=dn3{SELECT *
FROM ORDER0402 t1
WHERE t1.CREATE_TIME = '2016-01-23'
LIMIT 100}, packetId=7], host=192.168.10.22, port=3306, statusSync=org.opencloudb.mysql.nio.MySQLConnection$StatusSync@4e1cb9ca, writeQueue=0, modifiedSQLExecuted=false]
02/24 22:48:55.269  DEBUG [$_NIOREACTOR-3-RW] (PhysicalDatasource.java:403) -release channel MySQLConnection [id=11, lastTime=1456325335266, user=root, schema=db3, old shema=db3, borrowed=true, fromSlaveDB=false, threadId=67, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=192.168.10.22, port=3306, statusSync=null, writeQueue=0, modifiedSQLExecuted=false]

6：如果分片字段范围的查询，则走所有节点去检索，哪怕只有一条数据在一个分片上，route路由也是走所有的分片进行检索查询
mysql> explain select * from ORDER0402 t1 where t1.CREATE_TIME<'2016-01-04';
+-----------+--------------------------------------------------------------------------+
| DATA_NODE | SQL                                                                      |
+-----------+--------------------------------------------------------------------------+
| dn1       | SELECT * FROM ORDER0402 t1 WHERE t1.CREATE_TIME < '2016-01-04' LIMIT 100 |
| dn2       | SELECT * FROM ORDER0402 t1 WHERE t1.CREATE_TIME < '2016-01-04' LIMIT 100 |
| dn3       | SELECT * FROM ORDER0402 t1 WHERE t1.CREATE_TIME < '2016-01-04' LIMIT 100 |
+-----------+--------------------------------------------------------------------------+
3 rows in set (0.01 sec)

7：如果不走分片字段的查询，即使是单个数据，也要route路由所有的分片，走所有的分片进行查询
mysql> explain select * from ORDER0402 t1 where t1.SN='shanghai10006_2016-01-03';
+-----------+-------------------------------------------------------------------------------+
| DATA_NODE | SQL                                                                           |
+-----------+-------------------------------------------------------------------------------+
| dn1       | SELECT * FROM ORDER0402 t1 WHERE t1.SN = 'shanghai10006_2016-01-03' LIMIT 100 |
| dn2       | SELECT * FROM ORDER0402 t1 WHERE t1.SN = 'shanghai10006_2016-01-03' LIMIT 100 |
| dn3       | SELECT * FROM ORDER0402 t1 WHERE t1.SN = 'shanghai10006_2016-01-03' LIMIT 100 |
+-----------+-------------------------------------------------------------------------------+
3 rows in set (0.00 sec)

参考文档：

http://blog.csdn.net/mchdba/article/details/50656478



zhanglei_16
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
初学者redis-cluster集群搭建
weixin_40322020的博客
07-28 341
目录 为什么要用redis-cluster 客户端分片 数据分布理论 搭建redis cluster 1、准备6套redis数据库，6套对应的启动配置文件,3主3从 2、分别启动6套redis数据库 3、安装ruby，一句命令分配redis集群的槽位 4、此时槽位已经分配好了，可以写入集群数据了 为什么要用redis-cluster 1.并发问题 redis官方生成可以达到 10万/每秒,每秒执行10万条命令，假如业务需要每秒100万的命令执行呢？ 2.数据量太大 一台..
Mycat取模分片示例
10-17
然而，需要注意的是，取模分片策略在扩展性方面可能会遇到瓶颈，因为当需要增加或减少分片时，可能需要重新计算数据的分布，这可能会影响业务的连续性。在实际应用中，还需要结合业务需求和系统规模选择最适合的分片...
mycat按照日期分片 水平分表
shuai的博客
07-25 1538
mycat按照日期分片 水平分表
Mycat实现日期分表
bright的博客
05-13 987
我这里使用的是Mycat 1.6.7.6 你可以使用Mycat2 文档地址 mycat2官方文档 1.下载mycat linux版本 http://dl.mycat.org.cn/1.6.7.6/20210303094759/ 2.上传linux服务器，并解压，具体目录如下 3.修改conf下配置文件 3.1修改server.xml <user name="root" defaultAccount="true"> <property name="password">root
MyCat分表分库规则实现
03-05 1915
/***  * 先根据截取字段的日期分组，再根据字段值数据按天入表  * @author Fx_demon  *  */ public class PartitionBySubstringRangeDateDay extends AbstractPartitionAlgorithm         implements RuleAlgorithm {          priva
Mycat之数据库分片（时间分片,按月份分片）-yellowcong
01-18 5718
取模分片，简单来讲，根据数据库的主键和存储的节点数进行取模操作，然后根据取模的结果，将数据存放到对应的节点中，取模分表，可以将数据均匀的分配到各个库中。实现的步骤：1、创建数据库，2、配置schema.xml文件，3、配置server.xml，4、添加rule.xml。这种方式。 数据库时间分片，有个问题，就比如按照月份分片，我只能分片这一年的数据，如果来年了，我还需要自己手动来创建一个表，然后在做
mycat分片规则和算法.docx
07-30
《Mycat分片规则与算法详解》 Mycat，作为一款开源的分布式数据库中间件，其核心功能之一就是实现数据的分片，以提高数据库的读写性能和存储能力。本文将深入探讨Mycat中的分片规则和算法，包括枚举法、固定分片...
Mycat跨分片Join指南
04-22
Mycat 跨分片 Join 指南 Mycat 跨分片 Join 指南是 Mycat 中的一种join 操作方式，主要实现了跨分片的数据join 操作，支持多种实现方式。下面是对Mycat 跨分片 Join 的详细解释。 1. 全局表 在 Mycat 中，全局表...
mycat字符串枚举分片示例.txt
最新发布
08-26
org.opencloudb.route.function....分片规则：字符串枚举分片 枚举分片的适用场景：记录数可枚举（记录数基本固定或变化很小），比如省份、地区、商业区域（华东区、华中区、华北区、东南区、西南区等）。
mycat分片规则
04-22
《Mycat分片规则详解》 Mycat是一款开源的分布式数据库中间件，它能够实现数据的分片，提高数据库的处理能力。Mycat的分片规则是其核心功能之一，它允许用户根据业务需求自定义数据的分布方式。本文将深入探讨Mycat...
mycat 分库分表
03-27
基于mycat1.6.5改进 同时支持分库分表
Mycat分片规则
专治八阿哥的孟老师
06-05 3092
转自https://blog.csdn.net/wangshuang1631/article/details/62898280分片规则概述在数据切分处理中，特别是水平切分中，中间件最终要的两个处理过程就是数据的切分、数据的聚合。选择合适的切分规则，至关重要，因为它决定了后续数据聚合的难易程度，甚至可以避免跨库的数据聚合处理。 前面讲了数据切分中重要的几条原则，其中有几条是数据冗余，表分组（Tab...
MyCat分片规则之按自然月分片
weixiaohuai的博客
09-11 1251
一、简介 一般来说，按自然月份来进行数据分片的规则比较适用于商城系统订单查询，类似最近三个月、最近半年等查询，这样的数据放在一个分片就省去了MyCat进行数据合并的时间, 当然按月分片之后每个自然月分片的数据量不要过大。 实现方式：将数据按一年中的月份进行分片，每个自然月对应一个分片。 优点：可以自由地将每个月的数据分开保存。 缺点：由于数据是连续的，其他自然月分片中的资源无法被充分利用。...
MyCat分库分表--实战07--按日期天
cuiruidu3106的博客
11-22 2995
项目环境： 192.168.8.30 mycat 192.168.8.31 node1 192.168.8.32 node2 192.168.8.33 node3...
mycat 连续分片 -> 按日期（天）分片
weixin_33753845的博客
07-24 239
1，按日期（天）分片 按日期（天）分片：从開始日期算起，依照天数来分片 比如，从2016-01-01。每10天一个分片 注意事项：须要提前将分片规划好，建好。否则有可能日期超出实际配置分片数 2，加入配置文件 在function.xml里面进行配置： &lt;function name="sharding-by-date" class="org....
Mycat（5）：聊天消息表数据库按月分表实践，平滑扩展
weixin_34357267的博客
07-22 918
本文的原文连接是: http://blog.csdn.net/freewebsys/article/details/47003577 未经博主允许不得转载。 1，业务需求 比如一个社交软件，比如像腾讯的qq。可以进行群聊天（gid），也可以单人聊天。 数据量按月增加需要按月进行数据库拆分。 比如按照2015年进行12个月拆分，...
MyCat 学习笔记 第七篇.数据分片 之 按数据范围分片
02-23 267
1 应用场景 Mycat 其实自带了2个数据范围分片的方案，一个是纯数据范围的分片，比如 1至 10000 号的数据放到分片1 ，10001 至 20000号数据放到分片2里。 另一个是数据常量形式的分片，即 10000号进入分片1 ，20000号进入片分2 。   2 环境说明   参考前一篇文章   《MyCat 学习笔记》第六篇.数据分片 之 按月数据分片  http://www
mycat1.6.5分片（按照天分片）
龙哥(webnum)说的，每天进步一点点，总有一天会实现梦想！
10-19 882
1.6.5mycat按照天分片
深入解析MYCAT分片策略与算法
"mycat分片规则详解" 在分布式数据库系统中，Mycat是一个流行的开源数据库中间件，它用于实现数据库的水平扩展。Mycat提供了多种分片策略，以应对大数据量和高并发场景。以下是对Mycat分片规则的详细说明： 1. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值