Sharding-JDBC简介
- 定位为轻量级Java框架,在Java的JDBC层提供的额外服务。 它使用客户端直连数据库,以jar包形式提供服务,无需额外部署和依赖,可理解为增强版的JDBC驱动,完全兼容JDBC和各种ORM框架
- Sharding-JDBC主要目的
(1)Sharding-JDBC不是用来进行分库分表的
(2)主要是用来对分库分表之后的数据库进行操作的,简化对分库分之后的数据相关操作。
Sharding-JDBC实现对数据库操作
水平分表+水平分库
- 环境搭建
(1)springboot(版本自定,2.2.1)+mybatise+Sharding-JDBC+Driud连接池
(2)创建一个springboot工程(自行创建)
(3)引入相关依赖
<dependency>
<groupId>org.apache.shardingsphere</groupId>
<artifactId>sharding-jdbc-core</artifactId>
<version>${latest.release.version}</version>
</dependency>
- 按照水平分表的方式进行创建数据库
(1)创建数据库名称a_1,a_2。
(2)库中创建两张表a_1,a_2。
(3)约定规则,可以主id为偶数时放入1中,奇数时放入2中。
(4)按照之前的课程数据库字段自行创建。 - 编写代码实现对数据库的操作
(1)首先创建一个实体类,按照之前数据库字段进行创建即可。创建好get/set方法。
(2)新建一个mapper包,在其中创建一个接口类。可继承BaseMapper<实体类>即可直接使用基本的sql语句进行查询
(3)创建好启动类
添加@SpringbootApplication@MapperScan(“mapper包名”)
(4)在配置文件application中配置Sharding-JDBC。
配置过程
必须需要的一些配置以及一些解释(上面仅是个人理解,下面有官方解释)
#配置分片策略,配置数据源
spring.shardingsphere.datasource.names=ds0,ds1
#配置数据源具体内容,相关的数据库配置连接池、驱动、用户名、密码
#数据库类型,通常需要换掉
spring.shardingsphere.datasource.ds0.type=org.apache.commons.dbcp.BasicDataSource
#数据库驱动地址,数据库8以上为这个地址com.mysql.ci.jdbc.Driver
spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.jdbc.Driver
#数据库地址,数据库8以上需要加上时区?serverTimezone=GMT%2B8
spring.shardingsphere.datasource.ds0.url=jdbc:mysql://localhost:3306/ds0
spring.shardingsphere.datasource.ds0.username=root
spring.shardingsphere.datasource.ds0.password=
spring.shardingsphere.datasource.ds1.type=org.apache.commons.dbcp.BasicDataSource
spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds1.url=jdbc:mysql://localhost:3306/ds1
spring.shardingsphere.datasource.ds1.username=root
spring.shardingsphere.datasource.ds1.password=
#下面的则是指定表都有什么、名称为啥
#指定当前表分布的情况,配置表在那个数据库里面,表名都是啥
#t_order为表的规则,即前面英文单词此处可以为a,ds为数据库的名称,后面的为行表达式,最后的则是表的名称,后面的为行表达式。表示在那些数据库中的那些表,解释为ds0 ds1中的t_order0 t_order1两张表
spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ds$->{0..1}.t_order$->{0..1}
#指定t_order表中主键生成的策略,上面为主键名称,下面为主键生成策略 SNOWFLAKE为随机生成唯一的id
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column=order_id
spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.algorithm-expression=t_order$->{order_id % 2}
spring.shardingsphere.sharding.tables.t_order.key-generator.column=order_id
spring.shardingsphere.sharding.tables.t_order.key-generator.type=SNOWFLAKE
spring.shardingsphere.sharding.tables.t_order_item.actual-data-nodes=ds$->{0..1}.t_order_item$->{0..1}
#约定分片规则,可按照奇偶数进行分表放置
spring.shardingsphere.sharding.tables.t_order_item.table-
strategy.inline.sharding-column=order_id
spring.shardingsphere.sharding.tables.t_order_item.table-strategy.inline.algorithm-expression=t_order_item$->{order_id % 2}
spring.shardingsphere.sharding.tables.t_order_item.key-generator.column=order_item_id
spring.shardingsphere.sharding.tables.t_order_item.key-generator.type=SNOWFLAKE
spring.shardingsphere.sharding.binding-tables=t_order,t_order_item
spring.shardingsphere.sharding.broadcast-tables=t_config
#之下的为数据库的进行配置,可参考上面对表进行的配置
spring.shardingsphere.sharding.default-database-strategy.inline.sharding-column=user_id
spring.shardingsphere.sharding.default-database-strategy.inline.algorithm-expression=ds$->{user_id % 2}
- 在Sharding-JDBC官网中有配置文件。(使用springboot配置文件进行配置)
- java配置文件
- springboot配置文件
官方完整配置说明
spring.shardingsphere.datasource.names= #数据源名称,多数据源以逗号分隔
spring.shardingsphere.datasource.<data-source-name>.type= #数据库连接池类名称
spring.shardingsphere.datasource.<data-source-name>.driver-class-name= #数据库驱动类名
spring.shardingsphere.datasource.<data-source-name>.url= #数据库url连接
spring.shardingsphere.datasource.<data-source-name>.username= #数据库用户名
spring.shardingsphere.datasource.<data-source-name>.password= #数据库密码
spring.shardingsphere.datasource.<data-source-name>.xxx= #数据库连接池的其它属性
spring.shardingsphere.sharding.tables.<logic-table-name>.actual-data-nodes= #由数据源名 + 表名组成,以小数点分隔。多个表以逗号分隔,支持inline表达式。缺省表示使用已知数据源与逻辑表名称生成数据节点,用于广播表(即每个库中都需要一个同样的表用于关联查询,多为字典表)或只分库不分表且所有库的表结构完全一致的情况
#分库策略,缺省表示使用默认分库策略,以下的分片策略只能选其一
#用于单分片键的标准分片场景
spring.shardingsphere.sharding.tables.<logic-table-name>.database-strategy.standard.sharding-column= #分片列名称
spring.shardingsphere.sharding.tables.<logic-table-name>.database-strategy.standard.precise-algorithm-class-name= #精确分片算法类名称,用于=和IN。该类需实现PreciseShardingAlgorithm接口并提供无参数的构造器
spring.shardingsphere.sharding.tables.<logic-table-name>.database-strategy.standard.range-algorithm-class-name= #范围分片算法类名称,用于BETWEEN,可选。该类需实现RangeShardingAlgorithm接口并提供无参数的构造器
#用于多分片键的复合分片场景
spring.shardingsphere.sharding.tables.<logic-table-name>.database-strategy.complex.sharding-columns= #分片列名称,多个列以逗号分隔
spring.shardingsphere.sharding.tables.<logic-table-name>.database-strategy.complex.algorithm-class-name= #复合分片算法类名称。该类需实现ComplexKeysShardingAlgorithm接口并提供无参数的构造器
#行表达式分片策略
spring.shardingsphere.sharding.tables.<logic-table-name>.database-strategy.inline.sharding-column= #分片列名称
spring.shardingsphere.sharding.tables.<logic-table-name>.database-strategy.inline.algorithm-expression= #分片算法行表达式,需符合groovy语法
#Hint分片策略
spring.shardingsphere.sharding.tables.<logic-table-name>.database-strategy.hint.algorithm-class-name= #Hint分片算法类名称。该类需实现HintShardingAlgorithm接口并提供无参数的构造器
#分表策略,同分库策略
spring.shardingsphere.sharding.tables.<logic-table-name>.table-strategy.xxx= #省略
spring.shardingsphere.sharding.tables.<logic-table-name>.key-generator.column= #自增列名称,缺省表示不使用自增主键生成器
spring.shardingsphere.sharding.tables.<logic-table-name>.key-generator.type= #自增列值生成器类型,缺省表示使用默认自增列值生成器。可使用用户自定义的列值生成器或选择内置类型:SNOWFLAKE/UUID
spring.shardingsphere.sharding.tables.<logic-table-name>.key-generator.props.<property-name>= #属性配置, 注意:使用SNOWFLAKE算法,需要配置worker.id与max.tolerate.time.difference.milliseconds属性。若使用此算法生成值作分片值,建议配置max.vibration.offset属性
spring.shardingsphere.sharding.binding-tables[0]= #绑定表规则列表
spring.shardingsphere.sharding.binding-tables[1]= #绑定表规则列表
spring.shardingsphere.sharding.binding-tables[x]= #绑定表规则列表
spring.shardingsphere.sharding.broadcast-tables[0]= #广播表规则列表
spring.shardingsphere.sharding.broadcast-tables[1]= #广播表规则列表
spring.shardingsphere.sharding.broadcast-tables[x]= #广播表规则列表
spring.shardingsphere.sharding.default-data-source-name= #未配置分片规则的表将通过默认数据源定位
spring.shardingsphere.sharding.default-database-strategy.xxx= #默认数据库分片策略,同分库策略
spring.shardingsphere.sharding.default-table-strategy.xxx= #默认表分片策略,同分表策略
spring.shardingsphere.sharding.default-key-generator.type= #默认自增列值生成器类型,缺省将使用org.apache.shardingsphere.core.keygen.generator.impl.SnowflakeKeyGenerator。可使用用户自定义的列值生成器或选择内置类型:SNOWFLAKE/UUID
spring.shardingsphere.sharding.default-key-generator.props.<property-name>= #自增列值生成器属性配置, 比如SNOWFLAKE算法的worker.id与max.tolerate.time.difference.milliseconds
spring.shardingsphere.sharding.master-slave-rules.<master-slave-data-source-name>.master-data-source-name= #详见读写分离部分
spring.shardingsphere.sharding.master-slave-rules.<master-slave-data-source-name>.slave-data-source-names[0]= #详见读写分离部分
spring.shardingsphere.sharding.master-slave-rules.<master-slave-data-source-name>.slave-data-source-names[1]= #详见读写分离部分
spring.shardingsphere.sharding.master-slave-rules.<master-slave-data-source-name>.slave-data-source-names[x]= #详见读写分离部分
spring.shardingsphere.sharding.master-slave-rules.<master-slave-data-source-name>.load-balance-algorithm-class-name= #详见读写分离部分
spring.shardingsphere.sharding.master-slave-rules.<master-slave-data-source-name>.load-balance-algorithm-type= #详见读写分离部分
spring.shardingsphere.props.sql.show= #是否开启SQL显示,默认值: false
spring.shardingsphere.props.executor.size= #工作线程数量,默认值: CPU核数
(5)进行测试,可直接调用mapper中的基本操作进行操作,就是普通的CRUD操作。
(6)由于数据库中有两张一样结构的表,一个实体类对应两张表,因此可能会出错。如下
只需要将图片后提示的操作放入application中。在进行测试即可成功。
Sharding-JDBC实现垂直分库
将多个数据库分给多个库中,实现专库专用。例如查询用户的时候只到user表中。
(1)创建表/数据库
(2)创建实体类以及mapper
(3)配置垂直分库策略,在application进行配置,可参考上面的配置文件进行配置。可多配置驱动,复制之前的进行配置。注意需要在实体类中加上表名的注解。
(4)编写测试代码进行测试。
Sharding-JBDC对公共表进行操作
公共表:
(1)存储固定数据的表,表的数据很少进行更改,查询的时候经常进行关联.
(2)通常是每个数据库中都创建这个表。会同时进行CRUD操作。
操作过程
(1)创建数据库/表
(2)修改application配置文件
(3)编写测试类进行操作