13.分库分表（一）-概念及功能简介

1.ShardingSphere简介

• Sharding-JDBC

定位为轻量级Java框架，在Java的JDBC层提供的额外服务。 它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。

• Sharding-Proxy

定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支持。 

向应用程序完全透明，可直接当做MySQL使用。

适用于任何兼容MySQL协议的客户端。

 

 

2.数据分片

逻辑表： t_order

真实表： t_order_0 t_order_1

数据节点：数据分片的最小单元。由数据源名称和数据表组成。ds_0.t_order_0

绑定表：指分片规则一致的主表和子表。例如：t_order表和t_order_item表，均按照order_id分片，则此两张表互为绑定表关系。绑定表之间的多表关联查询不会出现笛卡尔积关联，关联查询效率将大大提升。

广播表：指所有的分片数据源中都存在的表，表结构和表中的数据在每个数据库中均完全一致。适用于数据量不大且需要与海量数据的表进行关联查询的场景，例如：字典表。

 

分片键：用于分片的数据库字段。

分片算法：通过分片算法将数据分片，支持通过=、BETWEEN和IN分片。分片算法需要应用方开发者自行实现，可实现的灵活度非常高。

分片策略：包含分片键和分片算法。

//表分片策略与分片算法
tableRuleConfig.setTableShardingStrategyConfig(
new StandardShardingStrategyConfiguration(shardingColumn,new 
ShardingStandardAlgorithm()));

 

• 分布式主键生成器

雪花算法是由Twitter公布的分布式主键生成算法，它能够保证不同进程主键的不重复性，以及相同进程主键的有序性。

在同一个进程中，它首先是通过时间位保证不重复，如果时间相同则是通过序列位保证。 同时由于时间位是单调递增的，且各个服务器如果大体做了时间同步，那么生成的主键在分布式环境可以认为是总体有序的，这就保证了对索引字段的插入的高效性。例如MySQL的Innodb存储引擎的主键。

使用雪花算法生成的主键，二进制表示形式包含4部分，从高位到低位分表为：1bit符号位、41bit时间戳位、10bit工作进程位以及12bit序列号位。

 

3.读写分离

• 核心功能

提供一主多从的读写分离配置，可独立使用，也可配合分库分表使用。

独立使用读写分离支持SQL透传。

同一线程且同一数据库连接内，如有写入操作，以后的读操作均从主库读取，用于保证数据一致性。

基于Hint的强制主库路由。

• 不支持项

主库和从库的数据同步。

主库和从库的数据同步延迟导致的数据不一致。

主库双写或多写。

 

4.数据治理

待补充

 

5.分布式事务

XA事务

XA协议能够严格保障事务ACID特性。 事务执行在过程中需要将所需资源全部锁定，它更加适用于执行时间确定的短事务。 对于长事务来说，整个事务进行期间对数据的独占，将导致对热点数据依赖的业务系统并发性能衰退明显。 因此，在高并发的性能至上场景中，基于XA协议的分布式事务并不是最佳选择。

柔性事物

如果将实现了ACID的事务要素的事务称为刚性事务的话，那么基于BASE事务要素的事务则称为柔性事务。 BASE是基本可用、柔性状态和最终一致性这三个要素的缩写。

• 基本可用（Basically Available）保证分布式事务参与方不一定同时在线。
• 柔性状态（Soft state）则允许系统状态更新有一定的延时，这个延时对客户来说不一定能够察觉。
• 而最终一致性（Eventually consistent）通常是通过消息传递的方式保证系统的最终一致性。

 

分享一个很有用的链接