TiDB学习2：TiDB Sever

鱼跃龙门Smile

已于 2024-05-28 12:30:28 修改

阅读量1k

点赞数 16

文章标签： tidb 学习

于 2024-05-14 15:38:10 首次发布

本文链接：https://blog.csdn.net/zj88189748/article/details/138846839

版权

1. TiDB Server架构

protocol layer：处理客户端的连接
Parse、Compile：负责sql解析，生成sql执行计划，生成sql执行计划后，Excutor、DistSQL、KV分批的执行sql的执行计划
Transaction、KV：负责事务相关执行
PD client：负责与PD，TSO是通过PD Client去和PD进行交互得到
TiKV Client：负责与TiKV的交互，所有的sql请求都是通过TiKV Client去对TiKV进行交互
schema、worker、start job：主要负责online DDL，不会阻塞读写
memBuffer：负责缓存读出来的数据及元数据，登录的认证信息，统计信息等

TiDB Server 主要功能

处理客户端的连接(protocol layer)
SQL语句的解析和编译(Parse、Compile)
关系型数据与 KV 的转化
SQL语句的执行(Excutor)
Online DDL 的执行(schema load、worker、start job)
垃圾回收(GC)
热点小表缓存 V6.0(cache table)

2. sql语句的解析和编译

2.1 Parse

利用词法分析器(lex)把语句拆分为一个一个单元(token，列名、表名、where等等) ，然后根据语法分析(yacc)生成AST树形结构

2.2 compile

compile拿到这个AST语法树，要进行合法性验证(有无该表等等)，然后进行逻辑优化(把不需要的列去掉、最大最小消除、投影消除、谓词下推、子查询、外连接变为内连接等等)，逻辑优化完后，再进行物理优化(根据逻辑优化的结果，考虑数据的分布、数据的大小，结合统计信息是走索引还是全表扫描，如果走索引走哪个索引)

3. 行转化为KV对(聚簇表)

TiDB 中的表分为两种：聚簇表、非聚簇表。

聚簇表需要有主键，聚簇表使用主键作为 key(表ID+主键值为KEY，行里面其他值作为Value，存放在region里面)。

非聚簇表可以有主键，也可以没有。KV 转换时，非聚簇表不管是否定义了主键，都会生成一个 key。

当一个Region达到96mb 后里就不会新插入数据了，但可能会修改已有的数据，所以 region 大小是 96~144mb 一个区间，当一个region的大小达到144M时就分裂为两个region，以region为单位就可以分布式的存在各个TiKV Node

4. SQL 读写相关模块

4.1 DistSQL(复杂查询)

执行计划分为两种，第一种是较为复杂的查询，比如join、嵌套查询等等，为了避免复杂查询对TiKV存取耦合性高，把TiKV请求封装起来提供一个简单的select方法变为一个一个单表操作的计算任务的组合发送给TiKV

4.2 KV(简单查询)

比如主键、唯一键等值查询(point get)

DistSQL和KV都会经过TiKV Client发送给TiKV集群

transaction提交会向PD获取一个TSO

5. 在线DDL相关模块

同一时间只能有一个TiDB Server(owner)做DDL操作，不会阻塞读写，同一时刻只有一个TiDB Server做DDL，DDL job存储在TiKV持久化

start job：接收DDL语句，接收后会放在TiKV一个队列中
wokrer：owner中的worker模块去取job queue中第一个job然后执行，执行完后把该job放在history queue中，然后再去取下一个job。每个owner有任期，任期结束后会选举新的owner（多个 TiDB Server 轮换选举 Owner 节点）
schema load：TiDB Server成为owner后，将最新的表schema信息同步到内部的缓存中，wokrer根据这些信息去执行job queue中的job

job放在TiKV中持久化存储，宕机之后依然在