【MySQL】索引

一、InnoDB存储引擎

InnoDB是一种兼顾高可用、高性能的通用存储引擎。

在mysql5.5后，InnoDB是默认的存储引擎 特点：

1)支持事务：具有ACID（原子性、一致性、隔离性、持久性）事务的特性

2）行级锁：多个事务可以同时操作不同的行，提高了并发性和并行度，减少了锁冲突和数据争用。

3）支持外键约束：外键约束可以保证数据的完整性和一致性。

存储文件：xxx.ibd，每个表都有一个这样的表名的表空间文件，存储该表的表结构（frm、sdi）数据和索引

逻辑存储结构：图1 记住-每页大小一般为16k, 区为1M

二、索引

1. 什么是索引

常用命令

#查询所有索引 
SHOW INDEX FROM table_name; 

#新建索引 
CREATE INDEX index_name ON table_name (column_name); 

#删除索引 
DROP INDEX index_name ON table_name; 

mysql的innerDB使用B+树，每页大小一般16k。B+树索引结构-图1

为什么使用B+树作用索引结构？

1）相对二叉树，层级更少，搜索效率更高

2）对于B树，无论叶子节点和非叶子节点都会保存数据，这样导致一夜中存储的键值变少，指针也减少，要同样保存大量数据，只能增加树的高度，导致性能降低

3）相对Hash索引，B+Tree支持范围索引和排序操作

InnoDB的索引分类

1）聚集（聚簇）索引：将数据存储和索引放到了一块，索引结构的叶子节点保存了数据 必须有，且只能有一个

2）二级索引（辅助索引）：将数据与索引分开存储，索引结构的叶子节点关联的是对应的主键 可以存在多个

聚集索引选取规则：

1）如果存在主键，则为聚集索引

2）如果不存在主键，选择第一个唯一索引为聚集索引

3）如果没有主键和唯一索引，InnoDB自动生成一个rowid作为隐藏的聚集索引

使用二级索引查询数据过程-图3：

比如user表设置name为二级索引，查询语句select * from user where name='Marry' , 则会先查询二级索引，找到到二级索引的一个叶子节点，获取其存储的主键id（聚集索引），使用id再进行聚集索引的查询，这个过程称之为回表查询

2. 慢查询日志

慢查询日志记录了所有执行时间超过指定参数的SQL语句。

查看数据库的性能

#查看是否开启慢查询日志 
show variables like 'slow_query_log' 

#查看执行频次 -图4 
show variables like 'slow_query_log' 

mysql的慢查询日志开关默认没有开启，需要再mysql的配置文件（/etc/my.cnf）配置以下信息：

#开启慢查询日志开关  
slow_query_log=1 

#设置慢日志的时间为2秒，查询时间超过2秒就会记录慢日志 
long_query_time=2 

配置完成后，重新启动mysqld服务生效

#查看日志文件名称 
SHOW VARIABLES LIKE '%slow_query_log%'; 

比如我的windows上就是 C:\ProgramData\MySQL\MySQL Server 8.0\Data\DESKTOP-TOKSLUO-slow.log

如果是linux，应该是var/mysql/lib/localhost-slow.log

-日志内容见下图

3. profile详情

profile详情：能够在做SQL优化时查看到执行时间都耗费在哪里

#查看当前mysql是否支持profile操作 
show profiling; 

#查看profiling开启状态 
select @@profiling; 

#默认是关闭的，通过set语句开启 
set profiling = 1 

#查看每条SQL的执行情况 -图1 
show profiles; 


#查看指定query_id的SQL语句的各阶段耗时情况 -图2 
show profile for query query_id; 

#查看指定query_id的SQL语句的CPU的使用情况  
show profile cpu for query query_id;

4. explain执行计划

explain或者desc 命令获取MySQL如何执行select语句，包括在select语句执行过程中表如何连接以及连接的顺序

语法：直接在select语句前加上explain或者desc关键字

比如 分析执行计划：查询技术派文章中的带Java标签的文章

explain select * from article where id in (select article_id from article_tag where tag_id = (select id from tag where tag_name ='java'))

分析结果如下：

EXPLAIN执行计划的各字段含义:

1）id： select查询的序列号，表示SQL语句中执行select子句或者操作表的顺序（id相同，从上到下；id不同，id越大，越先执行）（重要）

2）select_type：表示 SELECT 的类型，常见的取值有 SIMPLE（简单表，即不使用表连接或者子查询）、PRIMARY（主查询，即外层的查询）、UNION（UNION 中的第二个或者后面的查询语句）、SUBQUERY（SELECT/WHERE之后包含了子查询）等

3）table: 表示涉及到的表名。

4）partitions: 表示查询涉及到的分区信息。

5）type：进行优化时尽量把type往前优化。表示连接类型，性能由好到差的连接类型为NULL、system、const、eq_ref、ref、range、 index、all 。 （重要）

NULL: 一般业务不太可能出现这个，这个说明没有查询任何表，比如执行 select ‘A’;

system: 访问系统表时出现 const: 根据主键或者唯一索引访问时会出现，比如执行 select * from tag where id = 1;

ref：使用非唯一索引进行访问时出现

range：范围扫描

index：用了索引，但是遍历了整个索引树，性能不高

ALL：全表扫描，性能最差，尽量避免

6）possible_key ：显示可能应用在这张表上的索引，一个或多个。 （重要）

7）key ： 实际使用的索引，如果为NULL，则没有使用索引。 （重要）

8）key_len：表示索引中使用的字节数， 该值为索引字段最大可能长度，并非实际使用长度，在不损失精确性的前提下， 长度越短越好 。（重要）

9）ref：表示连接使用的列或常数。

10）rows：MySQL认为必须要执行查询的行数，在innodb引擎的表中，是一个估计值，可能并不总是准确的

11）filtered ： 表示返回结果的行数占需读取行数的百分比， filtered 的值越大越好 （重要）

12）extra：表示额外的信息，常见的有Using index（表示使用了覆盖索引）、Using where（表示使用了WHERE条件进行过滤）等。（重要）

5. 最左前缀法则

如果索引了多列（联合索引），要遵守最左前缀法则。最左前缀法则指的是查询从索引的最左列开始，并且不跳过索引中的列。如果跳跃某一列，索引将会部分失效(后面的字段索引失效)。

比如

CREATE INDEX idx_user_pro_age_status ON table_name (profession, age, status); 

tb_user 表中，创建了一个联合索引 ，顺序为 professio, age, status。对于最左前缀法则指的是，查询时，最左边的列，也就是profession必须存在，否则索引全部失效。而且中间不能跳过某一列，否则该列后面的字段索引将失效（部分失效）。

1）以下三种查询，索引是会生效的：

select * from tb_user where profession = '软件工程' and age = 31 and status= '0'; 

select * from tb_user where profession = '软件工程' and age = 31; 

select * from tb_user where profession = '软件工程';  

中间跳过age字段，也是索引部分生效:

select * from tb_user where profession = '软件工程' and status = '0'; 

2）以下两种查询，索引不生效：

select * from tb_user where age = 31 and status = '0';  

select * from tb_user where status = '0'; 

3. 以下查询，完全满足最左前缀法则，联合索引是生效的。

select * from tb_user where age = 31 and status = '0' and profession = '软件工程'；

注意 ： 最左前缀法则中指的最左边的列，是指在查询时，联合索引的最左边的字段(即是第一个字段)必须存在，与我们编写SQL时，条件编写的先后顺序无关。

6. 范围查询

联合索引中，出现范围查询(>,<)，范围查询右侧的列索引失效。

1）下面这条查询，虽然三个字段都有，但是索引部分生效，只有profession和age走了索引，status没有走索引：

select * from tb_user where profession = '软件工程' and age > 30 and status= '0';

2）下面这条，由于当范围查询使用>= 或 <= 时，走联合索引了，所有的字段都是走索引的。

select * from tb_user where profession = '软件工程' and age >= 30 and status = '0'; 

因此，在业务允许的情况下，尽可能的使用类似于 >= 或 <= 这类的范围查询，而避免使用 > 或 <

7. 索引失效的几种情况

背景：tb_user表存在id主键，phone唯一索引，（profession, age, status）联合索引

1. 索引列运算

不要在索引列上进行运算操作， 索引将失效

select * from tb_user where substring(phone,10,2) = '15';  phone字段有唯一索引，但是由于进行了substring运算，索引将失效 

2. 字符串不加引号

如果字符串类型的字段在查询时不加引号，索引将失效。

select * from tb_user where phone = 17799990015; （存在隐式转换，索引失效） 

3. 模糊查询

如果仅仅是尾部模糊匹配，索引不会失效。如果是头部模糊匹配，索引失效

select * from tb_user where profession like '软件%'; (头部模糊匹配，且符合最左前缀法则，索引生效) 

select * from tb_user where profession like '%工程';（存在尾部模糊匹配，索引失效） 

select * from tb_user where profession like '%工%';（存在头部模糊匹配，索引失效） 

4. or连接条件

用or分割开的条件， 如果or前的条件中的列有索引，而后面的列中没有索引，那么涉及的索引都不会被用到

select * from tb_user where id = 10 or age = 23; （索引失效，or连接，id有索引，而age没有索引） 

select * from tb_user where phone = '17799990017' or age = 23;（索引失效，or连接，phone有索引，而age没有索引） 

5. 数据分布影响

如果MySQL评估使用索引比全表更慢，则不使用索引.

1. 比如，tb_user表中，有20条数据，phone的值是从17799990001~177999900020，那么

select * from tb_user where phone >= '17799990005';  （不走索引） 

select * from tb_user where phone >= '17799990015';（走索引） 

因为MySQL在查询时，会评估使用索引的效率与走全表扫描的效率，如果走全表扫描更快，则放弃索引，走全表扫描。 因为索引是用来索引少量数据的，如果通过索引查询返回大批量的数据，则还不如走全表扫描来的快，此时索引就会失效

2. is null 与 is not null 操作是否走索引

select * from tb_user where profession is null; （走索引，一般不为空） 

select * from tb_user where profession is not null; （不走索引） 

注意：但如果我执行 update tb_user set profession = null; 此时情况就会刚好反过来，is null语句不走索引，is not null走索引。

因为查询时MySQL会评估，走索引快，还是全表扫描快，如果全表扫描更快，则放弃索引走全表扫描。 因此，is null 、is not null是否走索引，得具体情况具体 分析，并不是固定的。

8. SQL提示

tb_user表存索引：主键id、联合索引（profession, age, name)、普通索引profession

执行SQL : explain select * from tb_user where profession = '软件工程';

测试结果，我们可以看到，possible_keys中 idx_user_pro_age_sta,idx_user_pro 这两个索引都可能用到，最终MySQL选择了idx_user_pro_age_sta索引。这是MySQL自动选择的结果。

SQL提示，是优化数据库的一个重要手段，简单来说，就是在SQL语句中加入一些人为的提示来达到优化操作的目的。

语法：在select语句的表名后面，指定使用哪个索引

explain select * from tb_user use index(idx_user_pro) where profession = '软件工程';

use index ： 建议MySQL使用哪一个索引完成此次查询（仅仅是建议，mysql内部还会再次进行评估）

ignore index ： 忽略指定的索引

force index ： 强制使用索引

9. 覆盖索引

覆盖索引是指 查询使用了索引，并且需要返回的列，在该索引中已经全部能够找到 。

尽量使用覆盖索引，减少select *。使用覆盖索引性能更高！

有如下四个SQL:

explain select id, profession from tb_user where profession = '软件工程' and age = 31 and status = '0' ;

explain select id,profession,age, status from tb_user where profession = '软件工程' and age = 31 and status = '0' ;

explain select id,profession,age, status, name from tb_user where profession = '软件工程' and age = 31 and status = '0' ;

explain select * from tb_user where profession = '软件工程' and age = 31 and status = '0';

执行结果如下：

从执行计划我们可以看到，这四条SQL语句的执行计划前面所有的指标都是一样的，看不出来差异。但是此时，我们主要关注的是后面的Extra，前面两天SQL的结果为 Using where; UsingIndex ; 而后面两条SQL的结果为: Using index condition 。

Extra	含义
Using where; Using Index	查找使用了索引，但是需要的数据都在索引列中能找到，所以不需要回表查询数据
Using index condition	查找使用了索引，但是需要回表查询数据

因为，在tb_user表中有一个联合索引 idx_user_pro_age_sta，该索引关联了三个字段profession、age、status，而这个索引也是一个二级索引，所以叶子节点下面挂的是这一行的主键id。 所以当我们查询返回的数据在 id、profession、age、status 之中，则直接走二级索引直接返回数据了。 如果超出这个范围，就需要拿到主键id，再去扫描聚集索引，再获取额外的数据了，这个过程就是回表。 而我们如果一直使用select * 查询返回所有字段值，很容易就会造成回表查询（除非是根据主键查询，此时只会扫描聚集索引）

比如：id是主键，是一个聚集索引。 name字段建立了普通索引，是一个二级索引（辅助索引）。下图为 表结构及索引示意图:

1）selet id,name from tb_user where name = 'Arm';

虽然是根据name字段查询，查询二级索引，但是由于查询返回在字段为 id，name，在name的二级索引中，这两个值都是可以直接获取到的，因为覆盖索引，所以不需要回表查询，性能高。

2）selet id,name,gender from tb_user where name = 'Arm';

由于在name的二级索引中，不包含gender，所以，需要两次索引扫描，也就是需要回表查询，性能相

对较差一点。如下图

思考题：

一张表, 有四个字段(id, username, password, status), 由于数据量大, 需要对以下SQL语句进行优化, 该如何进行才是最优方案:

select id,username,password from tb_user where username = '小王';

答: 针对于 username, password建立联合索引, sql为:

`create index idx_user_name_pass on tb_user(username,password);`

这样可以避免上述的SQL语句，在查询的过程中，出现回表查询。

10. 前缀索引

当字段类型为字符串（varchar，text，longtext等）时，有时候需要索引很长的字符串，这会让索引变得很大，查询时，浪费大量的磁盘IO， 影响查询效率。此时可以只将字符串的一部分前缀，建立索引，这样可以大大节约索引空间，从而提高索引效率。

1). 语法: create index idx_xxxx on table_name(column(n)) ;

示例: 为tb_user表的email字段，建立长度为5的前缀索引。

create index idx_email_5 on tb_user(email(5)); 

2). 前缀长度

前缀长度可以根据索引的选择性来决定，而选择性是指不重复的索引值（基数）和数据表的记录总数的比值，索引选择性越高则查询效率越高， 唯一索引的选择性是1，这是最好的索引选择性，性能也是最好的。

select count(distinct email) / count(*) from tb_user ;
select count(distinct substring(email,1,5)) / count(*) from tb_user ;

3). 前缀索引的查询流程

11. 单列索引与联合索引

单列索引：即一个索引只包含单个列。

联合索引：即一个索引包含了多个列。

表tb_user有如下几种索引：有主键id, 唯一索引phone, 普通单列索引name。

执行如下查询：

select id, phone, name from tb_user where phone='17799990010' and name='貂蝉'

此时，explain分析如下：

通过上述执行计划我们可以看出来，在and连接的两个字段 phone、name上都是有单列索引的，但是最终mysql只会选择一个索引，也就是说，只能走一个字段的索引，此时是会回表查询的。

紧接着，我们再来创建一个phone和name字段的联合索引，来查询一下执行计划

create unique index idx_user_phone_name on tb_user(phone,name);

可以看到，指定mysql使用联合索引，此时，extra列显示using index, 此时，因为要查询的字段id, phone, name都在一次联合索引查询中能获取到（即覆盖索引），因此不需要进行回表查询了。效率更高！

如果查询使用的是联合索引，具体的结构示意图如下：

在业务场景中，如果存在多个查询条件，考虑针对于查询字段建立索引时，建议建立联合索引，而非单列索引。

12. 索引设计原则

1). 针对于数据量较大，且查询比较频繁的表建立索引。

2). 针对于常作为查询条件（where）、排序（order by）、分组（group by）操作的字段建立索引。

3). 尽量选择区分度高的列作为索引，尽量建立唯一索引，区分度越高，使用索引的效率越高。

4). 如果是字符串类型的字段，字段的长度较长，可以针对于字段的特点，建立前缀索引。

5). 尽量使用联合索引，减少单列索引，查询时，联合索引很多时候可以覆盖索引，节省存储空间，避免回表，提高查询效率。

6). 要控制索引的数量，索引并不是多多益善，索引越多，维护索引结构的代价也就越大，会影响增删改的效率。

三、锁

1. 概述

锁是计算机协调多个进程或线程并发访问某一资源的机制。如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一个问题，锁冲突也是影响数据库并发访问性能的一个重要因素。从这个角度来说，锁对数据库而言显得尤其重要，也更加复杂。

MySQL中的锁，按照锁的粒度分，分为以下三类：

全局锁：锁定数据库中的所有表。

表级锁：每次操作锁住整张表。

行级锁：每次操作锁住对应的行数据。

2. 全局锁

全局锁就是对整个数据库实例加锁，加锁后整个实例就处于只读状态，后续的DML的写语句（对数据进行增删改操作），DDL语句（操作表结构），以及更新操作的事务提交语句都将被阻塞。

其典型的使用场景是做全库的逻辑备份，对所有的表进行锁定，从而获取一致性视图，保证数据的完整性。

​ 对数据库进行进行逻辑备份之前，先对整个数据库加上全局锁，一旦加了全局锁之后，其他的DDL、DML全部都处于阻塞状态，但是可以执行DQL语句，也就是处于只读状态，而数据备份就是查询操作。那么数据在进行逻辑备份的过程中，数据库中的数据就是不会发生变化的，这样就保证了数据的一致性和完整性。

语法:

1). 加全局锁

flush tables with read lock ;

2). 数据备份

mysqldump -uroot –p1234 itcast > itcast.sql

3). 释放锁

unlock tables ;

特点:

数据库中加全局锁，是一个比较重的操作，存在以下问题：

1. 如果在主库上备份，那么在备份期间都不能执行更新，业务基本上就得停摆。

2. 如果在从库上备份，那么在备份期间从库不能执行主库同步过来的二进制日志（binlog），会导致主从延迟。

在InnoDB引擎中，我们可以在备份时加上参数 --single-transaction 参数来完成不加锁的一致性数据备份。

mysqldump --single-transaction -uroot –p123456 itcast > itcast.sql

3. 表级锁

表级锁，每次操作锁住整张表。锁定粒度大，发生锁冲突的概率最高，并发度最低。应用在MyISAM、InnoDB、BDB等存储引擎中。

表级锁，主要分为以下三类：表锁、元数据锁（meta data lock，MDL）、意向锁

表锁

表锁，分为两类：表共享读锁（read lock）、表独占写锁（write lock）

语法：

加锁：lock tables 表名… read/write。

释放锁：unlock tables 或 客户端断开连接 。

特点:

A. 读锁

（左侧为客户端一，对指定表加了读锁，不会影响右侧客户端二的读，但是会阻塞右侧客户端的写。）

B. 写锁

（左侧为客户端一，对指定表加了写锁，会阻塞右侧客户端的读和写。）

结论: 读锁不会阻塞其他客户端的读，但是会阻塞写。写锁既会阻塞其他客户端的读，又会阻塞其他客户端的写。

元数据锁

meta data lock , 元数据锁，简写MDL。元数据，可以简单理解为就是一张表的表结构。MDL加锁过程是系统自动控制，无需显式使用，访问一张表的时候会自动加上。主要作用是维护表元数据的数据一致性，在表上有活动事务的时候，不可以对元数据进行写入操作。为了避免DML与DDL冲突，保证读写的正确性。

在MySQL5.5中引入了MDL，当对一张表进行增删改查的时候，加MDL读锁(共享)；当对表结构进行变更操作的时候，加MDL写锁(排他)。

常见的SQL操作时，所添加的元数据锁：

意向锁

为了避免DML在执行时，加的行锁与表锁的冲突，在InnoDB中引入了意向锁，使得表锁不用检查每行数据是否加锁，使用意向锁来减少表锁的检查。

分类：

意向共享锁(IS): 由语句select … lock in share mode添加 。 与 表锁共享锁(read)兼容，与表锁排他锁(write)互斥。

意向排他锁(IX): 由insert、update、delete、select…for update添加 。与表锁共享锁(read)及排他锁(write)都互斥，意向锁之间不会互斥。

一旦事务提交了，意向共享锁、意向排他锁，都会自动释放。

可以通过以下SQL，查看意向锁及行锁的加锁情况：

select object_schema,object_name,index_name,lock_type,lock_mode,lock_data from performance_schema.data_locks;

4. 行级锁

行级锁：每次操作锁住对应的行数据。锁定粒度最小，发生锁冲突的概率最低，并发度最高。应用在InnoDB存储引擎中。

InnoDB的数据是基于索引组织的，行锁是通过对索引上的索引项加锁来实现的，而不是对记录加的锁。

对于行级锁，主要分为以下三类：

行锁（Record Lock）：锁定单个行记录的锁，防止其他事务对此行进行update和delete。在RC、RR隔离级别下都支持

**间隙锁（Gap Lock）：**锁定索引记录间隙（不含该记录），确保索引记录间隙不变，防止其他事务在这个间隙进行insert，产生幻读。在RR隔离级别下都支持。

**临键锁（Next-Key Lock）：**行锁和间隙锁组合，同时锁住数据，并锁住数据前面的间隙Gap。在RR隔离级别下支持。

行锁

InnoDB实现了以下两种类型的行锁：

共享锁（S）：允许一个事务去读一行，阻止其他事务获得相同数据集的排它锁。

排他锁（X）：允许获取排他锁的事务更新数据，阻止其他事务获得相同数据集的共享锁和排他锁

两种行锁的兼容情况如下：

常见的SQL语句，在执行时，所加的行锁如下：

SQL	行锁类型	说明
INSERT …	排他锁	自动加锁
UPDATE …	排他锁	自动加锁
DELETE …	排他锁	自动加锁
SELECT（正常）	不加任何锁
SELECT … LOCK IN SHARE MODE	共享锁	需要手动在SELECT之后加LOCK IN SHARE MODE
SELECT … FOR UPDATE	排他锁	需要手动在SELECT之后加FOR UPDATE

默认情况下，InnoDB在 REPEATABLE READ事务隔离级别运行，InnoDB使用 next-key 锁进行搜索和索引扫描，以防止幻读。

针对唯一索引进行检索时，对已存在的记录进行等值匹配时，将会自动优化为行锁。

InnoDB的行锁是针对于索引加的锁，不通过索引条件检索数据，那么InnoDB将对表中的所有记录加锁，此时 就会升级为表锁。

可以通过以下SQL，查看意向锁及行锁的加锁情况：

select object_schema,object_name,index_name,lock_type,lock_mode,lock_data from performance_schema.data_locks;

间隙锁 & 临键锁

默认情况下，InnoDB在 REPEATABLE READ 事务隔离级别运行，InnoDB使用 next-key 锁即临键锁进行搜索和索引扫描，以防止幻读。

1） 索引上的等值查询(唯一索引)，给不存在的记录加锁时, 优化为间隙锁 。

2） 索引上的等值查询(非唯一普通索引)，向右遍历时最后一个值不满足查询需求时，next-key lock 退化为间隙锁。

分析：我们知道InnoDB的B+树索引，叶子节点是有序的双向链表。 假如，我们要根据这个二级索引查询值为18的数据，并加上共享锁，我们是只锁定18这一行就可以了吗？ 并不是，因为是非唯一索引，这个结构中可能有多个18的存在，所以，在加锁时会继续往后找，找到一个不满足条件的值（当前案例中也就是29）。此时会对18加临键锁，并对29之前的间隙加锁。

3） 索引上的范围查询(唯一索引)–会访问到不满足条件的第一个值为止。

分析比如查询的条件为id>=19，并添加共享锁。 此时我们可以根据数据库表中现有的数据，将数据分为三个部分：[19] (19,25] (25,+∞]，所以数据库数据在加锁是，就是将19加了行锁，25的临键锁（包含25及25之前的间隙），正无穷的临键锁(正无穷及之前的间隙)。

**注意：**间隙锁唯一目的是防止其他事务插入间隙。间隙锁可以共存，一个事务采用的间隙锁不会阻止另一个事务在同一间隙上采用间隙锁。

四、事务

待补充