MySQL深入浅出索引（上）

1.写在前面

前面的博客我们介绍完了MySQL的基础架构、日志系统、事务的一些基础知识&＃xff0c;今天我们来简单的介绍一下索引&＃xff0c;由于篇幅的原因&＃xff0c;会分成上下两篇博客。主要参考的资料是极客时间的专栏课《MySQL实战45讲》

2.什么是索引

提到数据库索引&＃xff0c;我想你并不陌生&＃xff0c;在日常工作中会经常接触到。比如某一个 SQL 查询比较慢&＃xff0c;分析完原因之后&＃xff0c;你可能就会说“给某个字段加个索引吧”之类的解决方案。但到底什么是索引&＃xff0c;索引又是如何工作的呢&＃xff1f;今天就让我们一起来聊聊这个话题吧。

一句话简单来说&＃xff0c;索引的出现其实就是为了提高数据查询的效率&＃xff0c;就像书的目录一样。一本 500 页的书&＃xff0c;如果你想快速找到其中的某一个知识点&＃xff0c;在不借助目录的情况下&＃xff0c;那我估计你可得找一会儿。同样&＃xff0c;对于数据库的表而言&＃xff0c;索引其实就是它的“目录”。

3.索引的常见模型

索引的出现是为了提高查询效率&＃xff0c;但是实现索引的方式却有很多种&＃xff0c;所以这里也就引入了索引模型的概念。可以用于提高读写效率的数据结构很多&＃xff0c;这里我先给你介绍三种常见、也比较简单的数据结构&＃xff0c;它们分别是哈希表、有序数组和搜索树。

3.1哈希表

**哈希表是一种以键 - 值&＃xff08;key-value&＃xff09;存储数据的结构&＃xff0c;我们只要输入待查找的值即 key&＃xff0c;就可以找到其对应的值即 Value。**哈希的思路很简单&＃xff0c;把值放在数组里&＃xff0c;用一个哈希函数把 key 换算成一个确定的位置&＃xff0c;然后把 value 放在数组的这个位置。

不可避免地&＃xff0c;多个 key 值经过哈希函数的换算&＃xff0c;会出现同一个值的情况。处理这种情况的一种方法是&＃xff0c;拉出一个链表。(哈希冲突)

假设&＃xff0c;你现在维护着一个身份证信息和姓名的表&＃xff0c;需要根据身份证号查找对应的名字&＃xff0c;这时对应的哈希索引的示意图如下所示&＃xff1a;

图中&＃xff0c;User2 和 User4 根据身份证号算出来的值都是 N&＃xff0c;但没关系&＃xff0c;后面还跟了一个链表。假设&＃xff0c;这时候你要查 ID_card_n2 对应的名字是什么&＃xff0c;处理步骤就是&＃xff1a;首先&＃xff0c;将 ID_card_n2 通过哈希函数算出 N&＃xff1b;然后&＃xff0c;按顺序遍历&＃xff0c;找到 User2。

需要注意的是&＃xff0c;图中四个 ID_card_n 的值并不是递增的&＃xff0c;这样做的好处是增加新的 User 时速度会很快&＃xff0c;只需要往后追加。但缺点是&＃xff0c;因为不是有序的&＃xff0c;所以哈希索引做区间查询的速度是很慢的。

你可以设想下&＃xff0c;如果你现在要找身份证号在 [ID_card_X, ID_card_Y] 这个区间的所有用户&＃xff0c;就必须全部扫描一遍了。

所以&＃xff0c;哈希表这种结构适用于只有等值查询的场景&＃xff0c;比如 Memcached 及其他一些 NoSQL 引擎。

3.2有序数组

有序数组在等值查询和范围查询场景中的性能就都非常优秀。还是上面这个根据身份证号查名字的例子&＃xff0c;如果我们使用有序数组来实现的话&＃xff0c;示意图如下所示&＃xff1a;

这里我们假设身份证号没有重复&＃xff0c;这个数组就是按照身份证号递增的顺序保存的。这时候如果你要查 ID_card_n2 对应的名字&＃xff0c;用二分法就可以快速得到&＃xff0c;这个时间复杂度是 O(log(N))。

同时很显然&＃xff0c;这个索引结构支持范围查询。你要查身份证号在 [ID_card_X, ID_card_Y] 区间的 User&＃xff0c;可以先用二分法找到 ID_card_X&＃xff08;如果不存在 ID_card_X&＃xff0c;就找到大于 ID_card_X 的第一个 User&＃xff09;&＃xff0c;然后向右遍历&＃xff0c;直到查到第一个大于 ID_card_Y 的身份证号&＃xff0c;退出循环。

如果仅仅看查询效率&＃xff0c;有序数组就是最好的数据结构了。但是&＃xff0c;在需要更新数据的时候就麻烦了&＃xff0c;你往中间插入一个记录就必须得挪动后面所有的记录&＃xff0c;成本太高。

所以&＃xff0c;有序数组索引只适用于静态存储引擎&＃xff0c;比如你要保存的是 2017 年某个城市的所有人口信息&＃xff0c;这类不会再修改的数据。

3.3搜索树

二叉搜索树也是课本里的经典数据结构了。还是上面根据身份证号查名字的例子&＃xff0c;如果我们用二叉搜索树来实现的话&＃xff0c;示意图如下所示&＃xff1a;

二叉搜索树的特点是&＃xff1a;**每个节点的左儿子小于父节点&＃xff0c;父节点又小于右儿子。**这样如果你要查 ID_card_n2 的话&＃xff0c;按照图中的搜索顺序就是按照 UserA -> UserC -> UserF -> User2 这个路径得到。这个时间复杂度是 O(log(N))。

当然为了维持 O(log(N)) 的查询复杂度&＃xff0c;你就需要保持这棵树是平衡二叉树。为了做这个保证&＃xff0c;更新的时间复杂度也是 O(log(N))。

树可以有二叉&＃xff0c;也可以有多叉。多叉树就是每个节点有多个儿子&＃xff0c;儿子之间的大小保证从左到右递增。二叉树是搜索效率最高的&＃xff0c;但是实际上大多数的数据库存储却并不使用二叉树。其原因是&＃xff0c;索引不止存在内存中&＃xff0c;还要写到磁盘上。

你可以想象一下一棵 100 万节点的平衡二叉树&＃xff0c;树高 20。一次查询可能需要访问 20 个数据块。在机械硬盘时代&＃xff0c;从磁盘随机读一个数据块需要 10 ms 左右的寻址时间。也就是说&＃xff0c;对于一个 100 万行的表&＃xff0c;如果使用二叉树来存储&＃xff0c;单独访问一个行可能需要 20 个 10 ms 的时间&＃xff0c;这个查询可真够慢的。

为了让一个查询尽量少地读磁盘&＃xff0c;就必须让查询过程访问尽量少的数据块。那么&＃xff0c;我们就不应该使用二叉树&＃xff0c;而是要使用“N 叉”树。这里&＃xff0c;“N 叉”树中的“N”取决于数据块的大小。

以 InnoDB 的一个整数字段索引为例&＃xff0c;这个 N 差不多是 1200。这棵树高是 4 的时候&＃xff0c;就可以存 1200 的 3 次方个值&＃xff0c;这已经 17 亿了。考虑到树根的数据块总是在内存中的&＃xff0c;一个 10 亿行的表上一个整数字段的索引&＃xff0c;查找一个值最多只需要访问 3 次磁盘。其实&＃xff0c;树的第二层也有很大概率在内存中&＃xff0c;那么访问磁盘的平均次数就更少了。

N 叉树由于在读写上的性能优点&＃xff0c;以及适配磁盘的访问模式&＃xff0c;已经被广泛应用在数据库引擎中了。

不管是哈希还是有序数组&＃xff0c;或者 N 叉树&＃xff0c;它们都是不断迭代、不断优化的产物或者解决方案。数据库技术发展到今天&＃xff0c;跳表、LSM 树等数据结构也被用于引擎设计中&＃xff0c;这里我就不再一一展开了。

你心里要有个概念&＃xff0c;数据库底层存储的核心就是基于这些数据模型的。每碰到一个新数据库&＃xff0c;我们需要先关注它的数据模型&＃xff0c;这样才能从理论上分析出这个数据库的适用场景。

截止到这里&＃xff0c;我用了半篇文章的篇幅和你介绍了不同的数据结构&＃xff0c;以及它们的适用场景&＃xff0c;你可能会觉得有些枯燥。但是&＃xff0c;我建议你还是要多花一些时间来理解这部分内容&＃xff0c;毕竟这是数据库处理数据的核心概念之一&＃xff0c;在分析问题的时候会经常用到。当你理解了索引的模型后&＃xff0c;就会发现在分析问题的时候会有一个更清晰的视角&＃xff0c;体会到引擎设计的精妙之处。

现在&＃xff0c;我们一起进入相对偏实战的内容吧。

在 MySQL 中&＃xff0c;**索引是在存储引擎层实现的&＃xff0c;所以并没有统一的索引标准&＃xff0c;即不同存储引擎的索引的工作方式并不一样。**而即使多个存储引擎支持同一种类型的索引&＃xff0c;其底层的实现也可能不同。由于 InnoDB 存储引擎在 MySQL 数据库中使用最为广泛&＃xff0c;所以下面我就以 InnoDB 为例&＃xff0c;和你分析一下其中的索引模型。

4.InnoDB 的索引模型

在 InnoDB 中&＃xff0c;**表都是根据主键顺序以索引的形式存放的&＃xff0c;这种存储方式的表称为索引组织表。**又因为前面我们提到的&＃xff0c;InnoDB 使用了 B&＃43; 树索引模型&＃xff0c;所以数据都是存储在 B&＃43; 树中的。

每一个索引在 InnoDB 里面对应一棵 B&＃43; 树。

假设&＃xff0c;我们有一个主键列为 ID 的表&＃xff0c;表中有字段 k&＃xff0c;并且在 k 上有索引。

这个表的建表语句是&＃xff1a;

create table T(
id int primary key,
k int not null,
name varchar(16),
index (k))engine&＃61;InnoDB;


表中 R1~R5 的 (ID,k) 值分别为 (100,1)、(200,2)、(300,3)、(500,5) 和 (600,6)&＃xff0c;两棵树的示例示意图如下。

从图中不难看出&＃xff0c;根据叶子节点的内容&＃xff0c;索引类型分为主键索引和非主键索引。

主键索引的叶子节点存的是整行数据。在 InnoDB 里&＃xff0c;主键索引也被称为聚簇索引&＃xff08;clustered index&＃xff09;。

非主键索引的叶子节点内容是主键的值。在 InnoDB 里&＃xff0c;非主键索引也被称为二级索引&＃xff08;secondary index&＃xff09;。

根据上面的索引结构说明&＃xff0c;我们来讨论一个问题&＃xff1a;基于主键索引和普通索引的查询有什么区别&＃xff1f;

• 如果语句是 select * from T where ID&＃61;500&＃xff0c;即主键查询方式&＃xff0c;则只需要搜索 ID 这棵 B&＃43; 树&＃xff1b;
• 如果语句是 select * from T where k&＃61;5&＃xff0c;即普通索引查询方式&＃xff0c;则需要先搜索 k 索引树&＃xff0c;得到 ID 的值为 500&＃xff0c;再到 ID 索引树搜索一次。这个过程称为回表。

也就是说&＃xff0c;基于非主键索引的查询需要多扫描一棵索引树。因此&＃xff0c;我们在应用中应该尽量使用主键查询。

5.索引维护

B&＃43; 树为了维护索引有序性&＃xff0c;在插入新值的时候需要做必要的维护。以上面这个图为例&＃xff0c;如果插入新的行 ID 值为 700&＃xff0c;则只需要在 R5 的记录后面插入一个新记录。如果新插入的 ID 值为 400&＃xff0c;就相对麻烦了&＃xff0c;需要逻辑上挪动后面的数据&＃xff0c;空出位置。

而更糟的情况是&＃xff0c;**如果 R5 所在的数据页已经满了&＃xff0c;根据 B&＃43; 树的算法&＃xff0c;这时候需要申请一个新的数据页&＃xff0c;然后挪动部分数据过去。这个过程称为页分裂。**在这种情况下&＃xff0c;性能自然会受影响。

除了性能外&＃xff0c;页分裂操作还影响数据页的利用率。原本放在一个页的数据&＃xff0c;现在分到两个页中&＃xff0c;整体空间利用率降低大约 50%。

当然有分裂就有合并。当相邻两个页由于删除了数据&＃xff0c;利用率很低之后&＃xff0c;会将数据页做合并。合并的过程&＃xff0c;可以认为是分裂过程的逆过程。

基于上面的索引维护过程说明&＃xff0c;我们来讨论一个案例&＃xff1a;

• 你可能在一些建表规范里面见到过类似的描述&＃xff0c;要求建表语句里一定要有自增主键。当然事无绝对&＃xff0c;我们来分析一下哪些场景下应该使用自增主键&＃xff0c;而哪些场景下不应该。

自增主键是指自增列上定义的主键&＃xff0c;在建表语句中一般是这么定义的&＃xff1a; NOT NULL PRIMARY KEY AUTO_INCREMENT。

插入新记录的时候可以不指定 ID 的值&＃xff0c;系统会获取当前 ID 最大值加 1 作为下一条记录的 ID 值。

也就是说&＃xff0c;自增主键的插入数据模式&＃xff0c;正符合了我们前面提到的递增插入的场景。每次插入一条新记录&＃xff0c;都是追加操作&＃xff0c;都不涉及到挪动其他记录&＃xff0c;也不会触发叶子节点的分裂。

而有业务逻辑的字段做主键&＃xff0c;则往往不容易保证有序插入&＃xff0c;这样写数据成本相对较高。

除了考虑性能外&＃xff0c;我们还可以从存储空间的角度来看。假设你的表中确实有一个唯一字段&＃xff0c;比如字符串类型的身份证号&＃xff0c;那应该用身份证号做主键&＃xff0c;还是用自增字段做主键呢&＃xff1f;

由于每个非主键索引的叶子节点上都是主键的值。如果用身份证号做主键&＃xff0c;那么每个二级索引的叶子节点占用约 20 个字节&＃xff0c;而如果用整型做主键&＃xff0c;则只要 4 个字节&＃xff0c;如果是长整型&＃xff08;bigint&＃xff09;则是 8 个字节。

显然&＃xff0c;主键长度越小&＃xff0c;普通索引的叶子节点就越小&＃xff0c;普通索引占用的空间也就越小。

所以&＃xff0c;从性能和存储空间方面考量&＃xff0c;自增主键往往是更合理的选择。

有没有什么场景适合用业务字段直接做主键的呢&＃xff1f;还是有的。比如&＃xff0c;有些业务的场景需求是这样的&＃xff1a;

• 只有一个索引&＃xff1b;
• 该索引必须是唯一索引。

你一定看出来了&＃xff0c;这就是典型的 KV 场景。

由于没有其他索引&＃xff0c;所以也就不用考虑其他索引的叶子节点大小的问题。

这时候我们就要优先考虑上一段提到的“尽量使用主键查询”原则&＃xff0c;直接将这个索引设置为主键&＃xff0c;可以避免每次查询需要搜索两棵树。

6.小结

今天&＃xff0c;我跟你分析了数据库引擎可用的数据结构&＃xff0c;介绍了 InnoDB 采用的 B&＃43; 树结构&＃xff0c;以及为什么 InnoDB 要这么选择。B&＃43; 树能够很好地配合磁盘的读写特性&＃xff0c;减少单次查询的磁盘访问次数。

由于 InnoDB 是索引组织表&＃xff0c;一般情况下我会建议你创建一个自增主键&＃xff0c;这样非主键索引占用的空间最小。但事无绝对&＃xff0c;我也跟你讨论了使用业务逻辑字段做主键的应用场景。

7.拓展

如何避免长事务对业务的影响&＃xff1f;

这个问题&＃xff0c;我们可以从应用开发端和数据库端来看。

首先&＃xff0c;从应用开发端来看&＃xff1a;

1. 确认是否使用了 set autocommit&＃61;0。这个确认工作可以在测试环境中开展&＃xff0c;把 MySQL 的 general_log 开起来&＃xff0c;然后随便跑一个业务逻辑&＃xff0c;通过 general_log 的日志来确认。一般框架如果会设置这个值&＃xff0c;也就会提供参数来控制行为&＃xff0c;你的目标就是把它改成 1。
2. 确认是否有不必要的只读事务。有些框架会习惯不管什么语句先用 begin/commit 框起来。我见过有些是业务并没有这个需要&＃xff0c;但是也把好几个 select 语句放到了事务中。这种只读事务可以去掉。
3. 业务连接数据库的时候&＃xff0c;根据业务本身的预估&＃xff0c;通过 SET MAX_EXECUTION_TIME 命令&＃xff0c;来控制每个语句执行的最长时间&＃xff0c;避免单个语句意外执行太长时间。

其次&＃xff0c;从数据库端来看&＃xff1a;

1. 监控 information_schema.Innodb_trx 表&＃xff0c;设置长事务阈值&＃xff0c;超过就报警 / 或者 kill&＃xff1b;
2. Percona 的 pt-kill 这个工具不错&＃xff0c;推荐使用&＃xff1b;
3. 在业务功能测试阶段要求输出所有的 general_log&＃xff0c;分析日志行为提前发现问题&＃xff1b;
4. 如果使用的是 MySQL 5.6 或者更新版本&＃xff0c;把 innodb_undo_tablespaces 设置成 2&＃xff08;或更大的值&＃xff09;。如果真的出现大事务导致回滚段过大&＃xff0c;这样设置后清理起来更方便。