MySQL
,也会经常用索引,但是对索引的原理和高级功能却并不知道,我们在这里一起学习下。在该表中U
表示关键字全集,K
表示实际存在的关键字,右边的数组(哈希表)表示在内存中可以直接寻址的连续空间,哈希表中每个插槽关联的单向链表中存储实际数据的真实地址。
如果右边的数组直接使用直接寻址表,那么对于每一个关键字K都会存在一个h[K]
且不重复,这样存在一些问题,如果U数据量过大,那么对于计算机的可用容量来说有点不实际。而如果集合K
占比U
的比例过小,则分配的大部分空间都要浪费。
因此我们使用哈希表,我们通过一些函数h(k)
来确定映射关系,这样让离散的数据尽可能均匀分布的利用数组中的插槽,但会有一个问题,多个关键字映射到同一个插槽中,这种情况称为碰撞(collision)
,数据库中采用最简单的解决方案:链接法(chaining)
。也就是每个插槽存储一个单项链表,所有碰撞的元素会依次形成链表中的一个结点,如果不存在,则链表指向为NULL
。
而使用的函数h(k)
成为哈希函数,它必须能够很好的进行散列。最好能够避免碰撞或者达到最小碰撞。一般为了更好的处理哈希的关键字,我们会将其转换为自然数,然后通过除法散列、乘法散列或者全域散列来实现。数据库一般使用除法散列,即当有m个插槽时,我们对每个关键字k进行对m的取模:h(k) = k % m
。
InnoDB
存储引擎中的哈希算法
InnoDB
存储引擎使用哈希算法来查找字典,冲突机制采用链表,哈希函数采用除法散列。对于缓冲池的哈希表,在缓存池中的每页都有一个chain
指针,指向相同哈希值的页。对于除法散列,m
的值为略大于2
倍缓冲池页数量的质数。如当前innodb_buffer_pool_size
大小为10M
,则共有640个16KB
的页,需要分配1280
个插槽,而略大于的质数为1399
,因此会分配1399
个槽的哈希表,用来哈希查询缓冲池中的页。
而对于将每个页转换为自然数,每个表空间都有一个space_id
,用户要查询的是空间中某个连续的16KB
的页,即偏移量(offset)
,InnoDB
将space_id
左移20
位,再加上space_id
和offset
,即K=space_id<<20+space_id+offset
,然后使用除法散列到各个槽中。
自适应哈希索引
自适应哈希索引采用上面的哈希表实现,属于数据库内部机制,DBA
不能干预。它只对字典类型的查找非常快速,而对范围查找等却无能为力,如:
select * from t where f=&#39;100&#39;;
我们可以查看自适应哈希索引的使用情况:
mysql> show engine innodb status\G; *************************** 1. row *************************** Type: InnoDB Name: Status: ===================================== 2019-05-13 23:32:21 7f4875947700 INNODB MONITOR OUTPUT ===================================== Per second averages calculated from the last 32 seconds ... ------------------------------------- INSERT BUFFER AND ADAPTIVE HASH INDEX ------------------------------------- Ibuf: size 1, free list len 1226, seg size 1228, 0 merges merged operations: insert 0, delete mark 0, delete 0 discarded operations: insert 0, delete mark 0, delete 0 Hash table size 276671, node heap has 1288 buffer(s) 0.16 hash searches/s, 16.97 non-hash searches/s
我们可以看到自适应哈希的使用情况,可以通过最后一行的hash searches/non-hash searches
来判断使用哈希索引的效率。
我们可以使用innodb_adaptive_hash_index
参数来禁用或启用此特性,默认开启。
B+
树索引
B+
树索引是目前关系型数据库系统中查找最为常用和有效的索引,其构造类似于二叉树,根据键值对快速找到数据。B+
树(balance+ tree)
由B
树(banlance tree 平衡二叉树)
和索引顺序访问方法(ISAM: Index Sequence Access Method)
演化而来,这几个都是经典的数据结构。而MyISAM
引擎最初也是参考ISAM
数据结构设计的。
基础数据结构
想要了解B+
树数据结构,我们先了解一些基础的知识。
二分查找法
又称为折半查找法,指的是将数据顺序排列,通过每次和中间值比较,跳跃式查找,每次缩减一半的范围,快速找到目标的算法。其算法复杂度为log2(n)
,比顺序查找要快上一些。
如图所示,从有序列表中查找48
,只需要3
步:
InnoDB
的B+
树索引
InnoDB
的B+
树索引的特点是高扇出性,因此一般树的高度为2~4
层,这样我们在查找一条记录时只用I/O
2~4
次。当前机械硬盘每秒至少100
次I/O/s
,因此查询时间只需0.02~0.04s
。
数据库中的B+
树索引分为聚集索引(clustered index)
和辅助索引(secondary index)
。它们的区别是叶子节点存放的是否为一整行的完整数据。
聚集索引
聚集索引就是按照每张表的主键(唯一)构造一棵B+
树,同时叶子节点存放整行的完整数据,因此将叶子节点称为数据页。由于定义了数据的逻辑顺序,聚集索引也能快速的进行范围类型的查询。
聚集索引的叶子节点按照逻辑顺序连续存储,叶子节点内部物理上连续存储,作为最小单元,叶子节点间通过双向指针连接,物理存储上不连续,逻辑存储上连续。
聚集索引能够针对主键进行快速的排序查找和范围查找,由于是双向链表,因此在逆序查找时也非常快。
我们可以通过explain
命令来分析MySQL
数据库的执行计划:
# 查看表的定义,可以看到id为主键,name为普通列 mysql> show create table dimensionsConf; | Table | Create Table | dimensionsConf | CREATE TABLE `dimensionsConf` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(20) DEFAULT NULL, `remark` varchar(1024) NOT NULL, PRIMARY KEY (`id`), FULLTEXT KEY `fullindex_remark` (`remark`) ) ENGINE=InnoDB AUTO_INCREMENT=178 DEFAULT CHARSET=utf8 | 1 row in set (0.00 sec) # 先测试一个非主键的name属性排序并查找,可以看到没有使用到任何索引,且需要filesort(文件排序),这里的rows为输出行数的预估值 mysql> explain select * from dimensionsConf order by name limit 10\G; *************************** 1. row *************************** id: 1 select_type: SIMPLE table: dimensionsConf type: ALL possible_keys: NULL key: NULL key_len: NULL ref: NULL rows: 57 Extra: Using filesort 1 row in set (0.00 sec) # 再测试主键id的排序并查找,此时使用主键索引,在执行计划中没有了filesort操作,这就是聚集索引带来的优化 mysql> explain select * from dimensionsConf order by id limit 10\G; *************************** 1. row *************************** id: 1 select_type: SIMPLE table: dimensionsConf type: index possible_keys: NULL key: PRIMARY key_len: 4 ref: NULL rows: 10 Extra: NULL 1 row in set (0.00 sec) # 再查找根据主键id的范围查找,此时直接根据叶子节点的上层节点就可以快速得到范围,然后读取数据 mysql> explain select * from dimensionsConf where id>10 and id<10000\G; *************************** 1. row *************************** id: 1 select_type: SIMPLE table: dimensionsConf type: range possible_keys: PRIMARY key: PRIMARY key_len: 4 ref: NULL rows: 56 Extra: Using where 1 row in set (0.00 sec)
辅助索引
辅助索引又称非聚集索引,其叶子节点不包含行记录的全部数据,而是包含一个书签(bookmark)
,该书签指向对应行数据的聚集索引,告诉InnoDB
存储引擎去哪里查找具体的行数据。辅助索引与聚集索引的关系就是结构相似、独立存在,但辅助索引查找非索引数据需要依赖于聚集索引来查找。
全文检索索引缓存
辅助表是存在与磁盘上的持久化的表,由于磁盘I/O
比较慢,因此提供FTS Index Cache
(全文检索索引缓存)来提高性能。FTS Index Cache
是一个红黑树结构,根据(word, list)
排序,在有数据插入时,索引先更新到缓存中,而后InnoDB
存储引擎会批量进行更新到辅助表中。
当数据库宕机时,尚未落盘的索引缓存数据会自动读取并存储,配置参数innodb_ft_cache_size
控制缓存的大小,默认为32M
,提高该值,可以提高全文检索的性能,但在故障时,需要更久的时间恢复。
在删除数据时,InnoDB
不会删除索引数据,而是保存在DELETED
辅助表中,因此一段时间后,索引会变得非常大,可以通过optimize table
命令手动删除无效索引记录。如果需要删除的内容非常多,会影响应用程序的可用性,参数innodb_ft_num_word_optimize
控制每次删除的分词数量,默认为2000
,用户可以调整该参数来控制删除幅度。
全文检索限制
全文检索存在一个黑名单列表(stopword list)
,该列表中的词不需要进行索引分词,默认共有36
个,如the
单词。你可以自行调整:
mysql> select * from information_schema.INNODB_FT_DEFAULT_STOPWORD; +-------+ | value | +-------+ | a | | about | | an | | are | | as | | at | | be | | by | | com | | de | | en | | for | | from | | how | | i | | in | | is | | it | | la | | of | | on | | or | | that | | the | | this | | to | | was | | what | | when | | where | | who | | will | | with | | und | | the | | www | +-------+ 36 rows in set (0.00 sec)
其他限制还有:
● 每张表只能有一个全文检索索引
● 多列组合的全文检索索引必须使用相同的字符集和字符序,不了解的可以参考MySQL乱码的原因和设置UTF8数据格式
● 不支持没有单词界定符(delimiter)
的语言,如中文、日语、韩语等
全文检索
我们创建一个全文索引:
mysql> create fulltext index fullindex_remark on dimensionsConf(remark); Query OK, 0 rows affected, 1 warning (0.39 sec) Records: 0 Duplicates: 0 Warnings: 1 mysql> show warnings; +---------+------+--------------------------------------------------+ | Level | Code | Message | +---------+------+--------------------------------------------------+ | Warning | 124 | InnoDB rebuilding table to add column FTS_DOC_ID | +---------+------+--------------------------------------------------+ 1 row in set (0.00 sec)
全文检索有两种方法:
● 自然语言(Natural Language)
,默认方法,可省略:(IN NATURAL LANGUAE MODE)
● 布尔模式(Boolean Mode)
:(IN BOOLEAN MODE)
自然语言还支持一种扩展模式,后面加上:(WITH QUERY EXPANSION)
。
其语法为MATCH()...AGAINST()
,MATCH
指定被查询的列,AGAINST
指定何种方法查询。
自然语言检索
mysql> select remark from dimensionsConf where remark like &#39;%baby%&#39;; +-------------------+ | remark | +-------------------+ | a baby like panda | | a baby like panda | +-------------------+ 2 rows in set (0.00 sec) mysql> select remark from dimensionsConf where match(remark) against(&#39;baby&#39; IN NATURAL LANGUAGE MODE); +-------------------+ | remark | +-------------------+ | a baby like panda | | a baby like panda | +-------------------+ 2 rows in set (0.00 sec) # 查看下执行计划,使用了全文索引排序 mysql> explain select * from dimensionsConf where match(remark) against(&#39;baby&#39;); +----+-------------+----------------+----------+------------------+------------------+---------+------+------+-------------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+----------------+----------+------------------+------------------+---------+------+------+-------------+ | 1 | SIMPLE | dimensionsConf | fulltext | fullindex_remark | fullindex_remark | 0 | NULL | 1 | Using where | +----+-------------+----------------+----------+------------------+------------------+---------+------+------+-------------+ 1 row in set (0.00 sec)
我们也可以查看各行数据的相关性,是一个非负的浮点数,0
代表没有相关性:
mysql> select id,remark,match(remark) against(&#39;baby&#39;) as relevance from dimensionsConf; +-----+-----------------------+--------------------+ | id | remark | relevance | +-----+-----------------------+--------------------+ | 106 | c | 0 | | 111 | 运营商 | 0 | | 115 | a baby like panda | 2.1165735721588135 | | 116 | a baby like panda | 2.1165735721588135 | +-----+-----------------------+--------------------+ 4 rows in set (0.01 sec)
布尔模式检索
MySQL
也允许用修饰符来进行全文检索,其中特殊字符会有特殊含义:
+:
该word
必须存在-:
该word
必须排除(no operator):
该word
可选,如果出现,相关性更高@distance:
查询的多个单词必须在指定范围之内>:
出现该单词时增加相关性<:
出现该单词时降低相关性~:
出现该单词时相关性为负*:
以该单词开头的单词":
表示短语# 代表必须有a baby短语,不能有man,可以有lik开头的单词,可以有panda, select remark from dimensionsConf where match(remark) against(&#39;+"a baby" -man lik* panda&#39; IN BOOLEAN MODE);
扩展查询
当查询的关键字太短或不够清晰时,需要用隐含知识来进行检索,如database
关联的MySQL/DB2
等。但这个我并没太明白怎么使用,后续补充吧。
类似的使用是:
select * from articles where match(title,body) against(&#39;database&#39; with query expansion);
推荐学习:MySQL教程
以上就是MySQL InnoDB索引原理和算法的详细内容,更多请关注 第一PHP社区 其它相关文章!