ES索引

ES 索引

• Elasticsearch&＃xff08;以下称之为 ES&＃xff09;是一款基于 Lucene 的分布式全文搜索引擎&＃xff0c;擅长海量数据存储、数据分析以及全文检索查询。
• Lucene 是 Apache 下的一个子项目&＃xff0c;是一个开放源代码的全文检索引擎工具包&＃xff0c;但它不是一个完整的全文检索引擎&＃xff0c;而是一个全文检索引擎的架构&＃xff0c;提供了完整的查询引擎和索引引擎&＃xff0c;它是 ES 实现全文检索的核心基础&＃xff0c;索引文档以及搜索索引的的核心流程都是在 Lucene 中完成的。

基础结构

索引

• 索引类似于Mysql数据库中的库概念&＃xff0c;在ES之前的版本是有type这个概念的&＃xff0c;后来的版本去掉了type&＃xff0c;所以索引又有表的概念。简单的说&＃xff0c;索引就是文档的容器&＃xff0c;是一类文档的集合&＃xff0c;逻辑空间上的分类&＃xff0c;物理空间上的分片

倒排索引

• ES中使用的是倒排索引&＃xff0c;Mysql中的是正排索引&＃xff0c;通过key去查value&＃xff0c;而倒排索引是通过value去查key
• Mysql中的一张表

• 如果在ES中存储上表中的数据&＃xff0c;ES会创建以下的索引

Term是字段值&＃xff0c;Posting List是其所属的id数组

Term Dictionary

• 你会发现&＃xff0c;本来Mysql中我存储三行数据就可以了&＃xff0c;而在ES中却存储了七行数据&＃xff0c;哪里高效了&＃xff1f;ES为了查询Term快速&＃xff0c;将所有Term排序&＃xff0c;然后二分法查找Term&＃xff0c;LogN的查找效率&＃xff0c;类似查字典表&＃xff0c;这个就是Term Dictionary。

Term Index

• 当数据量多的时候&＃xff0c;Term Dictionary的量也很大&＃xff0c;放在缓存中不现实&＃xff0c;而Term Index就像是字典中的索引页一样&＃xff0c;比如我找A开头的有哪些&＃xff0c;分别在哪页等等&＃xff0c;在Term Dictionary的基础上又加了一层索引&＃xff0c;可以看成一棵树。
• 当然&＃xff0c;Term Index不会保存所有的Term Dictionary&＃xff0c;只是保存了Term的一些前缀与Term Dictionary之间的映射关系&＃xff0c;再结合FST压缩技术&＃xff0c;Term Index可以保存在内存中&＃xff0c;这样从Term Index查询到Term Dictionary的block位置之后&＃xff0c;再去磁盘中查找Term&＃xff0c;就大大减少了访问磁盘的次数。

FST

• FST&＃xff08;Finite State Transducer&＃xff09;&＃xff1a;有限状态传感器
• 在这里使用moth、month、munt、mount、top、pop演示结果

• FST有两个优点&＃xff1a;1&＃xff09;空间占用小。通过对词典中单词前缀和后缀的重复利用&＃xff0c;压缩了存储空间&＃xff1b;2&＃xff09;查询速度快。O(len(str))的查询时间复杂度。
• FST以字节的方式存储所有的term&＃xff0c;这种压缩方式可以有效的缩减存储空间&＃xff0c;使得term index足以放进内存&＃xff0c;但这种方式也会导致查找时需要更多的CPU资源。
• Term Index放在内存中&＃xff0c;Term Dictionary在磁盘中&＃xff0c;所以使用ES查询时&＃xff0c;先查询Term Index然后去磁盘中查找Term Dictionary所在的block块&＃xff0c;获取其Posting List