es倒排索引_【漫画】ES原理必知必会的倒排索引和分词

倒排索引&＃xff0c;它也是索引。索引&＃xff0c;初衷都是为了快速检索到你要的数据。

我相信你一定知道mysql的索引&＃xff0c;如果对某一个字段加了索引&＃xff0c;一般来说查询该字段速度是可以有显著的提升。 每种数据库都有自己要解决的问题&＃xff08;或者说擅长的领域&＃xff09;&＃xff0c;对应的就有自己的数据结构&＃xff0c;而不同的使用场景和数据结构&＃xff0c;需要用不同的索引&＃xff0c;才能起到最大化加快查询的目的。 对 Mysql 来说&＃xff0c;是 B&＃43; 树&＃xff0c;对 Elasticsearch/Lucene 来说&＃xff0c;是倒排索引。

刚刚胖滚猪说到图书的例子&＃xff0c;目录和索引页&＃xff0c;其实就很形象的可以比喻为正排索引和倒排索引。为了进一步加深理解&＃xff0c;再看看熟悉的搜索引擎。没有搜索引擎时&＃xff0c;我们只能直接输入一个网址&＃xff0c;然后获取网站内容&＃xff0c;这时我们的行为是document -> words。此谓「正向索引」。后来&＃xff0c;我们希望能够输入一个单词&＃xff0c;找到含有这个单词&＃xff0c;或者和这个单词有关系的文章&＃xff0c;即word -> documents。于是我们把这种索引&＃xff0c;叫「反向索引」&＃xff0c;或者「倒排索引」。 好了&＃xff0c;我们来总结一下&＃xff1a;

假如一篇文章当中&＃xff0c;有这么一段话"胖滚猪编程让你收获快乐"&＃xff0c;我要通过"胖滚猪"这个词来搜索到这篇文章&＃xff0c;那么应该如何实现呢。

我们是很容易想到&＃xff0c;可以将这篇文章的词都拆开&＃xff0c;拆分为"胖滚猪"、"编程"、"收获"、"快乐"。注意我们把没用的词&＃xff0c;比如"让"去掉了。这个拆分短语的过程涉及到ES的分词&＃xff0c;另外中文分词还是比较复杂的&＃xff0c;不像英文分词一般用空格分隔就可以。等会我们再来说分词吧&＃xff0c;现在你只要知道&＃xff0c;我们是会按一定规则把文章单词拆分的。 那么拆开了&＃xff0c;怎么去找呢&＃xff1f;自然会维护一个单词和文档的对应关系&＃xff0c;如图&＃xff1a;

倒排索引的核心组成

1、单词词典&＃xff1a;记录所有文档的单词&＃xff0c;一般都比较大。还会记录单词到倒排列表的关联信息。 2、倒排列表&＃xff1a;记录了单词对应的文档集合&＃xff0c;由倒排索引项组成。倒排索引项包含如下信息&＃xff1a;

• 文档ID&＃xff0c;用于获取原始信息
• 单词频率TF&＃xff0c;记录该单词在该文档中的出现次数&＃xff0c;用于后续相关性算分
• 位置Position&＃xff0c;记录单词在文档中分词的位置&＃xff0c;用于语句搜索(phrase query)
• 偏移Offset&＃xff0c;记录单词在文档的开始和结束位置&＃xff0c;实现高亮显示

下图是 Elasticsearch 中数据索引过程的流程。ES由 Analyzer 组件对文档执行一些操作并将具体子句拆分为 token/term&＃xff0c;简单说就是分词&＃xff0c;然后将这些术语作为倒排索引存储在磁盘中。

ES的JSON文档中的每一个字段&＃xff0c;都有自己的倒排索引&＃xff0c;当然你可以指定某些字段不做索引&＃xff0c;优点是这样可以节省磁盘空间。但是不做索引的话字段无法被搜索到。 注意两个关键词&＃xff1a;分词和倒排索引。倒排索引我相信你已经懂了&＃xff01;分词我们马上就来聊聊&＃xff01;

还是回到我们开头的那个查询例子&＃xff0c;毕竟胖滚猪心心念念为什么会搜出两个文档&＃xff01;首先我们用_analyze来分析一下ES会如何对它进行分词及倒排索引&＃xff1a;

现在你是不是一目了然了呢&＃xff01;先不管_analyze是何方神圣&＃xff0c;反正你看到结果了&＃xff0c;ES将它分成了一个个字&＃xff0c;这是ES中默认的中文分词。掌握分词要先懂两个名词&＃xff1a;analysis与analyzer

** analysis&＃xff1a;**

文本分析&＃xff0c;是将全文本转换为一系列单词的过程&＃xff0c;也叫分词。analysis是通过analyzer(分词器)来实现的&＃xff0c;可以使用Elasticearch内置的分词器&＃xff0c;也可以自己去定制一些分词器。

** analyzer(分词器)&＃xff1a; **

由三部分组成&＃xff1a;

• Character Filter&＃xff1a;将文本中html标签剔除掉。
• Tokenizer&＃xff1a;按照规则进行分词&＃xff0c;在英文中按照空格分词
• Token Filter&＃xff1a;将切分的单词进行加工&＃xff0c;小写&＃xff0c;删除 stopwords(停顿词&＃xff0c;a、an、the、is等),增加同义词

注意&＃xff1a;除了在数据写入时将词条进行转换&＃xff0c;查询的时候也需要使用相同的分析器对语句进行分析。即我们写入苹果的时候分词成了苹和果&＃xff0c;查询苹果的时候同样也是分词成苹和果去查。

ES内置分词器

• Standard Analyzer - 默认分词器&＃xff0c;按词切分&＃xff0c;小写处理
• Simple Analyzer - 按照非字母切分(符号被过滤), 小写处理
• Stop Analyzer - 小写处理&＃xff0c;停用词过滤(the,a,is)
• Whitespace Analyzer - 按照空格切分&＃xff0c;不转小写
• Keyword Analyzer - 不分词&＃xff0c;直接将输入当作输出
• Patter Analyzer - 正则表达式&＃xff0c;默认W&＃43;(非字符分割)
• Language - 提供了30多种常见语言的分词器
• Customer Analyzer 自定义分词器

看概念太虚了&＃xff01;一定要动手实操才有用&＃xff01;我们可以用_analyze进行分析&＃xff0c;会输出分词后的结果&＃xff0c;举两个例子吧&＃xff01;其他的你也要自己课后动手试试哦&＃xff01;

中文扩展分词器

现在来解决胖滚猪的问题&＃xff0c;苹果明明一个词&＃xff0c;不想让它分为两个呀&＃xff01;中文分词在所有搜索引擎中都是一个很大的难点&＃xff0c;中文的句子应该是切分成一个个的词&＃xff0c;但是一句中文&＃xff0c;在不同的上下文&＃xff0c;其实是不同的理解&＃xff0c;例如: 这个苹果&＃xff0c;不大好吃/这个苹果&＃xff0c;不大&＃xff0c;好吃。

有一些比较不错的中文分词插件:IK、THULAC等。我们可以试试用IK进行中文分词。

** IK分词器&＃xff1a;支持自定义词库、支持热更新分词字典 **

• ik_max_word: 会将文本做最细粒度的拆分&＃xff0c;比如会将“这个苹果不大好吃”拆分为"这个&＃xff0c;苹果&＃xff0c;不大好&＃xff0c;不大&＃xff0c;好吃"等&＃xff0c;会穷尽各种可能的组合&＃xff1b;
• ik_smart: 会做最粗粒度的拆分&＃xff0c;比如会将“这个苹果不大好吃”拆分为"这个&＃xff0c;苹果&＃xff0c;不大&＃xff0c;好吃"

** 如何使用分词器 **

列举了很多的分词器&＃xff0c;那么在实际中该如何使用呢&＃xff1f;看看下面这个代码演示就懂啦&＃xff01;

注&＃xff1a;本文来源于公众号[胖滚猪学编程]&＃xff0c;其中卡通形象来源于微信表情包"胖滚家族"&＃xff0c;且已获作者的许可。

本文转载自公众号【胖滚猪学编程】 用漫画让编程so easy and interesting&＃xff01;欢迎关注~