ElasticSearch是如何实现分布式的？

面试题

es 的分布式架构原理能说一下么&＃xff08;es 是如何实现分布式的啊&＃xff09;&＃xff1f;

面试官心理分析

在搜索这块&＃xff0c;lucene 是最流行的搜索库。几年前业内一般都问&＃xff0c;你了解 lucene 吗&＃xff1f;你知道倒排索引的原理吗&＃xff1f;现在早已经 out 了&＃xff0c;因为现在很多项目都是直接用基于 lucene 的分布式搜索引擎—— ElasticSearch&＃xff0c;简称为 es。

而现在分布式搜索基本已经成为大部分互联网行业的 Java 系统的标配&＃xff0c;其中尤为流行的就是 es&＃xff0c;前几年 es 没火的时候&＃xff0c;大家一般用 solr。但是这两年基本大部分企业和项目都开始转向 es 了。

所以互联网面试&＃xff0c;肯定会跟你聊聊分布式搜索引擎&＃xff0c;也就一定会聊聊 es&＃xff0c;如果你确实不知道&＃xff0c;那你真的就 out 了。

如果面试官问你第一个问题&＃xff0c;确实一般都会问你 es 的分布式架构设计能介绍一下么&＃xff1f;就看看你对分布式搜索引擎架构的一个基本理解。

面试题剖析

ElasticSearch 设计的理念就是分布式搜索引擎&＃xff0c;底层其实还是基于 lucene 的。核心思想就是在多台机器上启动多个 es 进程实例&＃xff0c;组成了一个 es 集群。

es 中存储数据的基本单位是索引&＃xff0c;比如说你现在要在 es 中存储一些订单数据&＃xff0c;你就应该在 es 中创建一个索引 order_idx&＃xff0c;所有的订单数据就都写到这个索引里面去&＃xff0c;一个索引差不多就是相当于是 mysql 里的一张表。

这样吧&＃xff0c;为了做个更直白的介绍&＃xff0c;我在这里做个类比。但是切记&＃xff0c;不要划等号&＃xff0c;类比只是为了便于理解。

index 相当于 mysql 里的一张表。而 type 没法跟 mysql 里去对比&＃xff0c;一个 index 里可以有多个 type&＃xff0c;每个 type 的字段都是差不多的&＃xff0c;但是有一些略微的差别。假设有一个 index&＃xff0c;是订单 index&＃xff0c;里面专门是放订单数据的。就好比说你在 mysql 中建表&＃xff0c;有些订单是实物商品的订单&＃xff0c;比如一件衣服、一双鞋子&＃xff1b;有些订单是虚拟商品的订单&＃xff0c;比如游戏点卡&＃xff0c;话费充值。就两种订单大部分字段是一样的&＃xff0c;但是少部分字段可能有略微的一些差别。

所以就会在订单 index 里&＃xff0c;建两个 type&＃xff0c;一个是实物商品订单 type&＃xff0c;一个是虚拟商品订单 type&＃xff0c;这两个 type 大部分字段是一样的&＃xff0c;少部分字段是不一样的。

很多情况下&＃xff0c;一个 index 里可能就一个 type&＃xff0c;但是确实如果说是一个 index 里有多个 type 的情况&＃xff08;注意&＃xff0c;mapping types 这个概念在 ElasticSearch 7.X 已被完全移除&＃xff0c;详细说明可以参考官方文档&＃xff09;&＃xff0c;你可以认为 index 是一个类别的表&＃xff0c;具体的每个 type 代表了 mysql 中的一个表。每个 type 有一个 mapping&＃xff0c;如果你认为一个 type 是具体的一个表&＃xff0c;index 就代表多个 type 同属于的一个类型&＃xff0c;而 mapping 就是这个 type 的表结构定义&＃xff0c;你在 mysql 中创建一个表&＃xff0c;肯定是要定义表结构的&＃xff0c;里面有哪些字段&＃xff0c;每个字段是什么类型。实际上你往 index 里的一个 type 里面写的一条数据&＃xff0c;叫做一条 document&＃xff0c;一条 document 就代表了 mysql 中某个表里的一行&＃xff0c;每个 document 有多个 field&＃xff0c;每个 field 就代表了这个 document 中的一个字段的值。

你搞一个索引&＃xff0c;这个索引可以拆分成多个 shard&＃xff0c;每个 shard 存储部分数据。拆分多个 shard 是有好处的&＃xff0c;一是支持横向扩展&＃xff0c;比如你数据量是 3T&＃xff0c;3 个 shard&＃xff0c;每个 shard 就 1T 的数据&＃xff0c;若现在数据量增加到 4T&＃xff0c;怎么扩展&＃xff0c;很简单&＃xff0c;重新建一个有 4 个 shard 的索引&＃xff0c;将数据导进去&＃xff1b;二是提高性能&＃xff0c;数据分布在多个 shard&＃xff0c;即多台服务器上&＃xff0c;所有的操作&＃xff0c;都会在多台机器上并行分布式执行&＃xff0c;提高了吞吐量和性能。

接着就是这个 shard 的数据实际是有多个备份&＃xff0c;就是说每个 shard 都有一个 primary shard&＃xff0c;负责写入数据&＃xff0c;但是还有几个 replica shard。primary shard 写入数据之后&＃xff0c;会将数据同步到其他几个 replica shard 上去。

通过这个 replica 的方案&＃xff0c;每个 shard 的数据都有多个备份&＃xff0c;如果某个机器宕机了&＃xff0c;没关系啊&＃xff0c;还有别的数据副本在别的机器上呢。高可用了吧。

es 集群多个节点&＃xff0c;会自动选举一个节点为 master 节点&＃xff0c;这个 master 节点其实就是干一些管理的工作的&＃xff0c;比如维护索引元数据、负责切换 primary shard 和 replica shard 身份等。要是 master 节点宕机了&＃xff0c;那么会重新选举一个节点为 master 节点。

如果是非 master节点宕机了&＃xff0c;那么会由 master 节点&＃xff0c;让那个宕机节点上的 primary shard 的身份转移到其他机器上的 replica shard。接着你要是修复了那个宕机机器&＃xff0c;重启了之后&＃xff0c;master 节点会控制将缺失的 replica shard 分配过去&＃xff0c;同步后续修改的数据之类的&＃xff0c;让集群恢复正常。

说得更简单一点&＃xff0c;就是说如果某个非 master 节点宕机了。那么此节点上的 primary shard 不就没了。那好&＃xff0c;master 会让 primary shard 对应的 replica shard&＃xff08;在其他机器上&＃xff09;切换为 primary shard。如果宕机的机器修复了&＃xff0c;修复后的节点也不再是 primary shard&＃xff0c;而是 replica shard。

其实上述就是 ElasticSearch 作为分布式搜索引擎最基本的一个架构设计。

免费Java资料需要自己领取&＃xff0c;涵盖了Java、Redis、MongoDB、MySQL、Zookeeper、Spring Cloud、Dubbo/Kafka、Hadoop、Hbase、Flink等高并发分布式、大数据、机器学习等技术。
传送门&＃xff1a;mp.weixin.qq.com/s/JzddfH-7y…