热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

大佬就别点进来了,不过是ES入门概念罢了

简简单单介绍几个ElasticS

什么是全文搜索引擎


全文搜索引擎是目前广泛应用的主流搜索引擎。


它的工作原理是计算机索引程序通过扫描文章中的每一个词,对每一个词建立一个索引,指明该词在文章中出现的次数和位置,当用户查询时,检索程序就根据事先建立的索引进行查找,并将查找的结果反馈给用户的检索方式。


这个过程类似于通过字典中的检索字表查字的过程。



什么时候使用全文搜索引擎


  • 搜索的数据对象是大量的非结构化文本数据

  • 文件记录量达到数十万或者百万甚至更多

  • 支持大量基于交互式文本的查询

  • 对不同记录类型、非文本数据操作或安全事务处理的需求相对较少的情况



为什么使用ES


ES(ElasticSearch) 作为一个开源的高扩展的分布式全文检索引擎,自2016年起已经超过Solr,成为排名第一的搜索引擎应用,具有很多独特的优点。


  • ES可以为几乎所有类型的数据提供近实时的索引、搜索和分析服务。无论是结构化或非结构化数据文本、数值数据和地理空间数据,ES都支持高效地存储和索引,并提供高效搜索。

  • ES扩展性好。它可以扩展到上百台服务器,处理PB级别的数据,同时索引的副本机制保障了高可用的特点。

  • ES使用简单。它通过简单的 RESTful API 隐藏了 Lucene 的复杂性,从而让全文搜索变得简单易用。


例如,要计算出2.38亿会员中有多少80后的已婚的上海男士。
传统数据库执行时间:5个小时左右
ES执行时间:1分钟



ES vs Solr


ES 和 Solr 都是基于 Lucene 的全文搜索引擎,他们的特征差异对比如下:




ElasticSearch 应用


  1. Github:2013年初,抛弃了Solr,采取 ElasticSearch 来做PB 级的搜索。“GitHub 使用ElasticSearch搜索20TB 的数据,包括13亿文件和1300亿行代码”。

  2. 维基百科:启动以ElasticSearch为基础的核心搜索架构

  3. SoundCloud:“SoundCloud 使用ElasticSearch 为1.8亿用户提供准时而精准的音乐搜索服务。

  4. 百度:目前广泛使用ElasticSearch作为文本数据分析,采集百度所有服务器上的各类指标数据及用户自定义数据,通过对各种数据进行多维分析展示,辅助定位分析实例异常或业务层面异常。目前覆盖百度内部20多个业务线(包括云分析、网盟、预测、文库、直达号、钱包、风控等),单集群最大100台机器,200个ES节点,每天导入30TB+数据。

  5. 新浪:使用ElasticSearch 分析处理32亿条实时日志。

  6. 阿里:使用ElasticSearch 构建日志采集和分析体系。

  7. Stack Overflow:解决Bug 问题的网站,全英文,编程人员交流的网站。



ES基本术语


结构化数据


也称作行数据,是由二维表结构来逻辑表达和实现的数据,严格地遵循数据格式与长度规范,主要通过关系型数据库进行存储和管理。


对于结构化数据,因为它们具有特定的结构,所以我们一般都是可以通过关系型数据库(MySQL、Oracle等)的二维表(Table)的方式存储和搜索,也可以建立索引。



非结构化数据


又可称为全文数据,不定长或无固定格式,不适于由数据库二维表来表现,包括所有格式的办公文档、Word文档、邮件、音视频信息等。


对于非结构化数据,主要有两种搜索方式:顺序扫描和全文检索。


顺序扫描


按照顺序扫描的方式查特定的关键字。


全文检索


将非结构化数据中的一部分信息提取出来,重新组织,使其变得有一定结构,然后对此有一定结构的数据进行搜索,进而达到搜索相对较快的目的。


这种方式就构成了全文检索的基本思路。这部分从非结构化数据中提取出的重新组织的信息,我们称之为索引。


这种检索方式主要工作量在前期索引的创建。


近实时


ElasticSearch是近实时的查询。通常情况下,从索引文档到可搜索延迟在1s,可配置。






集群

cluster

一个集群由一个或多个 节点组成


ES的分布式架构中,不同集群是通过不同名字前来区分的,默认名字为"elasticsearch",可以在配置文件中修改。

节点

node

节点是属于集群的 运行实例


在启动时,节点将使用 单播 来发现具有相同集群名称的现有集群,并将尝试加入该集群。


一个节点只能加入一个集群。

索引

Index

索引是相似文档结构的集合。

Shard

分片

日常场景中,索引存储的数据可能超过单个节点的硬件限制,或者从单个节点搜索请求太慢。为了解决这个问题,ES提供将索引分成多个分片的功能。


一个ElasticSearch的Shard本质上是一个Lucene Index。

Primary 

Shard

主分片

主分片主要用以解决 水平扩展 问题,通过主分片,就可以将数据分布到集群上的所有节点,一个主分片就是一个运行的Lucene实例。


主分片数在索引创建时指定,后续不允许修改,除非使用Reindex进行修改。

Replica 

Shard

副分片

副本分片用以解决 数据高可用 的问题,也就是说集群中有节点出现硬件故障的时候,通过副本的方式,可以保障数据不会产生真正的丢失,因为副本分片是主分片的拷贝。


同时副本也会提高查询性能,增大吞吐量,搜索可以并行在所有副本上执行。


在索引中副本分片数量可动态调整,通过增加副本数,可以在一定程度上提高服务查询的性能。

映射

Mapping

映射用于定义ES对索引中字段的存储类型、分词方式等信息,类似数据库中的Schema。

文档

Document

ES是面向文档的,文档是所有可搜索数据的最小单位。


文档可以理解为关系型数据库中的一条记录。在ES中文档会被序列化成JSON格式,每一个文档有一个Unique ID,可以自己指定ID或者由ES自动生成。

主键

Id

每个文档都会有不同的Id,没有指定的话,会自动生成

字段

Field

一个 document 包含字段或键值对的列表。字段类似于关系数据库中表中的列。


关系型数据库 类比 ElasticSearch


RDBMS

ElasticSearch

Table

Index

Row

Document

Column

Field

Schema

Mapping

SQL

DSL

SELECT * FROM table…

GET http://…

UPDATE table SET…

PUT http://…




推荐阅读
  • Oracle优化新常态的五大禁止及其性能隐患
    本文介绍了Oracle优化新常态中的五大禁止措施,包括禁止外键、禁止视图、禁止触发器、禁止存储过程和禁止JOB,并分析了这些禁止措施可能带来的性能隐患。文章还讨论了这些禁止措施在C/S架构和B/S架构中的不同应用情况,并提出了解决方案。 ... [详细]
  • Sleuth+zipkin链路追踪SpringCloud微服务的解决方案
    在庞大的微服务群中,随着业务扩展,微服务个数增多,系统调用链路复杂化。Sleuth+zipkin是解决SpringCloud微服务定位和追踪的方案。通过TraceId将不同服务调用的日志串联起来,实现请求链路跟踪。通过Feign调用和Request传递TraceId,将整个调用链路的服务日志归组合并,提供定位和追踪的功能。 ... [详细]
  • 云原生应用最佳开发实践之十二原则(12factor)
    目录简介一、基准代码二、依赖三、配置四、后端配置五、构建、发布、运行六、进程七、端口绑定八、并发九、易处理十、开发与线上环境等价十一、日志十二、进程管理当 ... [详细]
  • 如何提高PHP编程技能及推荐高级教程
    本文介绍了如何提高PHP编程技能的方法,推荐了一些高级教程。学习任何一种编程语言都需要长期的坚持和不懈的努力,本文提醒读者要有足够的耐心和时间投入。通过实践操作学习,可以更好地理解和掌握PHP语言的特异性,特别是单引号和双引号的用法。同时,本文也指出了只走马观花看整体而不深入学习的学习方式无法真正掌握这门语言,建议读者要从整体来考虑局部,培养大局观。最后,本文提醒读者完成一个像模像样的网站需要付出更多的努力和实践。 ... [详细]
  • 篇首语:本文由编程笔记#小编为大家整理,主要介绍了软件测试知识点之数据库压力测试方法小结相关的知识,希望对你有一定的参考价值。 ... [详细]
  • 一次上线事故,30岁+的程序员踩坑经验之谈
    本文主要介绍了一位30岁+的程序员在一次上线事故中踩坑的经验之谈。文章提到了在双十一活动期间,作为一个在线医疗项目,他们进行了优惠折扣活动的升级改造。然而,在上线前的最后一天,由于大量数据请求,导致部分接口出现问题。作者通过部署两台opentsdb来解决问题,但读数据的opentsdb仍然经常假死。作者只能查询最近24小时的数据。这次事故给他带来了很多教训和经验。 ... [详细]
  • ElasticSerach初探第一篇认识ES+环境搭建+简单MySQL数据同步+SpringBoot整合ES
    一、认识ElasticSearch是一个基于Lucene的开源搜索引擎,通过简单的RESTfulAPI来隐藏Lucene的复杂性。全文搜索,分析系统&# ... [详细]
  • 如何用UE4制作2D游戏文档——计算篇
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了如何用UE4制作2D游戏文档——计算篇相关的知识,希望对你有一定的参考价值。 ... [详细]
  • 本文介绍了Hyperledger Fabric外部链码构建与运行的相关知识,包括在Hyperledger Fabric 2.0版本之前链码构建和运行的困难性,外部构建模式的实现原理以及外部构建和运行API的使用方法。通过本文的介绍,读者可以了解到如何利用外部构建和运行的方式来实现链码的构建和运行,并且不再受限于特定的语言和部署环境。 ... [详细]
  • Voicewo在线语音识别转换jQuery插件的特点和示例
    本文介绍了一款名为Voicewo的在线语音识别转换jQuery插件,该插件具有快速、架构、风格、扩展和兼容等特点,适合在互联网应用中使用。同时还提供了一个快速示例供开发人员参考。 ... [详细]
  • 一句话解决高并发的核心原则
    本文介绍了解决高并发的核心原则,即将用户访问请求尽量往前推,避免访问CDN、静态服务器、动态服务器、数据库和存储,从而实现高性能、高并发、高可扩展的网站架构。同时提到了Google的成功案例,以及适用于千万级别PV站和亿级PV网站的架构层次。 ... [详细]
  • 本文由编程笔记#小编整理,主要介绍了关于数论相关的知识,包括数论的算法和百度百科的链接。文章还介绍了欧几里得算法、辗转相除法、gcd、lcm和扩展欧几里得算法的使用方法。此外,文章还提到了数论在求解不定方程、模线性方程和乘法逆元方面的应用。摘要长度:184字。 ... [详细]
  • 分享css中提升优先级属性!important的用法总结
    web前端|css教程css!importantweb前端-css教程本文分享css中提升优先级属性!important的用法总结微信门店展示源码,vscode如何管理站点,ubu ... [详细]
  • Centos下安装memcached+memcached教程
    本文介绍了在Centos下安装memcached和使用memcached的教程,详细解释了memcached的工作原理,包括缓存数据和对象、减少数据库读取次数、提高网站速度等。同时,还对memcached的快速和高效率进行了解释,与传统的文件型数据库相比,memcached作为一个内存型数据库,具有更高的读取速度。 ... [详细]
  • 本文介绍了iOS开发中检测和解决内存泄漏的方法,包括静态分析、使用instruments检查内存泄漏以及代码测试等。同时还介绍了最能挣钱的行业,包括互联网行业、娱乐行业、教育行业、智能行业和老年服务行业,并提供了选行业的技巧。 ... [详细]
author-avatar
紫藤雨2502915477
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有