热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Elasticsearch4微服务,es打分机制,es集群搭建,es脑裂问题,Heroku部署

1微服务8服务间的通讯 10服务的注册与发现 11高并发和高可用#1Iaas,Paas和Saas-基础设施服务:自己买服务器,开发项目,部署在服务器上,监控-平台即服务:项目开发完

1 微服务

Elasticsearch4    微服务,es打分机制,es集群搭建,es脑裂问题,Heroku部署

Elasticsearch4    微服务,es打分机制,es集群搭建,es脑裂问题,Heroku部署8服务间的通讯

 Elasticsearch4    微服务,es打分机制,es集群搭建,es脑裂问题,Heroku部署10服务的注册与发现

 Elasticsearch4    微服务,es打分机制,es集群搭建,es脑裂问题,Heroku部署11高并发和高可用

# 1 Iaas ,Paas和Saas
-基础设施服务:自己买服务器,开发项目,部署在服务器上,监控
-平台即服务:项目开发完---》放到人家服务器上即可--》自动备份,自动监控
-软件即服务:买别人的软件服务
iass基础设施服务(组装机):你买了一大堆电脑配件,cpu 主板..然后组装完成后 装上系统就可以上网。还要自己提供场地 环境
paas平台即服务(品牌机):买回来开机就行。需要自己提供场地,和环境(电源)
saas软件即服务(去网吧):电脑,场地,环境(电源,网线,饮料)都是网吧提供的服务

# 2 微服务是一个架构的概念
# 3 单体应用:路飞项目所有功能都融到一个大项目里
    -单体应用可以拆成一个一个的模块,订单模块,用户模块,商品模块
# 4 微服务
    -大项目,拆成订单服务,用户服务,商品服务,单独开发单独上线,三五个人一个项目
  
# 5 微服务跟分布式有什么区别和联系
    -分布式:分散部署在不同的机器上的,一个服务可能有多个功能,是一种面向SOA架构的
  -分布式的方式是根据不同机器不同业务
  -微服务:相比分布式服务来说,它的粒度更小,服务之间耦合度更低,由于每个微服务都由独立的小团队负责
  -微服务更加强调单一职责、轻量级通信(HTTP)、独立性并且进程隔离。
  一台机器上可以有多个服务(每个服务是一个进程),每个分布式节点跑在不通机器上
  
# 6 微服务架构是分布式服务架构的子集

# 7 微服务:每个服务用自己的数据库

# 8 每个服务之间如何通信
    -不通进程,甚至是不同的服务器
  -同步通信:对内用rpc,对外用restful
      -restful
    -rpc        (gRPC,Thrift可以用于任意语言rpc框架,都不支持restful协议[了解])
  -异步通信
      -消息队列
    
 # protobuf协议:xml,josn,protobuf(其实是二进制)   越往右越节省空间
# 9 rpc:远程过程调用(调用远程的函数像调用本地函数一样)
    -为什么不直接用resful?它是应用层协议,http协议,数据包大一些
  -第三方开源的rpc框架,有的是自己的协议,有的也支持resful
# 10 服务注册和发现
    -一旦上线一个服务,需要在注册中心注册
  -zookpper(java),etcd(go),consul(go)
# 11 高并发和高可用
- 鉴权:有没有权限来操作
- 重试机制 (API网关再帮忙重试一次)
- 限流  (通过后端连接数推测前端可以抗住的并发量,超出的请求被丢弃)   
    -漏桶算法
  -令牌桶算法
- 熔断机制 (当借口不可用,下次调服务时就不会再访问这个节点了,后台还有一个程序会实时监控这个服务节点)
- 降级  (只接受重要的请求)
# 如果软件已经没用了,采取下方方法,承受高并发
-保证高并发:水平扩展(最多:加机器)和垂直扩展(加内存,加硬盘,加cpu)

# 微服务相关的词,融到你的简历里
# 项目中:中间件里写了降级的方案
# 链路监控
redis+1-----》100 ---》超没超过100,限流或者降级

 

2 es打分机制

# es:重要的就是查询,全文检索
# 打分机制的公式:TF-IDF
- 一个词条在某篇文档中出现的次数越多,该文档就越相关,分越高,`TF`是词频(term frequency)
- 一个词条如果在不同的文档中出现的次数越多,它就越不相关,分越低,`IDF`是逆文档频率

# 配置打分模型
    -一般不配
  
  
# 百度seo:免费通过关键字来让你的网站更容易被搜到
# 百度 sem:花钱让你的网站往前放

 

3 es集群搭建

# 方案一 :广播
    -只管启动es,自动加入到集群中,一旦加入进去,自行完成数据copy
  -只需要启动读个es,自动加入到集群中(集群名字一样,才能加入到集群,没改,集群名字默认一样) 
  #测试拷贝4个es文件夹,把其中\data\nodes下文件删除  一个个起es,因为没有配置端口号,启动端口号一个个往后排
# 方案二:单播  # 注意新加入的节点必须是空数据,空配置文件,如果和其他节点文件相同可以
    -1 在每个es的配置文件中写入配置 # 在elasticsearch.yml最底下配  只要有一个es记录就行,认识的自动进集群
      cluster.name: my_es1 # 集群名字
    node.name: node1    # 节点名字
    network.host: 127.0.0.1    监听地址
    http.port: 9200  # 监听的端口号
    transport.tcp.port: 9300    # 集群交互走的端口
    discovery.zen.ping.unicast.hosts: ["127.0.0.1:9300", "127.0.0.1:9302", "127.0.0.1:9303", "127.0.0.1:9304"]    # 只要9300,9302,9303,9304端口服务器启动就会加入该集群   假如一个配了9300,9302;一个配了9302,9303。也可以组成集群
  -2 启动es即可,自动加入集群
  -3 可以在任意节点查数据,写数据,都是往集群中写,从集群中查
  -4 自己实现注册发现,重试
  
# 好多公司用es,都用单机,没有搭集群
# 保证高可用:
    -有一个节点挂了,服务还能能,数据还是完整(相对的)

 

4 es脑裂问题

Elasticsearch4    微服务,es打分机制,es集群搭建,es脑裂问题,Heroku部署

# 假设10个节点,一个集群
# 4个节点挂了,4个节点又上来了,4个节点组成一个集群,选了一个主,6个组成一个集群,选了一个主

# 通过配置文件:
discovery.zen.minimum_master_nodes: 3      # 大于等于3个才能组成集群
  
# 脑裂问题出现的原因,如何解决

很多都是单实例---》好点的做个主从

 

研究一下在Heroku部署django项目(helloworld)

heroku 把环境(python,uwsgi之类的)都搭好了,上传github,heroku会从github上下载

heroku使用Postgres数据库,直接项目数据库需要更改


推荐阅读
  • 本文介绍了Java工具类库Hutool,该工具包封装了对文件、流、加密解密、转码、正则、线程、XML等JDK方法的封装,并提供了各种Util工具类。同时,还介绍了Hutool的组件,包括动态代理、布隆过滤、缓存、定时任务等功能。该工具包可以简化Java代码,提高开发效率。 ... [详细]
  • 云原生边缘计算之KubeEdge简介及功能特点
    本文介绍了云原生边缘计算中的KubeEdge系统,该系统是一个开源系统,用于将容器化应用程序编排功能扩展到Edge的主机。它基于Kubernetes构建,并为网络应用程序提供基础架构支持。同时,KubeEdge具有离线模式、基于Kubernetes的节点、群集、应用程序和设备管理、资源优化等特点。此外,KubeEdge还支持跨平台工作,在私有、公共和混合云中都可以运行。同时,KubeEdge还提供数据管理和数据分析管道引擎的支持。最后,本文还介绍了KubeEdge系统生成证书的方法。 ... [详细]
  • Android系统移植与调试之如何修改Android设备状态条上音量加减键在横竖屏切换的时候的显示于隐藏
    本文介绍了如何修改Android设备状态条上音量加减键在横竖屏切换时的显示与隐藏。通过修改系统文件system_bar.xml实现了该功能,并分享了解决思路和经验。 ... [详细]
  • flowable工作流 流程变量_信也科技工作流平台的技术实践
    1背景随着公司业务发展及内部业务流程诉求的增长,目前信息化系统不能够很好满足期望,主要体现如下:目前OA流程引擎无法满足企业特定业务流程需求,且移动端体 ... [详细]
  • 本文介绍了使用kotlin实现动画效果的方法,包括上下移动、放大缩小、旋转等功能。通过代码示例演示了如何使用ObjectAnimator和AnimatorSet来实现动画效果,并提供了实现抖动效果的代码。同时还介绍了如何使用translationY和translationX来实现上下和左右移动的效果。最后还提供了一个anim_small.xml文件的代码示例,可以用来实现放大缩小的效果。 ... [详细]
  • Spring源码解密之默认标签的解析方式分析
    本文分析了Spring源码解密中默认标签的解析方式。通过对命名空间的判断,区分默认命名空间和自定义命名空间,并采用不同的解析方式。其中,bean标签的解析最为复杂和重要。 ... [详细]
  • android listview OnItemClickListener失效原因
    最近在做listview时发现OnItemClickListener失效的问题,经过查找发现是因为button的原因。不仅listitem中存在button会影响OnItemClickListener事件的失效,还会导致单击后listview每个item的背景改变,使得item中的所有有关焦点的事件都失效。本文给出了一个范例来说明这种情况,并提供了解决方法。 ... [详细]
  • 本文介绍了Perl的测试框架Test::Base,它是一个数据驱动的测试框架,可以自动进行单元测试,省去手工编写测试程序的麻烦。与Test::More完全兼容,使用方法简单。以plural函数为例,展示了Test::Base的使用方法。 ... [详细]
  • Voicewo在线语音识别转换jQuery插件的特点和示例
    本文介绍了一款名为Voicewo的在线语音识别转换jQuery插件,该插件具有快速、架构、风格、扩展和兼容等特点,适合在互联网应用中使用。同时还提供了一个快速示例供开发人员参考。 ... [详细]
  • 《数据结构》学习笔记3——串匹配算法性能评估
    本文主要讨论串匹配算法的性能评估,包括模式匹配、字符种类数量、算法复杂度等内容。通过借助C++中的头文件和库,可以实现对串的匹配操作。其中蛮力算法的复杂度为O(m*n),通过随机取出长度为m的子串作为模式P,在文本T中进行匹配,统计平均复杂度。对于成功和失败的匹配分别进行测试,分析其平均复杂度。详情请参考相关学习资源。 ... [详细]
  • HDFS2.x新特性
    一、集群间数据拷贝scp实现两个远程主机之间的文件复制scp-rhello.txtroothadoop103:useratguiguhello.txt推pushscp-rr ... [详细]
  • 本文介绍了在Windows环境下如何配置php+apache环境,包括下载php7和apache2.4、安装vc2015运行时环境、启动php7和apache2.4等步骤。希望对需要搭建php7环境的读者有一定的参考价值。摘要长度为169字。 ... [详细]
  • 本文介绍了Linux Shell中括号和整数扩展的使用方法,包括命令组、命令替换、初始化数组以及算术表达式和逻辑判断的相关内容。括号中的命令将会在新开的子shell中顺序执行,括号中的变量不能被脚本余下的部分使用。命令替换可以用于将命令的标准输出作为另一个命令的输入。括号中的运算符和表达式符合C语言运算规则,可以用在整数扩展中进行算术计算和逻辑判断。 ... [详细]
  • MyBatis多表查询与动态SQL使用
    本文介绍了MyBatis多表查询与动态SQL的使用方法,包括一对一查询和一对多查询。同时还介绍了动态SQL的使用,包括if标签、trim标签、where标签、set标签和foreach标签的用法。文章还提供了相关的配置信息和示例代码。 ... [详细]
  • 一句话解决高并发的核心原则
    本文介绍了解决高并发的核心原则,即将用户访问请求尽量往前推,避免访问CDN、静态服务器、动态服务器、数据库和存储,从而实现高性能、高并发、高可扩展的网站架构。同时提到了Google的成功案例,以及适用于千万级别PV站和亿级PV网站的架构层次。 ... [详细]
author-avatar
Hykun
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有