笔记六十一：提升集群写性能

作者：苏小明2602896955 | 来源：互联网 | 2023-10-11 18:18

提高写入性能的方法写性能优化的目标：增大写吞吐量（EventsPerSecond），越高越好客户端：多线程，批量写可以通过性能测试，确定最佳文档数量多线程：需要观察是否有HTTP4

笔记一：前期 docker 环境搭建
笔记二：docer-compose 的安装以及编排文件
笔记三：基本概念-文档、索引和 REST API
笔记四：文档的基本 CRUD 与批量操作
笔记五：倒排索引
笔记六：通过 Analyzer 进行分词
笔记七：Search API 概览
笔记八：URI Search 详解
笔记九：Request Body 跟 Query DSL 简介
笔记十：Query String & Simple Query String
笔记十一： Dynamic Mapping 和常见字段类型
笔记十二：显示 Mapping 设置与常见参数
笔记十三：多字段特性及 Mapping 中配置自定义 Analyzer
笔记十五：聚合分析简介
笔记十六：第一节自我测试
笔记十七：基于词项和基于全文的搜索
笔记十八：结构化搜索
笔记十九：搜索的相关性算分
笔记二十：Query & Filtering 与多字符串多字段查询
笔记二十一：单字符串多字段查询：Dis Max Query
笔记二十二：单字符串多字段查询: Multi Match
笔记二十三：多语言及中文分词与检索
笔记二十五：使用 Search Template 和 Index Alias
笔记二十六：综合排序 Function Score Query 优化算分
笔记二十七：Term & Phrase Suggester
笔记二十八：自动补全与机遇上下文的提示
笔记二十九：配置跨集群搜索
笔记三十：集群分布式模型与选主与脑裂问题
笔记三十一：分片与集群的故障转移
笔记三十二：文档分布式存储
笔记三十三：分片及其生命周期
笔记三十四：剖析分布式查询及相关性算法
笔记三十五：排序及 Doc Values & Field Data
笔记三十六：分页与遍历 From, Size,Search After & Scorll API
笔记三十七：处理并发读写操作
笔记三十八：Bucket & Metric 聚合分析及嵌套聚合
笔记三十九：Pipeline 聚合分析
笔记四十：聚合的作用范围及排序
笔记四十一：聚合的精准度问题
笔记四十二：对象及 Nested 对象
笔记四十三：文档的父子关系
笔记四十四：Update By Query & Reindex API
笔记四十五： Ingest Pipeline 与 Painless Script
笔记四十六：Elasticsearch 数据建模实例
笔记四十七：Elasticsearch 数据建模佳实践
笔记四十九：管集群身份认证与用户鉴权
笔记五十：集群内部间的安全通信
笔记五十一：集群与外部间的安全通信
笔记五十二：集常见的集群部署方式
笔记五十三：Hot & Warm 架构与 Shard Filtering
笔记五十四：分片设定及管理
笔记五十五：如何对集群进行容量规划
笔记五十六：生产环境常用配置和上线清单
笔记五十七：监控 Elasticsearch 集群
笔记五十八：诊断集群的潜在问题
笔记五十九：解决集群 Yellow 与 Red 的问题
笔记六十：提升集群读性能
笔记六十一：提升集群写性能
笔记六十二：集群压力测试
笔记六十三：段合并优化及注意事项
笔记六十四：缓存及使用 Circuit Breaker 限制内存使用
笔记六十五：一些运维相关的建议

提高写入性能的方法

写性能优化的目标：增大写吞吐量（Events Per Second），越高越好
客户端：多线程，批量写
- 可以通过性能测试，确定最佳文档数量
- 多线程：需要观察是否有 HTTP 429 返回，实现 Retry 以及线程数量的自动调节
服务器端：单个性能问题，往往是多个因素造成的。需要先分解问题，在单个节点上进行调整并且结合测试，尽可能压榨硬件资源，以达到最高吞吐量
- 使用更好的硬件。观察 CPU / IO Block
- 线程切换 / 堆栈状况

服务器端优化写入性能的一些手段

降低 IO 操作
- 使用 ES 自动生成的文档 Id / 一些相关的 ES 配置，如 Refresh Interval
降低 CPU 和存储开销
- 减少不必要分词 / 避免不需要的 doc_values /文档的字段尽量保证相同的顺序，可以提高文档的压缩率
尽可能做到写入和分片的均衡负载，实现水平扩展
- Shard Filtering / Write Load Balancer
调整 Bulk 线程池和队列

优化写入性能

ES 的默认设置，已经综合考虑了数据可靠性，搜索的实时性质，写入速度，一般不要盲目修改
一切优化，都要基于高质量的数据建模

关闭无关的功能

只需要聚合不需要搜索， Index 设置成 false
不需要算分， Norms 设置成 false
不要对字符串使用默认的 dynamic mapping。字段数量过多，会对性能产生比较大的影响
Index_options 控制在创建倒排索引时，哪些内容会被添加到倒排索引中。优化这些设置，一定程度可以节约 CPU
关闭 _source，减少 IO 操作；（适合指标型数据）

集群写性能优化

针对性能的取舍

如果需要追求极致的写入速度，可以牺牲数据可靠性及搜索实时性以换取性能
- 牺牲可靠性：将副本分片设置为 0，写入完毕再调整回去
- 牺牲搜索实时性：增加 Refresh Interval 的时间
- 牺牲可靠性：修改 Translog 的配置

数据写入的过程

Refresh
- 将文档先保存在 Index buffer 中，以 refresh_interval 为间隔时间，定期清空 buffer，生成 segment，借助文件系统缓存的特性，先将segment 放在文件系统缓存中，并开放查询，以提升搜索的实时性
Translog
- Segment 没有写入磁盘，即便发生了当机，重启后，数据也能恢复，默认配置是每次请求都会落盘
Flush
- 删除旧的 translog 文件
- 生成 Segment 并写入磁盘 / 更新 commit point 并写入磁盘。 ES 自动完成，可优化点不多

Refresh Interval

降低 Refresh 的频率
- 增加 refresh_interval 的数值。默认为 1s ，如果设置成 -1 ，会禁止自动 refresh
  - 避免过于频繁的 refresh，而生成过多的 segment 文件
  - 但是会降低搜索的实时性
- 增大静态配置参数 indices.memory.index_buffer_size
  - 默认是 10%，会导致自动触发 refresh

Translog

降低写磁盘的频率，但是会降低容灾能力
- `Index.translog.durability`：默认是 request，每个请求都落盘。设置成 async，异步写入 - `Index.translog.sync_interval` 设置为 60s，每分钟执行一次 - `Index.translog.flush_threshod_size`: 默认 512 mb，可以适当调大。当 translog 超过该值，会触发 flush

分片设定

副本在写入时设为 0，完成后再增加
合理设置主分片数，确保均匀分配在所有数据节点上
- Index.routing.allocation.total_share_per_node: 限定每个索引在每个节点上可分配的分片数（replicas and primaries）
- 5 个节点的集群。索引有 5 个主分片，1 个副本，应该如何设置？
  - （5+5） / 5 = 2
  - 生产环境中要适当调大这个数字，避免有节点下线时，分片无法正常迁移

Bulk，线程池和队列大小

客户端
- 单个 bulk 请求体的数据量不要太大，官方建议大约5-15mb - 写入端的 bulk 请求超时需要足够长，建议60s 以上 - 写入端尽量将数据轮询打到不同节点。
服务器端
- 索引创建属于计算密集型任务，应该使用固定大小的线程池来配置。来不及处理的放入队列，线程数应该配置成 CPU 核心数 +1 ，避免过多的上下文切换
- 队列大小可以适当增加，不要过大，否则占用的内存会成为 GC 的负担

一个索引设定的例子

集群写性能优化

推荐阅读

request
如何实现织梦DedeCms全站伪静态

本文介绍了如何通过修改织梦DedeCms源代码来实现全站伪静态，以提高管理和SEO效果。全站伪静态可以避免重复URL的问题，同时通过使用mod_rewrite伪静态模块和.htaccess正则表达式，可以更好地适应搜索引擎的需求。文章还提到了一些相关的技术和工具，如Ubuntu、qt编程、tomcat端口、爬虫、php request根目录等。 ... [详细]

蜡笔小新 2023-12-14 19:45:47
function
GetWindowLong函数

今天在看一个代码里头写了GetWindowLong(hwnd,0)，我当时就有点费解，靠，上网搜索函数原型说明，死活找不到第 ... [详细]

蜡笔小新 2023-12-14 17:58:15
object
通过Go SDK（Amazon S3）从Bucket生成Torrent - Generate Torrent from Bucket via Go SDK (Amazon S3)

Imtryingtofigureoutawaytogeneratetorrentfilesfromabucket,usingtheAWSSDKforGo.我正 ... [详细]

蜡笔小新 2023-12-12 14:13:01
ip
如何使用PHP向系统日历中添加事件？

本文介绍了如何使用PHP向系统日历中添加事件的方法，通过使用PHP技术可以实现自动添加事件的功能，从而实现全局通知系统和迅速记录工具的自动化。同时还提到了系统exchange自带的日历具有同步感的特点，以及使用web技术实现自动添加事件的优势。 ... [详细]

蜡笔小新 2023-12-14 21:02:28
text
Voicewo在线语音识别转换jQuery插件的特点和示例

本文介绍了一款名为Voicewo的在线语音识别转换jQuery插件，该插件具有快速、架构、风格、扩展和兼容等特点，适合在互联网应用中使用。同时还提供了一个快速示例供开发人员参考。 ... [详细]

蜡笔小新 2023-12-13 20:01:16
text
Web学习历程记录（七）——Tomcat基本概念和配置

本文介绍了Web学习历程记录中关于Tomcat的基本概念和配置。首先解释了Web静态Web资源和动态Web资源的概念，以及C/S架构和B/S架构的区别。然后介绍了常见的Web服务器，包括Weblogic、WebSphere和Tomcat。接着详细讲解了Tomcat的虚拟主机、web应用和虚拟路径映射的概念和配置过程。最后简要介绍了http协议的作用。本文内容详实，适合初学者了解Tomcat的基础知识。 ... [详细]

蜡笔小新 2023-12-13 17:08:24
text
Python连接服务器失败：使用aiohttp模拟服务器出现错误问题及解决方法

本文介绍了在使用Python中的aiohttp模块模拟服务器时出现的连接失败问题，并提供了相应的解决方法。文章中详细说明了出错的代码以及相关的软件版本和环境信息，同时也提到了相关的警告信息和函数的替代方案。通过阅读本文，读者可以了解到如何解决Python连接服务器失败的问题，并对aiohttp模块有更深入的了解。 ... [详细]

蜡笔小新 2023-12-13 12:37:59
js
flowable工作流流程变量_信也科技工作流平台的技术实践

1背景随着公司业务发展及内部业务流程诉求的增长,目前信息化系统不能够很好满足期望,主要体现如下：目前OA流程引擎无法满足企业特定业务流程需求，且移动端体 ... [详细]

蜡笔小新 2023-12-13 10:17:15
js
WebSocket与Socket.io的理解

WebSocketprotocol是HTML5一种新的协议。它的最大特点就是，服务器可以主动向客户端推送信息，客户端也可以主动向服务器发送信息，是真正的双向平等对话，属于服务器推送 ... [详细]

蜡笔小新 2023-12-12 19:35:15
ip
解决nginx启动报错epoll_wait() reported that client prematurely closed connection的方法

本文介绍了解决nginx启动报错epoll_wait() reported that client prematurely closed connection的方法，包括检查location配置是否正确、pass_proxy是否需要加“/”等。同时，还介绍了修改nginx的error.log日志级别为debug，以便查看详细日志信息。 ... [详细]

蜡笔小新 2023-12-12 13:19:04
install
网络请求模块选择——axios框架的基本使用和封装

本文介绍了选择网络请求模块axios的原因，以及axios框架的基本使用和封装方法。包括发送并发请求的演示，全局配置的设置，创建axios实例的方法，拦截器的使用，以及如何封装和请求响应劫持等内容。 ... [详细]

蜡笔小新 2023-12-12 10:16:43
text
SpringMVC接收请求参数的方式总结

本文总结了在SpringMVC开发中处理控制器参数的各种方式，包括处理使用@RequestParam注解的参数、MultipartFile类型参数和Simple类型参数的RequestParamMethodArgumentResolver，处理@RequestBody注解的参数的RequestResponseBodyMethodProcessor，以及PathVariableMapMethodArgumentResol等子类。 ... [详细]

蜡笔小新 2023-12-11 19:55:40
js
Servlet多用户登录时HttpSession会话信息覆盖问题的解决方案

本文讨论了在Servlet多用户登录时可能出现的HttpSession会话信息覆盖问题，并提供了解决方案。通过分析JSESSIONID的作用机制和编码方式，我们可以得出每个HttpSession对象都是通过客户端发送的唯一JSESSIONID来识别的，因此无需担心会话信息被覆盖的问题。需要注意的是，本文讨论的是多个客户端级别上的多用户登录，而非同一个浏览器级别上的多用户登录。 ... [详细]

蜡笔小新 2023-12-10 12:00:40
runtime
ShiftLeft：将静态防护与运行时防护结合的持续性安全防护解决方案

ShiftLeft公司是一家致力于将应用的静态防护和运行时防护与应用开发自动化工作流相结合以提升软件开发生命周期中的安全性的公司。传统的安全防护方式存在误报率高、人工成本高、耗时长等问题，而ShiftLeft提供的持续性安全防护解决方案能够解决这些问题。通过将下一代静态代码分析与应用开发自动化工作流中涉及的安全工具相结合，ShiftLeft帮助企业实现DevSecOps的安全部分，提供高效、准确的安全能力。 ... [详细]

蜡笔小新 2023-12-10 10:45:15
require
PHP cURL请求体在node.js中没有定义的问题

本文讨论了在使用PHP cURL发送POST请求时，请求体在node.js中没有定义的问题。作者尝试了多种解决方案，但仍然无法解决该问题。同时提供了当前PHP代码示例。 ... [详细]

蜡笔小新 2023-12-10 10:19:23

苏小明2602896955

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章