笔记六十一：提升集群写性能

作者：苏小明2602896955 | 来源：互联网 | 2023-10-11 18:18

提高写入性能的方法写性能优化的目标：增大写吞吐量（EventsPerSecond），越高越好客户端：多线程，批量写可以通过性能测试，确定最佳文档数量多线程：需要观察是否有HTTP4

笔记一：前期 docker 环境搭建
笔记二：docer-compose 的安装以及编排文件
笔记三：基本概念-文档、索引和 REST API
笔记四：文档的基本 CRUD 与批量操作
笔记五：倒排索引
笔记六：通过 Analyzer 进行分词
笔记七：Search API 概览
笔记八：URI Search 详解
笔记九：Request Body 跟 Query DSL 简介
笔记十：Query String & Simple Query String
笔记十一： Dynamic Mapping 和常见字段类型
笔记十二：显示 Mapping 设置与常见参数
笔记十三：多字段特性及 Mapping 中配置自定义 Analyzer
笔记十五：聚合分析简介
笔记十六：第一节自我测试
笔记十七：基于词项和基于全文的搜索
笔记十八：结构化搜索
笔记十九：搜索的相关性算分
笔记二十：Query & Filtering 与多字符串多字段查询
笔记二十一：单字符串多字段查询：Dis Max Query
笔记二十二：单字符串多字段查询: Multi Match
笔记二十三：多语言及中文分词与检索
笔记二十五：使用 Search Template 和 Index Alias
笔记二十六：综合排序 Function Score Query 优化算分
笔记二十七：Term & Phrase Suggester
笔记二十八：自动补全与机遇上下文的提示
笔记二十九：配置跨集群搜索
笔记三十：集群分布式模型与选主与脑裂问题
笔记三十一：分片与集群的故障转移
笔记三十二：文档分布式存储
笔记三十三：分片及其生命周期
笔记三十四：剖析分布式查询及相关性算法
笔记三十五：排序及 Doc Values & Field Data
笔记三十六：分页与遍历 From, Size,Search After & Scorll API
笔记三十七：处理并发读写操作
笔记三十八：Bucket & Metric 聚合分析及嵌套聚合
笔记三十九：Pipeline 聚合分析
笔记四十：聚合的作用范围及排序
笔记四十一：聚合的精准度问题
笔记四十二：对象及 Nested 对象
笔记四十三：文档的父子关系
笔记四十四：Update By Query & Reindex API
笔记四十五： Ingest Pipeline 与 Painless Script
笔记四十六：Elasticsearch 数据建模实例
笔记四十七：Elasticsearch 数据建模佳实践
笔记四十九：管集群身份认证与用户鉴权
笔记五十：集群内部间的安全通信
笔记五十一：集群与外部间的安全通信
笔记五十二：集常见的集群部署方式
笔记五十三：Hot & Warm 架构与 Shard Filtering
笔记五十四：分片设定及管理
笔记五十五：如何对集群进行容量规划
笔记五十六：生产环境常用配置和上线清单
笔记五十七：监控 Elasticsearch 集群
笔记五十八：诊断集群的潜在问题
笔记五十九：解决集群 Yellow 与 Red 的问题
笔记六十：提升集群读性能
笔记六十一：提升集群写性能
笔记六十二：集群压力测试
笔记六十三：段合并优化及注意事项
笔记六十四：缓存及使用 Circuit Breaker 限制内存使用
笔记六十五：一些运维相关的建议

提高写入性能的方法

写性能优化的目标：增大写吞吐量（Events Per Second），越高越好
客户端：多线程，批量写
- 可以通过性能测试，确定最佳文档数量
- 多线程：需要观察是否有 HTTP 429 返回，实现 Retry 以及线程数量的自动调节
服务器端：单个性能问题，往往是多个因素造成的。需要先分解问题，在单个节点上进行调整并且结合测试，尽可能压榨硬件资源，以达到最高吞吐量
- 使用更好的硬件。观察 CPU / IO Block
- 线程切换 / 堆栈状况

服务器端优化写入性能的一些手段

降低 IO 操作
- 使用 ES 自动生成的文档 Id / 一些相关的 ES 配置，如 Refresh Interval
降低 CPU 和存储开销
- 减少不必要分词 / 避免不需要的 doc_values /文档的字段尽量保证相同的顺序，可以提高文档的压缩率
尽可能做到写入和分片的均衡负载，实现水平扩展
- Shard Filtering / Write Load Balancer
调整 Bulk 线程池和队列

优化写入性能

ES 的默认设置，已经综合考虑了数据可靠性，搜索的实时性质，写入速度，一般不要盲目修改
一切优化，都要基于高质量的数据建模

关闭无关的功能

只需要聚合不需要搜索， Index 设置成 false
不需要算分， Norms 设置成 false
不要对字符串使用默认的 dynamic mapping。字段数量过多，会对性能产生比较大的影响
Index_options 控制在创建倒排索引时，哪些内容会被添加到倒排索引中。优化这些设置，一定程度可以节约 CPU
关闭 _source，减少 IO 操作；（适合指标型数据）

集群写性能优化

针对性能的取舍

如果需要追求极致的写入速度，可以牺牲数据可靠性及搜索实时性以换取性能
- 牺牲可靠性：将副本分片设置为 0，写入完毕再调整回去
- 牺牲搜索实时性：增加 Refresh Interval 的时间
- 牺牲可靠性：修改 Translog 的配置

数据写入的过程

Refresh
- 将文档先保存在 Index buffer 中，以 refresh_interval 为间隔时间，定期清空 buffer，生成 segment，借助文件系统缓存的特性，先将segment 放在文件系统缓存中，并开放查询，以提升搜索的实时性
Translog
- Segment 没有写入磁盘，即便发生了当机，重启后，数据也能恢复，默认配置是每次请求都会落盘
Flush
- 删除旧的 translog 文件
- 生成 Segment 并写入磁盘 / 更新 commit point 并写入磁盘。 ES 自动完成，可优化点不多

Refresh Interval

降低 Refresh 的频率
- 增加 refresh_interval 的数值。默认为 1s ，如果设置成 -1 ，会禁止自动 refresh
  - 避免过于频繁的 refresh，而生成过多的 segment 文件
  - 但是会降低搜索的实时性
- 增大静态配置参数 indices.memory.index_buffer_size
  - 默认是 10%，会导致自动触发 refresh

Translog

降低写磁盘的频率，但是会降低容灾能力
- `Index.translog.durability`：默认是 request，每个请求都落盘。设置成 async，异步写入 - `Index.translog.sync_interval` 设置为 60s，每分钟执行一次 - `Index.translog.flush_threshod_size`: 默认 512 mb，可以适当调大。当 translog 超过该值，会触发 flush

分片设定

副本在写入时设为 0，完成后再增加
合理设置主分片数，确保均匀分配在所有数据节点上
- Index.routing.allocation.total_share_per_node: 限定每个索引在每个节点上可分配的分片数（replicas and primaries）
- 5 个节点的集群。索引有 5 个主分片，1 个副本，应该如何设置？
  - （5+5） / 5 = 2
  - 生产环境中要适当调大这个数字，避免有节点下线时，分片无法正常迁移

Bulk，线程池和队列大小

客户端
- 单个 bulk 请求体的数据量不要太大，官方建议大约5-15mb - 写入端的 bulk 请求超时需要足够长，建议60s 以上 - 写入端尽量将数据轮询打到不同节点。
服务器端
- 索引创建属于计算密集型任务，应该使用固定大小的线程池来配置。来不及处理的放入队列，线程数应该配置成 CPU 核心数 +1 ，避免过多的上下文切换
- 队列大小可以适当增加，不要过大，否则占用的内存会成为 GC 的负担

一个索引设定的例子

集群写性能优化

推荐阅读

request
深入理解Kafka服务端请求队列中请求的处理

本文深入分析了Kafka服务端请求队列中请求的处理过程，详细介绍了请求的封装和放入请求队列的过程，以及处理请求的线程池的创建和容量设置。通过场景分析、图示说明和源码分析，帮助读者更好地理解Kafka服务端的工作原理。 ... [详细]

蜡笔小新 2023-12-12 16:14:59
search
获取当前模块所在路径的GetModuleFileName函数用法详解

本文详细介绍了GetModuleFileName函数的用法，该函数可以用于获取当前模块所在的路径，方便进行文件操作和读取配置信息。文章通过示例代码和详细的解释，帮助读者理解和使用该函数。同时，还提供了相关的API函数声明和说明。 ... [详细]

蜡笔小新 2023-12-14 19:29:57
express
Python正则表达式学习记录及常用方法

本文记录了学习Python正则表达式的过程，介绍了re模块的常用方法re.search，并解释了rawstring的作用。正则表达式是一种方便检查字符串匹配模式的工具，通过本文的学习可以掌握Python中使用正则表达式的基本方法。 ... [详细]

蜡笔小新 2023-12-13 16:37:19
text
利用Visual Basic开发SAP接口程序初探的方法与原理

本文介绍了利用Visual Basic开发SAP接口程序的方法与原理，以及SAP R/3系统的特点和二次开发平台ABAP的使用。通过程序接口自动读取SAP R/3的数据表或视图，在外部进行处理和利用水晶报表等工具生成符合中国人习惯的报表样式。具体介绍了RFC调用的原理和模型，并强调本文主要不讨论SAP R/3函数的开发，而是针对使用SAP的公司的非ABAP开发人员提供了初步的接口程序开发指导。 ... [详细]

蜡笔小新 2023-12-13 10:56:31
window
C++字符字符串处理及字符集编码方案

本文介绍了C++中字符字符串处理的问题，并详细解释了字符集编码方案，包括UNICODE、Windows apps采用的UTF-16编码、ASCII、SBCS和DBCS编码方案。同时说明了ANSI C标准和Windows中的字符/字符串数据类型实现。文章还提到了在编译时需要定义UNICODE宏以支持unicode编码，否则将使用windows code page编译。最后，给出了相关的头文件和数据类型定义。 ... [详细]

蜡笔小新 2023-12-13 04:59:58
window
Python爬虫技术基础篇面向对象高级编程（中）的多重继承

本文介绍了Python爬虫技术基础篇面向对象高级编程（中）中的多重继承概念。通过继承，子类可以扩展父类的功能。文章以动物类层次的设计为例，讨论了按照不同分类方式设计类层次的复杂性和多重继承的优势。最后给出了哺乳动物和鸟类的设计示例，以及能跑、能飞、宠物类和非宠物类的增加对类数量的影响。 ... [详细]

蜡笔小新 2023-12-12 16:19:02
text
第四章高阶函数（参数传递、高阶函数、lambda表达式）（python进阶）的讲解和应用

本文主要讲解了第四章高阶函数（参数传递、高阶函数、lambda表达式）的相关知识，包括函数参数传递机制和赋值机制、引用传递的概念和应用、默认参数的定义和使用等内容。同时介绍了高阶函数和lambda表达式的概念，并给出了一些实例代码进行演示。对于想要进一步提升python编程能力的读者来说，本文将是一个不错的学习资料。 ... [详细]

蜡笔小新 2023-12-12 15:52:48
text
通过Go SDK（Amazon S3）从Bucket生成Torrent - Generate Torrent from Bucket via Go SDK (Amazon S3)

Imtryingtofigureoutawaytogeneratetorrentfilesfromabucket,usingtheAWSSDKforGo.我正 ... [详细]

蜡笔小新 2023-12-12 14:13:01
controller
如何在codeigniter中识别angularjs请求

本文讨论了如何在codeigniter中识别来自angularjs的请求，并提供了两种方法的代码示例。作者尝试了$this->input->is_ajax_request()和自定义函数is_ajax()，但都没有成功。最后，作者展示了一个ajax请求的示例代码。 ... [详细]

蜡笔小新 2023-12-12 12:37:07
text
Android自定义控件绘图篇之Paint函数大汇总

本文介绍了Android自定义控件绘图篇中的Paint函数大汇总，包括重置画笔、设置颜色、设置透明度、设置样式、设置宽度、设置抗锯齿等功能。通过学习这些函数，可以更好地掌握Paint的用法。 ... [详细]

蜡笔小新 2023-12-10 23:11:57
search
恶意软件分析的最佳编程语言及其应用

本文介绍了学习恶意软件分析和逆向工程领域时最适合的编程语言，并重点讨论了Python的优点。Python是一种解释型、多用途的语言，具有可读性高、可快速开发、易于学习的特点。作者分享了在本地恶意软件分析中使用Python的经验，包括快速复制恶意软件组件以更好地理解其工作。此外，作者还提到了Python的跨平台优势，使得在不同操作系统上运行代码变得更加方便。 ... [详细]

蜡笔小新 2023-12-10 18:39:23
text
python创建一个窗口_等一个大佬啊要求用python创建一个窗口，窗口按钮功能是创建一个球体或立方体。明天上课之前交给我...

展开全部下面的代码是创建一个立方体Thisexamplescreatesanddisplaysasimplebox.#Thefirstlineloadstheinit_disp ... [详细]

蜡笔小新 2023-12-13 16:26:09
import
不同优化算法的比较分析及实验验证

本文介绍了神经网络优化中常用的优化方法，包括学习率调整和梯度估计修正，并通过实验验证了不同优化算法的效果。实验结果表明，Adam算法在综合考虑学习率调整和梯度估计修正方面表现较好。该研究对于优化神经网络的训练过程具有指导意义。 ... [详细]

蜡笔小新 2023-12-13 16:05:14
spring
SpringJdbcTemplate的使用详解

本文详细介绍了Spring的JdbcTemplate的使用方法，包括执行存储过程、存储函数的call()方法，执行任何SQL语句的execute()方法，单个更新和批量更新的update()和batchUpdate()方法，以及单查和列表查询的query()和queryForXXX()方法。提供了经过测试的API供使用。 ... [详细]

蜡笔小新 2023-12-13 14:27:11
spring
UVALive6575 Odd and Even Zeroes 数位dp+找规律

本文介绍了UVALive6575题目Odd and Even Zeroes的解法，使用了数位dp和找规律的方法。阶乘的定义和性质被介绍，并给出了一些例子。其中，部分阶乘的尾零个数为奇数，部分为偶数。 ... [详细]

蜡笔小新 2023-12-13 14:19:28

苏小明2602896955

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章