logstashfilebeat配置文件详解_一文快速上手Logstash

Elasticsearch是当前主流的分布式大数据存储和搜索引擎&＃xff0c;可以为用户提供强大的全文本检索能力&＃xff0c;广泛应用于日志检索&＃xff0c;全站搜索等领域。Logstash作为Elasicsearch常用的实时数据采集引擎&＃xff0c;可以采集来自不同数据源的数据&＃xff0c;并对数据进行处理后输出到多种输出源&＃xff0c;是Elastic Stack 的重要组成部分。本文从Logstash的工作原理&＃xff0c;使用示例&＃xff0c;部署方式及性能调优等方面入手&＃xff0c;为大家提供一个快速入门Logstash的方式。文章最后也给出了一些深入了解Logstash的的链接&＃xff0c;以方便大家根据需要详细了解。

1 Logstash工作原理

1.1 处理过程

如上图&＃xff0c;Logstash的数据处理过程主要包括&＃xff1a;Inputs, Filters, Outputs 三部分&＃xff0c; 另外在Inputs和Outputs中可以使用Codecs对数据格式进行处理。这四个部分均以插件形式存在&＃xff0c;用户通过定义pipeline配置文件&＃xff0c;设置需要使用的input&＃xff0c;filter&＃xff0c;output, codec插件&＃xff0c;以实现特定的数据采集&＃xff0c;数据处理&＃xff0c;数据输出等功能

• &＃xff08;1&＃xff09;Inputs&＃xff1a;用于从数据源获取数据&＃xff0c;常见的插件如file, syslog, redis, beats 等[详细参考]
• &＃xff08;2&＃xff09;Filters&＃xff1a;用于处理数据如格式转换&＃xff0c;数据派生等&＃xff0c;常见的插件如grok, mutate, drop, clone, geoip等[详细参考]
• &＃xff08;3&＃xff09;Outputs&＃xff1a;用于数据输出&＃xff0c;常见的插件如elastcisearch&＃xff0c;file, graphite, statsd等[详细参考]
• &＃xff08;4&＃xff09;Codecs&＃xff1a;Codecs不是一个单独的流程&＃xff0c;而是在输入和输出等插件中用于数据转换的模块&＃xff0c;用于对数据进行编码处理&＃xff0c;常见的插件如json&＃xff0c;multiline[详细参考]

可以点击每个模块后面的详细参考链接了解该模块的插件列表及对应功能

1.2 执行模型&＃xff1a;

• &＃xff08;1&＃xff09;每个Input启动一个线程&＃xff0c;从对应数据源获取数据
• &＃xff08;2&＃xff09;Input会将数据写入一个队列&＃xff1a;默认为内存中的有界队列&＃xff08;意外停止会导致数据丢失&＃xff09;。为了防止数丢失Logstash提供了两个特性&＃xff1a;
  Persistent Queues&＃xff1a;通过磁盘上的queue来防止数据丢失
  Dead Letter Queues&＃xff1a;保存无法处理的event&＃xff08;仅支持Elasticsearch作为输出源&＃xff09;
• &＃xff08;3&＃xff09;Logstash会有多个pipeline worker, 每一个pipeline worker会从队列中取一批数据&＃xff0c;然后执行filter和output&＃xff08;worker数目及每次处理的数据量均由配置确定&＃xff09;

2 Logstash使用示例

2.1 Logstash Hello world

第一个示例Logstash将采用标准输入和标准输出作为input和output&＃xff0c;并且不指定filter

• &＃xff08;1&＃xff09;下载Logstash并解压&＃xff08;需要预先安装JDK8&＃xff09;
• &＃xff08;2&＃xff09;cd到Logstash的根目录&＃xff0c;并执行启动命令如下&＃xff1a;

• &＃xff08;3&＃xff09;此时Logstash已经启动成功&＃xff0c;-e表示在启动时直接指定pipeline配置&＃xff0c;当然也可以将该配置写入一个配置文件中&＃xff0c;然后通过指定配置文件来启动
• &＃xff08;4&＃xff09;在控制台输入&＃xff1a;hello world&＃xff0c;可以看到如下输出&＃xff1a;

Logstash会自动为数据添加&＃64;version, host, &＃64;timestamp等字段

在这个示例中Logstash从标准输入中获得数据&＃xff0c;仅在数据中添加一些简单字段后将其输出到标准输出。

2.2 日志采集

这个示例将采用Filebeat input插件(Elastic Stack中的轻量级数据采集程序)采集本地日志&＃xff0c;然后将结果输出到标准输出

• &＃xff08;1&＃xff09;下载示例使用的日志文件[地址]&＃xff0c;解压并将日志放在一个确定位置
• &＃xff08;2&＃xff09;安装filebeat&＃xff0c;配置并启动[参考]

filebeat.yml配置如下&＃xff08;paths改为日志实际位置&＃xff0c;不同版本beats配置可能略有变化&＃xff0c;请根据情况调整&＃xff09;

启动命令&＃xff1a;

• &＃xff08;3&＃xff09;配置logstash并启动

1&＃xff09;创建first-pipeline.conf文件内容如下&＃xff08;该文件为pipeline配置文件&＃xff0c;用于指定input&＃xff0c;filter, output等&＃xff09;&＃xff1a;

codec &＃61;> rubydebug用于美化输出[参考]

2&＃xff09;验证配置&＃xff08;注意指定配置文件的路径&＃xff09;&＃xff1a;

3&＃xff09;启动命令&＃xff1a;

--config.reload.automatic选项启用动态重载配置功能

4&＃xff09;预期结果&＃xff1a;

可以在Logstash的终端显示中看到&＃xff0c;日志文件被读取并处理为如下格式的多条数据

相对于示例2.1&＃xff0c;该示例使用了filebeat input插件从日志中获取一行记录&＃xff0c;这也是Elastic stack获取日志数据最常见的一种方式。另外该示例还采用了rubydebug codec 对输出的数据进行显示美化。

2.3 日志格式处理

可以看到虽然示例2.2使用filebeat从日志中读取数据&＃xff0c;并将数据输出到标准输出&＃xff0c;但是日志内容作为一个整体被存放在message字段中&＃xff0c;这样对后续存储及查询都极为不便。可以为该pipeline指定一个grok filter来对日志格式进行处理

• &＃xff08;1&＃xff09;在first-pipeline.conf中增加filter配置如下

• &＃xff08;2&＃xff09;到filebeat的根目录下删除之前上报的数据历史(以便重新上报数据),并重启filebeat

• &＃xff08;3&＃xff09;由于之前启动Logstash设置了自动更新配置&＃xff0c;因此Logstash不需要重新启动&＃xff0c;这个时候可以获取到的日志数据如下&＃xff1a;

可以看到message中的数据被详细解析出来了

2.4 数据派生和增强

Logstash中的一些filter可以根据现有数据生成一些新的数据&＃xff0c;如geoip可以根据ip生成经纬度信息

• &＃xff08;1&＃xff09;在first-pipeline.conf中增加geoip配置如下

• &＃xff08;2&＃xff09;如2.3一样清空filebeat历史数据&＃xff0c;并重启
• &＃xff08;3&＃xff09;当然Logstash仍然不需要重启&＃xff0c;可以看到输出变为如下&＃xff1a;

可以看到根据ip派生出了许多地理位置信息数据

2.5 将数据导入Elasticsearch

Logstash作为Elastic stack的重要组成部分&＃xff0c;其最常用的功能是将数据导入到Elasticssearch中。将Logstash中的数据导入到Elasticsearch中操作也非常的方便&＃xff0c;只需要在pipeline配置文件中增加Elasticsearch的output即可。

• &＃xff08;1&＃xff09;首先要有一个已经部署好的Logstash&＃xff0c;当然可以使用腾讯云快速创建一个Elasticsearch创建地址
• &＃xff08;2&＃xff09;在first-pipeline.conf中增加Elasticsearch的配置&＃xff0c;如下

• &＃xff08;3&＃xff09;清理filebeat历史数据&＃xff0c;并重启
• &＃xff08;4&＃xff09;查询Elasticsearch确认数据是否正常上传&＃xff08;注意替换查询语句中的日期&＃xff09;

• &＃xff08;5&＃xff09;如果Elasticsearch关联了Kibana也可以使用kibana查看数据是否正常上报

Logstash提供了大量的Input, filter, output, codec的插件&＃xff0c;用户可以根据自己的需要&＃xff0c;使用一个或多个组件实现自己的功能&＃xff0c;当然用户也可以自定义插件以实现更为定制化的功能。自定义插件可以参考[logstash input插件开发]

3 部署Logstash

演示过如何快速使用Logstash后&＃xff0c;现在详细讲述一下Logstash的部署方式。

3.1 安装

• 安装JDK&＃xff1a;Logstash采用JRuby编写&＃xff0c;运行需要JDK环境&＃xff0c;因此安装Logstash前需要先安装JDK。&＃xff08;当前6.4仅支持JDK8&＃xff09;
• 安装Logstash&＃xff1a;可以采用直接下载压缩包方式安装&＃xff0c;也通过APT或YUM安装&＃xff0c;另外Logstash支持安装到Docker中。[Logstash安装参考]
• 安装X-PACK&＃xff1a;在6.3及之后版本X-PACK会随Logstash安装&＃xff0c;在此之前需要手动安装[参考链接]

3.2 目录结构

logstash的目录主要包括&＃xff1a;根目录、bin目录、配置目录、日志目录、插件目录、数据目录

不同安装方式各目录的默认位置参考[此处]

3.3 配置文件

• Pipeline配置文件&＃xff0c;名称可以自定义&＃xff0c;在启动Logstash时显式指定&＃xff0c;编写方式可以参考前面示例&＃xff0c;对于具体插件的配置方式参见具体插件的说明(使用Logstash时必须配置)&＃xff1a;
  用于定义一个pipeline&＃xff0c;数据处理方式和输出源
• Settings配置文件(可以使用默认配置)&＃xff1a;
  在使用Logstash时可以不用设置&＃xff0c;用于性能调优&＃xff0c;日志记录等
  • logstash.yml&＃xff1a;用于控制logstash的执行过程[参考链接]
  • pipelines.yml: 如果有多个pipeline时使用该配置来配置多pipeline执行[参考链接]
  • jvm.options&＃xff1a;jvm的配置
  • log4j2.properties:log4j 2的配置&＃xff0c;用于记录logstash运行日志[参考链接]
  • startup.options: 仅适用于Lniux系统&＃xff0c;用于设置系统启动项目&＃xff01;

• 为了保证敏感配置的安全性&＃xff0c;logstash提供了配置加密功能[参考链接]

3.4 启动关闭方式

3.4.1 启动

• 命令行启动
• 在debian和rpm上以服务形式启动
• 在docker中启动3.4.2 关闭
• 关闭Logstash
• Logstash的关闭时会先关闭input停止输入&＃xff0c;然后处理完所有进行中的事件&＃xff0c;然后才完全停止&＃xff0c;以防止数据丢失&＃xff0c;但这也导致停止过程出现延迟或失败的情况。

3.5 扩展Logstash

当单个Logstash无法满足性能需求时&＃xff0c;可以采用横向扩展的方式来提高Logstash的处理能力。横向扩展的多个Logstash相互独立&＃xff0c;采用相同的pipeline配置&＃xff0c;另外可以在这多个Logstash前增加一个LoadBalance&＃xff0c;以实现多个Logstash的负载均衡。

4 性能调优

[详细调优参考]

• &＃xff08;1&＃xff09;Inputs和Outputs的性能&＃xff1a;当输入输出源的性能已经达到上限&＃xff0c;那么性能瓶颈不在Logstash&＃xff0c;应优先对输入输出源的性能进行调优。
• &＃xff08;2&＃xff09;系统性能指标&＃xff1a;
  • CPU&＃xff1a;确定CPU使用率是否过高&＃xff0c;如果CPU过高则先查看JVM堆空间使用率部分&＃xff0c;确认是否为GC频繁导致&＃xff0c;如果GC正常&＃xff0c;则可以通过调节Logstash worker相关配置来解决。
  • 内存&＃xff1a;由于Logstash运行在JVM上&＃xff0c;因此注意调整JVM堆空间上限&＃xff0c;以便其有足够的运行空间。另外注意Logstash所在机器上是否有其他应用占用了大量内存&＃xff0c;导致Logstash内存磁盘交换频繁。
  • I/O使用率&＃xff1a;
    1&＃xff09;磁盘IO&＃xff1a;
    磁盘IO饱和可能是因为使用了会导致磁盘IO饱和的创建&＃xff08;如file output&＃xff09;,另外Logstash中出现错误产生大量错误日志时也会导致磁盘IO饱和。Linux下可以通过iostat, dstat等查看磁盘IO情况
    2&＃xff09;网络IO&＃xff1a;
    网络IO饱和一般发生在使用有大量网络操作的插件时。linux下可以使用dstat或iftop等查看网络IO情况

• &＃xff08;3&＃xff09;JVM堆检查&＃xff1a;
  • 如果JVM堆大小设置过小会导致GC频繁&＃xff0c;从而导致CPU使用率过高
  • 快速验证这个问题的方法是double堆大小&＃xff0c;看性能是否有提升。注意要给系统至少预留1GB的空间。
  • 为了精确查找问题可以使用jmap或VisualVM。[参考]
  • 设置Xms和Xmx为相同值&＃xff0c;防止堆大小在运行时调整&＃xff0c;这个过程非常消耗性能。

• &＃xff08;4&＃xff09;Logstash worker设置&＃xff1a;
  worker相关配置在logstash.yml中&＃xff0c;主要包括如下三个&＃xff1a;
  • pipeline.workers&＃xff1a;
    该参数用以指定Logstash中执行filter和output的线程数&＃xff0c;当如果发现CPU使用率尚未达到上限&＃xff0c;可以通过调整该参数&＃xff0c;为Logstash提供更高的性能。建议将Worker数设置适当超过CPU核数可以减少IO等待时间对处理过程的影响。实际调优中可以先通过-w指定该参数&＃xff0c;当确定好数值后再写入配置文件中。
  • pipeline.batch.size:
    该指标用于指定单个worker线程一次性执行flilter和output的event批量数。增大该值可以减少IO次数&＃xff0c;提高处理速度&＃xff0c;但是也以为这增加内存等资源的消耗。当与Elasticsearch联用时&＃xff0c;该值可以用于指定Elasticsearch一次bluck操作的大小。
  • pipeline.batch.delay:
    该指标用于指定worker等待时间的超时时间&＃xff0c;如果worker在该时间内没有等到pipeline.batch.size个事件&＃xff0c;那么将直接开始执行filter和output而不再等待。

结束语

Logstash作为Elastic Stack的重要组成部分&＃xff0c;在Elasticsearch数据采集和处理过程中扮演着重要的角色。本文通过简单示例的演示和Logstash基础知识的铺陈&＃xff0c;希望可以帮助初次接触Logstash的用户对Logstash有一个整体认识&＃xff0c;并能较为快速上手。对于Logstash的高阶使用&＃xff0c;仍需要用户在使用过程中结合实际情况查阅相关资源深入研究。当然也欢迎大家积极交流&＃xff0c;并对文中的错误提出宝贵意见。

MORE:

• Logstash数据处理常见示例
• Logstash日志相关配置参考
• Kibana管理Logstash pipeline配置
• LogstashModule
• 监控Logstash

欢迎关注公众号Elastic慕容&＃xff0c;和我一起进入Elastic的奇妙世界吧