当前位置: 开发笔记 > 编程语言 > 正文

ELK日志分析系统的部署

作者：小思绪 | 来源：互联网 | 2023-05-25 17:32

一、ELK前言1）我们需要收集哪些日志？收集**系统日志**：为监控做准备，要收集tomcat系统日志，t

一、ELK前言

1&＃xff09;我们需要收集哪些日志&＃xff1f;

收集**系统日志**&＃xff1a;为监控做准备&＃xff0c;要收集tomcat系统日志&＃xff0c;tomcat所在节点的日志
收集**服务日志**&＃xff1a;比如数据库mysql&＃xff0c;收集慢查询日志、错误日志、普通日志&＃xff0c;要收集tomcat服务日志。
收集**业务日志**&＃xff08;业务日志必须收集&＃xff09;&＃xff1a;业务口子日志在log4j&＃xff0c;log4j是由java环境开发的&＃xff0c;跑在tomcat上

2&＃xff09;日志收集后&＃xff0c;如何展示&＃xff08;可视化&＃xff09;&＃xff1f;

kibana
grafana:可以以地图的方式展示&＃xff0c;功能更全面一些&＃xff0c;界面会好看一些

3&＃xff09;日志收集展示出来后&＃xff0c;怎么使用&＃xff1f;

用于给大数据分析&＃xff0c;作为立体化展示的一个数据源
给研发去使用&＃xff08;排障、解决bug等&＃xff09;
统计数据流量&＃xff0c;作为分析报告的数据源

4&＃xff09;我们要怎么收集日志

我们需要有针对性的去收集日志
日志收集是根据我们设置的日志级别来看的&＃xff0c;对于不是很重要的日志&＃xff0c;日志级别调高一点。比如error的时候报给我&＃xff0c;普通日志不用报。这样可以有效降低日志量。像这种业务日志&＃xff0c;我们不适合调error级别&＃xff0c;我们需要调成warning级别。

二、ELK简介

2.1ElasticSearch介绍

Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎&＃xff0c;基于RESTful web接口。Elasticsearch是用Java开发的&＃xff0c;并作为Apache许可条款下的开放源码发布&＃xff0c;是第二流行的企业搜索引擎。设计用于云计算中&＃xff0c;能够达到实时搜索&＃xff0c;稳定&＃xff0c;可革&＃xff0c;快速&＃xff0c;安装使用方便。作。

2.2 ElasticSearch核心概念

接近实时

ElasticSearch是一个接近实时的搜索平台

这就是说&＃xff0c;我们从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟&＃xff08;通常是1秒)
集群化

集群每一台服务器都有自己的一个唯一标识&＃xff0c;比如说id&＃xff0c;标识自己在集群中的一个定位。

个集群就是由一个或多个节点组织在一起&＃xff0c;它们共同持有你整个的数据&＃xff0c;并一起提供索引和搜索功能。其中一个节点为主节点&＃xff0c;这个主节点是可以通过选举产生的&＃xff0c;并提供跨节点的联合索引和搜索的功能。
节点

节点就是一台单一的服务器&＃xff0c;是集群的一部分&＃xff0c;存储数据并参与集群的索引和搜索功能。像集群一样&＃xff0c;节点也是通过名字来标识&＃xff0c;默认是在节点启动时随机分配的字符名。当然&＃xff0c;你可以自己定义。该名字也很重要&＃xff0c;在集群中用于识别服务器对应的节点。
索引

一个索引就是一个拥有几分相似特征的文档的集合。比如说&＃xff0c;你可以有一个客户数据的索引&＃xff0c;另一个产品日录的索引&＃xff0c;还有一个订单数据的索引。一个索引由一个名字来标识&＃xff08;必须全部是小写字母的)&＃xff0c;并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候都要使用到这个名字。在一个集群中&＃xff0c;如果你想&＃xff0c;可以定义任意多的索引。
类型

在一个索引中&＃xff0c;你可以定义一种或多种类型。一个类型是你的索引的一个逻辑.上的分类/分区&＃xff0c;其语义完全由你来定。通常&＃xff0c;会为具有一组共同字段的文档定义一个类型。比如说&＃xff0c;我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中&＃xff0c;你可以为用户数据定义一个类型&＃xff0c;为博客数据定义另一个类型&＃xff0c;当然&＃xff0c;也可以为评论数据定义另一个类型。
文档

一个文档是一个可被索引的基础信息单元。比如&＃xff0c;你可以拥有某一个客户的文档&＃xff0c;某一个产品的一个文档&＃xff0c;当然&＃xff0c;也可以拥有某个订单的一个文档。文档以JSON 格式来表示&＃xff0c;而JSON是一个到处存在的互联网数据交互格式。在一个index/type里面&＃xff0c;只要你想&＃xff0c;你可以存储任意多的文档。注意&＃xff0c;虽然一个文档在物理上位于一个索引中&＃xff0c;实际上一个文档必须在一个索引内被索引和分配一个类型。
分片和副本&＃xff08;默认情况下是5个分片、1个副本&＃xff0c;这意味着&＃xff0c;如果你的集群至少有两个节点&＃xff0c;你的索引将会有5个分片和另外5个副本&＃xff0c;&＃xff09;

在正常情况下&＃xff0c;单个节点的存储和索引以及I/O读写效率是很容易遇到瓶颈的。为了提高瓶颈上限&＃xff0c;所以在这里&＃xff0c;对于存储进行一个分布式&＃xff0c;多个节点做一个任务。可以提高存储上线&＃xff0c;可以提高搜索上限&＃xff0c;同时可以减轻压力均摊。

elasticsearch提供将索引分成多个分片的功能。当在创建索引时&＃xff0c;可以定义想要分片的数量。每一个分片就是一个全功能的独立的索引&＃xff0c;可以位于集群中任何节点上。
- 分片的两个最主要原因: a&＃xff0e;提高了扩展能力、b、提高了单机存存储上限&＃xff0c;c&＃xff0e;分布式并行跨分片操作&＃xff0c;提高性能和吞吐量
- 分布式分片的机制和搜索请求的文档如何汇总完全是由elasticsearch控制的&＃xff0c;这些对用户而言是透明的。
- 网络问题等等其它问题可以在任何时候不期而至&＃xff0c;为了健壮性&＃xff0c;强烈建议要有一个故障切换机制&＃xff0c;无论何种故障以防止分片或者节点不可用。
- 副本也有两个最主要原因:a&＃xff0e;高可用性&＃xff0c;以应对分片或者节点故障。出于这个原因&＃xff0c;分片副本要在不同的节点上。b. 增加了读写性能&＃xff0c;增大吞吐量。搜索可以并行在所有副本上执行。

2.2ELK里面有哪些组件

Logstash&＃xff08;日志收集&＃xff09;&＃xff1a;主要用于收集、输出、格式化数据
Elasticsearch&＃xff08;日志存储和搜索&＃xff09;&＃xff1a;用于建立索引&＃xff0c;因为它的副本和分片&＃xff0c;他的搜索能力很强。
Kibana&＃xff08;展示&＃xff09;&＃xff1a;作为展示用的&＃xff0c;展示的话在于日志收集后、由es创建建立索引&＃xff0c;并且最后传给kibana&＃xff0c;通过kibana展现出来。他的兼容性特别好。

2.3 你们一般用的ES版本是什么&＃xff1f;

7.10和7.20&＃xff0c;但是有一个特性就是&＃xff0c;启动时&＃xff0c;必须为非root用户。es启动时很吃内存。而且会卡很久。

三、ELK的工作原理

&＃xff08;1&＃xff09;在所有需要收集日志的服务器上部署Logstash; 或者先将日志进行集中化管理在日志服务器上&＃xff0c; 在日志服务器上部署 Logs tash。
&＃xff08;2&＃xff09;Logstash 收集日志&＃xff0c;将日志格式化并输出到 Elasticsearch 群集中。
&＃xff08;3&＃xff09;Elasticsearch 对格式化后的数据进行索引和存储。
&＃xff08;4&＃xff09;Kibana 从 ES 群集中查询数据生成图表&＃xff0c;并进行前端数据的展示。

四、ELK架构选型

五、ELK日志分析系统集群部署

环境&＃xff1a;

服务器类型	系统和IP地址	需要安装的组件	硬件方面
Node1节点	CentOS7.4(64 位) 192.168.59.115	Elasticsearch 、 Kibana	2核4G
Node2节点	CentOS7.4(64 位) 192.168.59.116	Elasticsearch	2核4G
Apache节点	CentOS7.4(64 位) 192.168.59.119	Logstash Apache	2核4G

5.1 ELK Elasticsearch 集群部署&＃xff08;在Node1、Node2节点上操作&＃xff09;

1.环境准备

#更改主机名 Node1节点&＃xff1a;hostnamectl set-hostname node1 Node2节点&＃xff1a;hostnamectl set-hostname node2#配置域名解析 vim /etc/hosts 192.168.59.115 node1 192.168.59.116 node2#查看Java环境&＃xff0c;如果没有安装&＃xff0c;yum -y install java java -version

&＃xff08;1&＃xff09;更改主机名

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jbh1T640-1639736589595)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216141509041.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JwoxFF2d-1639736589595)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216141601724.png)]$

&＃xff08;2&＃xff09;配置域名解析

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aWjRZGCQ-1639736589596)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216141631648.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dPUJ0R23-1639736589596)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216141715137.png)]$

&＃xff08;3&＃xff09;查看Java环境

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-m7p3U3UH-1639736589597)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216141822210.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7HUMiP0Z-1639736589597)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216141852194.png)]$

2.部署 Elasticsearch 软件

&＃xff08;1&＃xff09;#上传elasticsearch-5.5.0.rpm到/opt目录下 cd /opt rpm -ivh elasticsearch-5.5.0.rpm &＃xff08;2&＃xff09;#加载系统服务 systemctl daemon-reload systemctl enable elasticsearch.service&＃xff08;3&＃xff09;#修改elasticsearch主配置文件 cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak vim /etc/elasticsearch/elasticsearch.yml --17--取消注释&＃xff0c;指定集群名字 cluster.name: my-elk-cluster --23--取消注释&＃xff0c;指定节点名字&＃xff1a;Node1节点为node1&＃xff0c;Node2节点为node2 node.name: node1 --33--取消注释&＃xff0c;指定数据存放路径 path.data: /data/elk_data --37--取消注释&＃xff0c;指定日志存放路径 path.logs: /var/log/elasticsearch/ --43--取消注释&＃xff0c;改为在启动的时候不锁定内存 bootstrap.memory_lock: false --55--取消注释&＃xff0c;设置监听地址&＃xff0c;0.0.0.0代表所有地址 network.host: 0.0.0.0 --59--取消注释&＃xff0c;ES 服务的默认监听端口为9200 http.port: 9200 --68--取消注释&＃xff0c;集群发现通过单播实现&＃xff0c;指定要发现的节点 node1、node2 discovery.zen.ping.unicast.hosts: ["node1", "node2"]#查看主配置文件 grep -v "^#" /etc/elasticsearch/elasticsearch.yml#将node1的配置文件拷贝一份在node2上并去node2上修改 scp /etc/elasticsearch/elasticsearch.yml node2:/etc/elasticsearch/ vim /etc/elasticsearch/elasticsearch.yml --23--取消注释&＃xff0c;指定节点名字&＃xff1a;Node1节点为node1&＃xff0c;Node2节点为node2 node.name: node2&＃xff08;4&＃xff09;#创建数据存放路径并授权 mkdir -p /data/elk_data chown elasticsearch:elasticsearch /data/elk_data/&＃xff08;5&＃xff09;#启动elasticsearch是否成功开启 systemctl start elasticsearch.service netstat -antp | grep 9200&＃xff08;6&＃xff09;#查看节点信息浏览器访问 &＃xff0c;查看节点 Node1、Node2 的信息 http://192.168.59.115:9200 http://192.168.59.116:9200 #原谅色&＃xff1a;green http://192.168.59.115:9200/_cluster/health?pretty http://192.168.59.116:9200/_cluster/health?pretty ####### 使用以上方式查看状态并不友好&＃xff0c;可以通过 elasticsearch-head插件来直接管理 #####

&＃xff08;1&＃xff09;上传elasticsearch-5.5.0.rpm到/opt目录下

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OsQn2H85-1639736589598)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216143520268.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gA1UZj2A-1639736589598)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216143626503.png)]$

&＃xff08;2&＃xff09;加载系统服务

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1oE0VsZI-1639736589599)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216143757498.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kkiR8hzD-1639736589599)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216143658751.png)]$

&＃xff08;3&＃xff09;修改elasticsearch主配置文件

先修改node1上的配置文件

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-A6nghNBN-1639736589600)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216144727637.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-woSYIgP4-1639736589600)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216143938435.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-olvFWW1S-1639736589601)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216144133860.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FKo20xza-1639736589601)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216144605057.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Y4Vh7mW7-1639736589602)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216150020319.png)]$

#将node1的配置文件拷贝一份在node2上并去node2上修改

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7Oumsf8i-1639736589602)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216145645807.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7bAekrA8-1639736589603)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216145915828.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bUc9P8pL-1639736589603)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216150049941.png)]$

&＃xff08;4&＃xff09;创建数据存放路径并授权

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-w0YRkiVZ-1639736589604)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216145025748.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SqsfRbi7-1639736589604)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216150259811.png)]$

&＃xff08;5&＃xff09;启动elasticsearch是否成功开启

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-alr9omjD-1639736589605)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216150445667.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ErxTfV2E-1639736589605)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216150618007.png)]$

&＃xff08;6&＃xff09;查看节点信息

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bnK5Rku6-1639736589606)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216150753700.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8s2v3AuR-1639736589606)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216150833097.png)]$

在这里插入图片描述

3&＃xff0e;安装 Elasticsearch-head 插件

Elasticsearch 在 5.0 版本后&＃xff0c;Elasticsearch-head 插件需要作为独立服务进行安装&＃xff0c;需要使用npm工具&＃xff08;NodeJS的包管理工具&＃xff09;安装。
安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。
- node&＃xff1a;是一个基于 Chrome V8 引擎的 Javascript 运行环境。
- phantomjs&＃xff1a;是一个基于 webkit 的JavascriptAPI&＃xff0c;可以理解为一个隐形的浏览器&＃xff0c;任何基于 webkit 浏览器做的事情&＃xff0c;它都可以做到。

&＃xff08;1&＃xff09;#编译安装 node #上传软件包 node-v8.2.1.tar.gz 到/opt yum install gcc gcc-c&＃43;&＃43; make -ycd /opt tar zxf node-v8.2.1.tar.gzcd node-v8.2.1/ ./configure make -j2 && make install&＃xff08;2&＃xff09;#安装 phantomjs #上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到 cd /opt tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/ cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin cp phantomjs /usr/local/bin&＃xff08;3&＃xff09;#安装 Elasticsearch-head 数据可视化工具 #上传软件包 elasticsearch-head.tar.gz 到/opt cd /opt tar zxf elasticsearch-head.tar.gz -C /usr/local/src/ cd /usr/local/src/elasticsearch-head/ npm install&＃xff08;4&＃xff09;#修改 Elasticsearch 主配置文件 vim /etc/elasticsearch/elasticsearch.yml ...... --末尾添加以下内容-- http.cors.enabled: true #开启跨域访问支持&＃xff0c;默认为 false http.cors.allow-origin: "*" #指定跨域访问允许的域名地址为所有systemctl restart elasticsearch&＃xff08;5&＃xff09;#启动 elasticsearch-head 服务 #必须在解压后的 elasticsearch-head 目录下启动服务&＃xff0c;进程会读取该目录下的 gruntfile.js 文件&＃xff0c;否则可能启动失败。 cd /usr/local/src/elasticsearch-head/ npm run start &> elasticsearch-head&＃64;0.0.0 start /usr/local/src/elasticsearch-head > grunt serverRunning "connect:server" (connect) task Waiting forever... Started connect web server on http://localhost:9100#elasticsearch-head 监听的端口是 9100 netstat -natp |grep 9100&＃xff08;6&＃xff09;#通过 Elasticsearch-head 查看 Elasticsearch 信息通过浏览器访问 http://192.168.59.115:9100/ 地址并连接群集。如果看到群集健康值为 green 绿色&＃xff0c;代表群集很健康。访问有问题可以将localhost 改成ip地址 &＃xff08;7&＃xff09;#插入索引 ##登录192.168.59.115 node1主机##### 索引为index-demo,类型为test,可以看到成功创建 [root&＃64;node1 ~]# curl -X PUT &＃39;localhost:9200/index-demo/test/1?pretty&pretty&＃39; -H &＃39;content-Type: application/json&＃39; -d &＃39;{"user":"zhangsan","mesg":"hello world"}&＃39; {"_index" : "index-demo","_type" : "test","_id" : "1","_version" : 1,"result" : "created","_shards" : {"total" : 2,"successful" : 2,"failed" : 0},"created" : true }####在192.168.91.100 刷新浏览器输入看索引信息### node1信息动作 01234 node2信息动作 01234 ●上面图可以看见索引默认被分片5个&＃xff0c;并且有一个副本点击数据浏览--会发现在node1上创建的索引为index-demo,类型为test, 相关的信息

&＃xff08;1&＃xff09;编译安装 node&＃xff0c;这边只演示node2上&＃xff0c;node1上的操作相同

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PqHywtNK-1639736589607)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216152546135.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zNlibLB5-1639736589608)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216152645541.png)]$

&＃xff08;2&＃xff09;#安装 phantomjs

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vwaKnQXE-1639736589608)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216155519728.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MK23puNk-1639736589609)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216155541854.png)]$

&＃xff08;3&＃xff09;安装 Elasticsearch-head 数据可视化工具

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jvqFTt8a-1639736589609)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216160150097.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HrMNhBq0-1639736589610)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216160011269.png)]$

&＃xff08;4&＃xff09;修改 Elasticsearch 主配置文件(这边展示node1的&＃xff0c;node2与之相同)

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-f15UXTXU-1639736589610)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216160439835.png)]$
在这里插入图片描述

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-b0xCRSzV-1639736589611)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216160535814.png)]$

&＃xff08;5&＃xff09;启动 elasticsearch-head 服务
#必须在解压后的 elasticsearch-head 目录下启动服务&＃xff0c;进程会读取该目录下的 gruntfile.js 文件&＃xff0c;否则可能启动失败。

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-efYLDb67-1639736589611)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216161203799.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-U8krIG8y-1639736589612)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216161228369.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3ejuyxvI-1639736589612)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216161332852.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oOCorWs8-1639736589613)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216161357304.png)]$

&＃xff08;6&＃xff09;浏览器访问&＃xff1a;http://192.168.59.115:9100/

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8BdWfVOq-1639736589613)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216161808135.png)]$

&＃xff08;7&＃xff09;插入索引

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QKUbAMax-1639736589614)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216162415677.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5VvVsdwB-1639736589614)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216162622373.png)]$

5.2 ELK Logstash 部署&＃xff08;在 Apache 节点上操作&＃xff09;

1.安装Logstash

&＃xff08;1&＃xff09;#修改主机名 hostnamectl set-hostname apache su&＃xff08;2&＃xff09;#安装httpd并启动 yum -y install httpd systemctl start httpd&＃xff08;3&＃xff09;#安装java环境 yum -y install java java -version&＃xff08;4&＃xff09;#安装logstash cd /opt rpm -ivh logstash-5.5.1.rpm systemctl start logstash.service systemctl enable logstash.service cd /usr/share/logstash/ ls ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

&＃xff08;1&＃xff09;#修改主机名

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ATiOhpW0-1639736589615)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216163231172.png)]$

&＃xff08;2&＃xff09;#安装httpd并启动

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-u4ooyGgg-1639736589615)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216163244270.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MJeiq2Fg-1639736589616)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216163306271.png)]$

&＃xff08;3&＃xff09;#安装java环境

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QnaLAnjR-1639736589616)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216163322353.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ogjsJGih-1639736589616)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216163338115.png)]$

&＃xff08;4&＃xff09;#安装logstash

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fcZ7gKWJ-1639736589617)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216163620742.png)]$

2.测试 Logstash&＃xff08;Apache&＃xff09;与elasticsearch&＃xff08;node&＃xff09;功能是否正常&＃xff0c;做对接

Logstash这个命令测试字段描述解释&＃xff1a; ● -f 通过这个选项可以指定logstash的配置文件&＃xff0c;根据配置文件配置logstash ● -e 后面跟着字符串该字符串可以被当做logstash的配置&＃xff08;如果是“空”则默认使用stdin做为输入、stdout作为输出&＃xff09; ● -t 测试配置文件是否正确&＃xff0c;然后退出logstash -f 配置文件名字去连接elasticsearch &＃xff08;1&＃xff09;#输入采用标准输入输出采用标准输出---登录192.168.59.115 在Apache服务器上 logstash -e &＃39;input { stdin{} } output { stdout{} }&＃39;16:45:21.422 [[main]-pipeline-manager] INFO logstash.pipeline - Pipeline main started 16:45:21.645 [Api Webserver] INFO logstash.agent - Successfully started Logstash API endpoint {:port&＃61;>9600} www.baidu.com ##需要手动输入 2021-12-16T08:46:14.041Z apache www.baidu.com www.sina.com ##需要手动输入 2021-12-16T08:46:23.548Z apache www.sina.com&＃xff08;2&＃xff09;#使用 rubydebug 输出详细格式显示&＃xff0c;codec 为一种编解码器 logstash -e &＃39;input { stdin{} } output { stdout{ codec&＃61;>rubydebug } }&＃39;16:51:13.127 [[main]-pipeline-manager] INFO logstash.pipeline - Starting pipeline {"id"&＃61;>"main", "pipeline.workers"&＃61;>2, "pipeline.batch.size"&＃61;>125, "pipeline.batch.delay"&＃61;>5, "pipeline.max_inflight"&＃61;>250} 16:51:13.174 [[main]-pipeline-manager] INFO logstash.pipeline - Pipeline main started The stdin plugin is now waiting for input: 16:51:13.205 [Api Webserver] INFO logstash.agent - Successfully started Logstash API endpoint {:port&＃61;>9600} www.baidu.com ##需要手动输入 {"&＃64;timestamp" &＃61;> 2021-12-16T08:52:22.528Z,"&＃64;version" &＃61;> "1","host" &＃61;> "apache","message" &＃61;> "www.baidu.com" }&＃xff08;3&＃xff09;##使用logstash将信息写入elasticsearch中 logstash -e &＃39;input { stdin{} } output { elasticsearch { hosts&＃61;>["192.168.59.115:9200"] } }&＃39;

&＃xff08;1&＃xff09;#输入采用标准输入输出采用标准输出—登录192.168.59.115 在Apache服务器上

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DXJruolt-1639736589617)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216164701939-16396444225541.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OnHbthWi-1639736589618)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216164804903.png)]$

&＃xff08;2&＃xff09;#使用 rubydebug 输出详细格式显示&＃xff0c;codec 为一种编解码器

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uHwah8HM-1639736589618)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216165511781.png)]$

&＃xff08;3&＃xff09;##使用logstash将信息写入elasticsearch中

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BL7Ckk5H-1639736589619)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216170211919.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5GXXysLf-1639736589619)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216170229959.png)]$

3.定义 logstash配置文件

Logstash 配置文件基本由三部分组成&＃xff1a;input、output 以及 filter&＃xff08;可选&＃xff0c;根据需要选择使用&＃xff09;。(1)#给日志目录可读权限 chmod o&＃43;r /var/log/messages #让 Logstash 可以读取日志 &＃xff08;2&＃xff09;#修改 Logstash 配置文件&＃xff0c;让其收集系统日志/var/log/messages&＃xff0c;并将其输出到 elasticsearch 中。 vim /etc/logstash/conf.d/system.confinput {file{path &＃61;>"/var/log/messages" #指定要收集的日志的位置type &＃61;>"system" #自定义日志类型标识start_position &＃61;>"beginning" #表示从开始处收集} } output {elasticsearch { #输出到 elasticsearchhosts &＃61;> ["192.168.59.115:9200"] #指定 elasticsearch 服务器的地址和端口index &＃61;>"system-%{&＃43;YYYY.MM.dd}" #指定输出到 elasticsearch 的索引格式} }&＃xff08;4&＃xff09;#重启服务 systemctl restart logstash(5)#登录192.168.59.116 真机打开浏览器输入http://192.168.59.115:9100/ 查看索引信息###多出 system-xxxx

(1)#给日志目录可读权限
在这里插入图片描述

&＃xff08;2&＃xff09;#修改 Logstash 配置文件

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yGbOLYBq-1639736589621)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216171141000.png)]$

&＃xff08;4&＃xff09;#重启服务

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YcDANOBY-1639736589621)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216171231602.png)]$

(5)#浏览器打开http://192.168.59.115:9100/

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qkgYRIMb-1639736589622)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216171646654.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-btNTxsPg-1639736589622)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216171931277.png)]$

5.3 ELK Kiabana 部署&＃xff08;在 Node1 节点上操作&＃xff09;

&＃xff08;1&＃xff09;#安装 Kiabana #上传软件包 kibana-5.5.1-x86_64.rpm 到/opt目录 cd /opt rpm -ivh kibana-5.5.1-x86_64.rpm&＃xff08;2&＃xff09;#设置 Kibana 的主配置文件 vim /etc/kibana/kibana.yml --2--取消注释&＃xff0c;Kiabana 服务的默认监听端口为5601 server.port: 5601 --7--取消注释&＃xff0c;设置 Kiabana 的监听地址&＃xff0c;0.0.0.0代表所有地址 server.host: "0.0.0.0" --21--取消注释&＃xff0c;设置和 Elasticsearch 建立连接的地址和端口 elasticsearch.url: "http://192.168.59.115:9200" --30--取消注释&＃xff0c;设置在 elasticsearch 中添加.kibana索引 kibana.index: ".kibana"&＃xff08;3&＃xff09;#启动 Kibana 服务 systemctl start kibana.service systemctl enable kibana.service netstat -natp | grep 5601&＃xff08;4&＃xff09;#验证 Kibana 浏览器访问 http://192.168.59.115:5601第一次登录需要添加一个 Elasticsearch 索引&＃xff1a; Index name or pattern //输入&＃xff1a;system-* #在索引名中输入之前配置的 Output 前缀“system” 单击 “create” 按钮创建&＃xff0c;单击 “Discover” 按钮可查看图表信息及日志信息。数据展示可以分类显示&＃xff0c;在“Available Fields”中的“host”&＃xff0c;然后单击 “add”按钮&＃xff0c;可以看到按照“host”筛选后的结果&＃xff08;5&＃xff09;#将 Apache 服务器的日志&＃xff08;访问的、错误的&＃xff09;添加到 Elasticsearch 并通过 Kibana 显示 vim /etc/logstash/conf.d/apache_log.conf input {file{path &＃61;> "/etc/httpd/logs/access_log"type &＃61;> "access"start_position &＃61;> "beginning"}file{path &＃61;> "/etc/httpd/logs/error_log"type &＃61;> "error"start_position &＃61;> "beginning"} } output {if [type] &＃61;&＃61; "access" {elasticsearch {hosts &＃61;> ["192.168.59.115:9200"]index &＃61;> "apache_access-%{&＃43;YYYY.MM.dd}"}}if [type] &＃61;&＃61; "error" {elasticsearch {hosts &＃61;> ["192.168.59.115:9200"]index &＃61;> "apache_error-%{&＃43;YYYY.MM.dd}"}}cd /etc/logstash/conf.d/ /usr/share/logstash/bin/logstash -f apache_log.conf6.#浏览器访问http://192.168.59.115:9100/测试&＃xff0c;查看索引信息能发现 apache_error-2019.04.16 apache_access-2019.04.16 #浏览器访问http://192.168.59.115:5601 点击左下角有个management选项---index patterns---create index pattern ----分别创建apache_error-* 和 apache_access-* 的索引

&＃xff08;1&＃xff09;#安装 Kiabana

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mMIjemQU-1639736589623)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216172427775.png)]$

&＃xff08;2&＃xff09;#设置 Kibana 的主配置文件

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-688uk2YT-1639736589623)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216172646355.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nrk0roDH-1639736589624)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216172631798.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kP5fBLtb-1639736589624)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216172714643.png)]$

&＃xff08;3&＃xff09;#启动 Kibana 服务

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oFVRx5Xl-1639736589625)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216172806137.png)]$

&＃xff08;4&＃xff09;#验证 Kibana&＃xff0c;浏览器访问 http://192.168.59.115:5601

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QQVkJfMC-1639736589625)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216173356868.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JtPDl3Cg-1639736589625)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216173550045.png)]$

&＃xff08;5&＃xff09;#将 Apache 服务器的日志&＃xff08;访问的、错误的&＃xff09;添加到 Elasticsearch 并通过 Kibana 显示

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yOYjBexc-1639736589626)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216174058814.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZXtiHEiO-1639736589626)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216174033917.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EYtJqGh4-1639736589627)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216174849575.png)]$

#浏览器访问http://192.168.59.115:9100/测试&＃xff0c;查看索引信息能发现两个日志

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sIPkoP78-1639736589627)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216175506829.png)]$

#浏览器访问http://192.168.59.115:5601

添加索引apache_error-*

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KNeL8x1u-1639736589628)(F:\5.分布式文件系统\博客\ELK.assets\image-20211216175602978.png)]$

添加索引apache_access-*

1639736589624)]

ELK日志分析系统的部署

一、ELK前言

1&＃xff09;我们需要收集哪些日志&＃xff1f;

2&＃xff09;日志收集后&＃xff0c;如何展示&＃xff08;可视化&＃xff09;&＃xff1f;

3&＃xff09;日志收集展示出来后&＃xff0c;怎么使用&＃xff1f;

4&＃xff09;我们要怎么收集日志

二、ELK简介

2.1ElasticSearch介绍

2.2 ElasticSearch核心概念

2.2ELK里面有哪些组件

2.3 你们一般用的ES版本是什么&＃xff1f;

三、ELK的工作原理

四、ELK架构选型

五、ELK日志分析系统集群部署

5.1 ELK Elasticsearch 集群部署&＃xff08;在Node1、Node2节点上操作&＃xff09;

1.环境准备

2.部署 Elasticsearch 软件

3&＃xff0e;安装 Elasticsearch-head 插件

5.2 ELK Logstash 部署&＃xff08;在 Apache 节点上操作&＃xff09;

1.安装Logstash

2.测试 Logstash&＃xff08;Apache&＃xff09;与elasticsearch&＃xff08;node&＃xff09;功能是否正常&＃xff0c;做对接

3.定义 logstash配置文件

5.3 ELK Kiabana 部署&＃xff08;在 Node1 节点上操作&＃xff09;

解决nginx启动报错epoll_wait() reported that client prematurely closed connection的方法

Shodan搜索简单用法

校园表白墙微信小程序，校园小情书、告白墙、论坛，大学表白墙搭建教程

转载_shp与json互转（转载）

详细介绍附代码：使用jquery，和php文件构建一个简单的在线聊天室，通过ip显示googlemap

利用ASP.NET MVC和Bootstrap快速搭建响应式个人博客站(一)

开发笔记:使用JavaScript解决网页图片拉伸问题

基本信息|根源_SpringBoot 监控统计：SQL监控慢SQL记录Spring监控去广告

es的分布式原理？es是如何实现分布式的？

Solr简介（1）

asp.net 有什么框架，有什么技术

Elasticsearch基础概念之基本原理

mysql+全文检索设计,基于sphinx+mysql全文检索架构设计.doc

Lucene 全文检索技术入门

solr倒排索引（转载）