热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

elasticsearch安装与使用(6)Logstash安装与配置

由于elasticsearch的searchguard不支持elasticsearch的jdbc,所以如果安装了searchguard认证插件之后,基本

由于elasticsearch的search guard 不支持 elasticsearch的jdbc,所以如果安装了search guard认证插件之后,基本上jdbc就废了,所以我们需要用到logstash来代替jdbc生成数据索引。

简介

Logstash是一个接收,处理,转发日志的工具。支持系统日志,webserver日志,错误日志,应用日志,总之包括所有可以抛出来的日志类型。
在一个典型的使用场景下(ELK):用Elasticsearch作为后台数据的存储,kibana用来前端的报表展示。Logstash在其过程中担任搬运工的角色,它为数据存储,报表查询和日志解析创建了一个功能强大的管道链。Logstash提供了多种多样的 input,filters,codecs和output组件,让使用者轻松实现强大的功能。

依赖条件:JAVA

Logstash运行仅仅依赖java运行环境(jre)。各位可以在命令行下运行java -version命令 显示类似如

 

1.下载安装Logstash

下载

进入elasticsearch官网的下载页面,寻找对应你elasticsearch版本的Logstash,例如对应我elasticsearch的Logstash是2.3.4

 

进入后选择RPM > 右键点击 -- 复制链接地址

wget https://download.elastic.co/logstash/logstash/packages/centos/logstash-all-plugins-2.3.4-1.noarch.rpm

安装

rpm -ivh logstash-all-plugins-2.3.4-1.noarch.rpm

2.下载mysql java 驱动

到mysql的官网下载

 

 

下载后在window解压得到mysql-connector-java-5.1.40-bin.jar mysql_java驱动包,将这个包放到liunx系统的/data/文件夹即可

 

 

以下内容为博主自己项目的配置内容,吃瓜群众不需理会!

1.修改配置文件

在/data/ 文件夹生成项目配置文件,

cd /data/vim logstash_view_all.conf

修改以下内容

注:密码不需要填写加密后的结果,直接填123456

2.设置项目中elasticsearch配置文件

cd /data/www/项目路径/ElasticSearch/cp index_all-dist.sh index_all.sh

修改数据库名,ip,帐号密码,集群等信息,项目的Elasticsearch的文件夹路径等信息

vim index_all.sh

3.设置配置reindex.php文件

cp reindex-dist.php reindex.phpvim reindex.php

修改ip地址

 

4.开启elasticsearch并且配置开机自启动

systemctl start elasticsearchsystemctl enable elasticsearch

5.修改项目配置文件
在命令行查看elasticsearch帐号密码是否配置成功

curl -XGET "http://shifu:123456@127.0.0.1:9200"

6.修改项目中配置文件

vim Application/Common/Conf/config.php

/*elasticsearch相关配置*/'ELASTIC_SEARCH' => array(
'hosts' => array(
'http://shifu:123456@192.168.117.128:9200'//安全插件配置的帐号密码为shifu,123456
),
'index' => 'test')

7.运行Logstash,生成索引;生成索引后,Logstash会自动关闭

/opt/logstash/bin/logstash -f /data/logstash_view_all.conf

查看Logstash的运行状态

ps -ef |grep logstash

查看索引生成效果

在浏览器中输入

http://dev.test.net:9200/test/_search

 成功生成显示

 

转:https://www.cnblogs.com/shifu204/p/6397928.html



推荐阅读
  • Linux下安装免费杀毒软件ClamAV及使用方法
    本文介绍了在Linux系统下安装免费杀毒软件ClamAV的方法,并提供了使用该软件更新病毒库和进行病毒扫描的指令参数。同时还提供了官方安装文档和下载地址。 ... [详细]
  • 分享一下我老师大神的人工智能教程!零基础,通俗易懂!http:blog.csdn.netjiangjunshow也欢迎大家转载本篇文章。分 ... [详细]
  • 这是原文链接:sendingformdata许多情况下,我们使用表单发送数据到服务器。服务器处理数据并返回响应给用户。这看起来很简单,但是 ... [详细]
  • Centos7.6安装Gitlab教程及注意事项
    本文介绍了在Centos7.6系统下安装Gitlab的详细教程,并提供了一些注意事项。教程包括查看系统版本、安装必要的软件包、配置防火墙等步骤。同时,还强调了使用阿里云服务器时的特殊配置需求,以及建议至少4GB的可用RAM来运行GitLab。 ... [详细]
  • 在重复造轮子的情况下用ProxyServlet反向代理来减少工作量
    像不少公司内部不同团队都会自己研发自己工具产品,当各个产品逐渐成熟,到达了一定的发展瓶颈,同时每个产品都有着自己的入口,用户 ... [详细]
  • 如何在服务器主机上实现文件共享的方法和工具
    本文介绍了在服务器主机上实现文件共享的方法和工具,包括Linux主机和Windows主机的文件传输方式,Web运维和FTP/SFTP客户端运维两种方式,以及使用WinSCP工具将文件上传至Linux云服务器的操作方法。此外,还介绍了在迁移过程中需要安装迁移Agent并输入目的端服务器所在华为云的AK/SK,以及主机迁移服务会收集的源端服务器信息。 ... [详细]
  • CEPH LIO iSCSI Gateway及其使用参考文档
    本文介绍了CEPH LIO iSCSI Gateway以及使用该网关的参考文档,包括Ceph Block Device、CEPH ISCSI GATEWAY、USING AN ISCSI GATEWAY等。同时提供了多个参考链接,详细介绍了CEPH LIO iSCSI Gateway的配置和使用方法。 ... [详细]
  • 本文介绍了在CentOS 6.4系统中更新源地址的方法,包括备份现有源文件、下载163源、修改文件名、更新列表和系统,并提供了相应的命令。 ... [详细]
  • Centos7搭建ELK(Elasticsearch、Logstash、Kibana)教程及注意事项
    本文介绍了在Centos7上搭建ELK(Elasticsearch、Logstash、Kibana)的详细步骤,包括下载安装包、安装Elasticsearch、创建用户、修改配置文件等。同时提供了使用华为镜像站下载安装包的方法,并强调了保证版本一致的重要性。 ... [详细]
  • LVS实现负载均衡的原理LVS负载均衡负载均衡集群是LoadBalance集群。是一种将网络上的访问流量分布于各个节点,以降低服务器压力,更好的向客户端 ... [详细]
  • node.jsurlsearchparamsAPI哎哎哎 ... [详细]
  • 简短的问题是:是否可以从远程服务器中提取日志(在日志文件中)并将其提取到 ... [详细]
  • ELK stack 学习记录
    ELK日志分析平台学习记录首先ELK主要指elasticsearch、logstash和kibana,三个开源软件组合而成的一套日志平台解决方案。可以将平时收集到的日志,通过前台展 ... [详细]
  • Flume 数据采集组件
    目录1、数据收集工具系统产生背景2、专业的数据收集工具2.1、Chukwa2.2、Scribe2.3、Fluentd2.4、Logstash2.5、ApacheFlu ... [详细]
  • 搞懂 ELK 并不是一件特别难的事
    点击下方“民工哥技术之路”,选择“设为星标”回复“1024”获取独家整理的学习资料!本篇文章主要介绍ELK的一些框架组成,原理和实践&#x ... [详细]
author-avatar
月光魔术师2702935955
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有