ELK安装部署

---

 本文主要介绍ELK的部署架构（优化）、安装部署过程、以及安装部署过程中遇到的问题和解决方法，希望通过本文能给初步接触ELK的朋友一些指引。

1. ELK介绍

ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。

ElasticSearch	开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等
Logstash	对日志进行收集、过滤，并将其存储供以后使用
Kiabana	开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志

2. ELK架构

 结合项目实际我们采用了filebeat采集日志，采集日志后传输到redis服务器中，通过Logstash分析过滤日志后存储到ElasticSearch，再通过kibana展示。

 

 

3. 部署结构图如下：

    

 

4. 安装环境

CentOS release 6.9 (Final)

JDK 1.8.0_144

5. 安装包

1	filebeat-6.0.1-linux-x86_64.tar.gz
2	logstash-6.0.1.zip
3	elasticsearch-6.0.1.zip
4	elasticsearch-head-master.zip
5	kibana-6.0.1-linux-x86_64.tar.gz
6	node-v8.11.2-linux-x64.tar.xz

6. 相关安装及配置

6.1.  filebeat安装

1)  进入安装包所在目录，解压安装文件。

$ cd /usr/local/elk/

$ tar -zxvf filebeat-6.0.1-linux-x86_64.tar.gz

2)   进入filebeat目录，修改filebeat.yml文件

$ cd filebeat-6.0.1-linux-x86_64

$ vi filebeat.yml

- type: log

  # Change to true to enable this prospector configuration.

  enabled: true

  # Paths that should be crawled and fetched. Glob based paths.

  #指定要监控的日志，可以指定具体得文件或者目录

  # elk-service1代表以elk-service1开头的日志文件

  paths:

    - /usr/local/elk/logs/ elk-service1/*.log

    #- c:\programdata\elasticsearch\logs\*

  tags: ["elk-service1"]

  document_type: " elk-service1"

 

#================================ redis output ======================

#收集日志输出到redis集群

• output.redis:

  enabled: true

  hosts: ["192.168.19.65:6500","192.168.19.65:6501","192.168.19.75:7500","192.168.19.75:7501","192.168.19.76:7600","192.168.19.76:7601"]

  key: "elk_log_file"

  db: 0

  timeout: 5

#----------------------------- Logstash output --------------------------------

 

 3)   启动filebeat

$ ohup ./filebeat -c ./filebeat.yml &

6.2. logstash安装

1)  进入安装包所在目录，解压安装文件

$ cd /usr/local/elk/

$ unzip logstash-6.0.1.zip

2)   在logstash-6.0.1的config下文件logstash_to_es.conf内容如下

$ cd /usr/local/elk/logstash-6.0.1/config

$ vi logstash_to_es.conf

 

3) 启动logstash

$ nohup ./bin/logstash -f config/logstash_to_es.conf >>logstash.out &

6.3.ElasticSearch安装

1) 进入安装包所在目录，解压安装文件

$ cd /usr/local/elk/

$ unzip elasticsearch-6.0.1.zip

2) 进入elasticsearch的config文件夹修改elasticsearch.yml文件

$ cd /usr/local/elk/elasticsearch-6.0.1/config

$ vi elasticsearch.yml

3)  相关配置如下：

# ---------------------------------- Network -----------------------------------

#

# Set the bind address to a specific IP (IPv4 or IPv6):

#

network.host: 192.168.19.138

#

# Set a custom port for HTTP:

#

http.port: 8200

#

# For more information, consult the network module documentation.

#

# --------------------------------- Discovery ----------------------------------

bootstrap.memory_lock: false

bootstrap.system_call_filter: false

        

 

4) 启动elasticsearch

$ nohup ./bin/elasticsearch >>elasticsearch.out &

5) elasticsearch安装过程中错误解决

 错误：

unable to install syscall filter:

java.lang.UnsupportedOperationException: seccomp unavailable: CONFIG_SECCOMP not compiled into kernel, CONFIG_SECCOMP and CONFIG_SECCOMP_FILTER are needed at org.elasticsearch.bootstrap.SystemCallFilter.linuxImpl(SystemCallFilter.java:341) ~[elasticsearch-6.0.1.jar:6.0.1]

解决：

在elasticsearch.yml新增如下配置

#Centos6不支持SecComp所以要关闭

bootstrap.memory_lock: false

bootstrap.system_call_filter: false

错误:

ERROR: [1] bootstrap checks failed

[1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

解决：

切换到root用户修改配置sysctl.conf

$ sudo vi /etc/sysctl.conf

添加下面配置：

vm.max_map_count=655360

并执行命令：

$ sudo sysctl -p

6.4. elasticsearch-head安装

安装elasticsearch-head前需先安装nodejs，主要安装步骤如下：

1)  进入nodejs安装包所在目录，解压安装文件

$ cd /usr/local/elk/

$ tar xf node-v8.3.0-linux-x64.tar.xz

2)  安装nodejs所需相关插件

$ sudo yum -y install gcc make gcc-c++ openssl-devel wget

3)  设置node和npm为全局变量

$ sudo ln -s /usr/local/elk/node-v8.11.2-linux-x64/bin/node /usr/local/bin/node

$ sudo ln -s /usr/local/elk/node-v8.11.2-linux-x64//bin/npm /usr/local/bin/npm

4)  修改.bash_profile文件，新增如下配置

$ vi ~/.bash_profile

# .bash_profile

# Get the aliases and functions

if [ -f ~/.bashrc ]; then

        . ~/.bashrc

fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin:/usr/local/elk/node-v8.11.2-linux-x64/bin

export PATH

5)  执行如下命令使.bash_profile修改生效

$ source  ~/.bash_profile

6)  测试nodejs是否安装成功

$ node -v

$ npm -v

7)  安装grunt

由于elasticsearch-head 插件的执行文件是由grunt 命令来执行的，所以这个命令必须安装。运行

• 安装grunt所需插件

$ npm install -g grunt-cli

$ npm install grunt-contrib-clean

$npm install grunt-contrib-concat

$ npm install grunt-contrib-watch

$ npm install grunt-contrib-connect

$ npm install grunt-contrib-copy

$ npm install grunt-contrib-jasmine

• 安装grunt

$ npm install grunt --save-dev

$ npm install

查看grunt是否安装成功

$ grunt -version

8) 进入elasticsearch-head安装包所在目录，解压安装文件

$ cd /usr/local/elk/

$ unzip elasticsearch-head-master.zip

9)  进入elasticsearch-head-master目录，修改Gruntfile.js文件

$ cd elasticsearch-head-master

$ vim Gruntfile.js

connect: {

       server: {

                 options: {

                          port: 8100,

                          hostname: '*',

                          base: '.',

                          keepalive: true

                 }

       }

}

 

10) 修改_site/app.js 文件,修改head的连接地址

$ cd elasticsearch-head-master

$ vim _site/app.js

app.App = ui.AbstractWidget.extend({

       defaults: {

                 base_uri: null

       },

       init: function(parent) {

                 this._super();

                 this.prefs = services.Preferences.instance();

                 this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") ||

        "http://192.168.19.138:8200";

                 if( this.base_uri.charAt( this.base_uri.length - 1 ) !== "/" ) {

                          // XHR request fails if the URL is not ending with a "/"

                          this.base_uri += "/";

                 }

    .....

       }

})

 

11)  启动elasticsearch-head插件：

$ grunt server &

 

6.5. kibana安装

1)   进入nodejs安装包所在目录，解压安装文件

$ cd /usr/local/elk/

$ tar -zxvf kibana-6.0.1-linux-x86_64.tar.gz

2)   进入kibana的config文件夹修改kibana.yml文件

$ cd /usr/local/elk/kibana-6.0.1-linux-x86_64/config

$ vi kibana.yml

# Kibana is served by a back end server. This setting specifies the port to use.

server.port: 8601

server.host: "192.168.19.138"

# to Kibana. This setting cannot end in a slash.

#server.basePath: ""

server.name: "your-hostname"

elasticsearch.url: "http://192.168.19.138:8200"

 

3) 启动kibana

$ nohup ./bin/kibana >>kibana.out &

 

---