ELK日志分析平台学习记录
首先ELK主要指elasticsearch 、logstash 和kibana，三个开源软件组合而成的一套日志平台解决方案。可以将平时收集到的日志，通过前台展示出来，并且可以加以分析，理论上可以解放劳动力（再也不用干上生产取日志这种活了——很搓）。
最近在研究ELKstack日志分析平台，网上相关的中文资料不多。所以呢也就写了这篇文章将自己的一些学习认识总结记录下来，基本偏实战，概念理论较少，概念这块，我想以后可以再开一篇文章来做一个阐述总结。
这篇文章中会先讲一下搭建部署的内容，这一部分我在自己电脑上建了两台虚拟机来做这个实验，大致做个入门。同时后面我会记录一下我在实际使用过程中的一些心得，还有遇到的一些坑，以及解决办法。由于ELK stack这块我也还在学习摸索中，还有诸多不足，如果有什么不正确的地方，请见谅。
这里推荐大家可以上官网查看官方文档https://www.elastic.co/guide/index.html写的是很全的。
一、架构
采用官方推荐的架构
首先官方推出了轻量化数据收集输送应用beat，其中主要的做日志收集的filebeat是新一代作为原来logstash-forwarder的替代品，那所以就使用filebeat了。
其中beat（现在只使用filebeat）作为 agent端收集日志并发送给logstash，logstash做过滤再给到搜索引擎elasticsearch。最后kibana提供前台界面给用户。
二、安装部署
我这里起了两个虚拟机作为安装部署的实例
| IP | role | app |
| 192.168.247.128 | server | logstash elasticsearch kibana |
| 192.168.247.129 | client | filebeat |
应用清单
elasticsearch-2.1.1
kibana-4.3.1
logstash-2.1.1-1
filebeat-1.0.1
我这边应用基本都用最新的了，采用的架构可能也与网上较多的logstash→redis→logstash→elasticsearch→kibana的方式不同。那种基于的应用版本可能较低，但是应该在很多地方已经实际投产使用了，稳定性应该有保证。
filebeat、logstash、elasticsearch都采用rpm包安装方式，注意logstash和elasticsearch是基于java的需要先安装jdk。具体的安装要求见https://www.elastic.co/support/matrix
rpm包安装很方便，在此不做赘述
elasticsearch安装后修改下绑定IP启动，elasticsearch的配置文件/etc/elasticsearch/elasticsearch.yml中有许多配置项目，这里不一一说明了。像是存数据的路径、绑定IP端口、集群name等等。
启动后验证
[root@servertest01 elasticsearch]# curl -XGET http://192.168.247.128:9200
{
"name" : "Black Crow",
"cluster_name" : "elasticsearch",
"version" : {
"number" : "2.1.1",
"build_hash" : "40e2c53a6b6c2972b3d13846e450e66f4375bd71",
"build_timestamp" : "2015-12-15T13:05:55Z",
"build_snapshot" : false,
"lucene_version" : "5.3.1"
},
"tagline" : "You Know, for Search"
}logstash先不起，我们先来写配置文件
logstash配置文件主要分三块，官方提供了相当相当多的plugin，可以更具情况来使用，其中filter不是必须项。
由于实验用filebeat采集数据，然后输出到elasticsearch。所以input plugin用beats， output plugin用elasticsearch。
input {
beats {
port => "5044"
}
}
output {
elasticsearch {
hosts => "192.168.247.128"
index =>"hello-%{+YYYY.MM.dd}"
}
}我把5044端口作为输入端口,logstash提供了检查语法的功能service logstash configtest，检查好OK后（这里是实验很简单所以不用检查也可以，但是我在实际使用中内容会比较多，会有codec filter plugin等等配置难免会有遗漏，所以检查下养成个好习惯），启动service logstash start
客户端上的filebeat在启动前，elasticsearch需要先读取其索引模版
[root@clienttest01 ~]# curl -XPUT ‘http://192.168.247.128:9200/_template/filebeat?pretty‘ -d@/etc/filebeat/filebeat.template.json
{
"acknowledged" : true
}来看看默认的配置文件
[root@clienttest01 filebeat]# egrep -v ‘^$|^#|^\s+#‘ filebeat.yml filebeat: prospectors: - paths: - /var/log/*.log input_type: log registry_file: /var/lib/filebeat/registry output: elasticsearch: hosts: ["localhost:9200"] shipper: logging: files: rotateeverybytes: 10485760 # = 10MB
为做实验我做了下修改，启动
[root@clienttest01 filebeat]# more filebeat.yml filebeat: prospectors: - paths: - /var/log/*.log input_type: log output: logstash: hosts: ["192.168.247.128:5044"]
然后我就在 /var/log下建了a.log 随便追加了一些信息
kibana下载后解包 直接使用 由于我们绑定了elasticsearch的IP，所以修改config目录下配置文件kibana.yml 中elasticsearch server 的地址信息后 到bin目录下 nohup ./kibana &
默认端口5601
浏览器输入http://192.168.247.128:5601
由于索引我output plugin设的是hello 所以kibana那边就设默认索引为hello好了
然后看看成果
OK，基本的部署流程就这样的。这个实验我就起了一个elasticsearch，这就是一个节点，如果只有一个的话，elasticsearch的健康度就是***的。elasticsearch一共分红色、***、绿色三种健康度。所以也就是说实际投产的话，至少得起两个elasticsearch，那样健康度才能是绿色。做实验也就无所谓了。elasticsearch中有个配置叫cluster.name。当网络环境一样，多个elasticsearch的cluster.name一样那他们就会加入到同一个集群。这样是很方便的。
三、注意事项
修改MMAP参数，这个官方文档里有明确说明
vi /etc/sysctl.conf
添加vm.max_map_count = 262144
sysctl -p
生效
修改文件描述符
文件描述符如果不调的话，elasticsearch运行一段时间就会报错too many open files同时logstash也会报管道阻塞。所以必须调整
查看现有的情况，可以看到open files 只有1024 这是远远不够的，要调大。
[root@servertest01 bin]# ulimit -a core file size (blocks, -c) 0 data seg size (kbytes, -d) unlimited scheduling priority (-e) 0 file size (blocks, -f) unlimited pending signals (-i) 14717 max locked memory (kbytes, -l) 64 max memory size (kbytes, -m) unlimited open files (-n) 1024 pipe size (512 bytes, -p) 8 POSIX message queues (bytes, -q) 819200 real-time priority (-r) 0 stack size (kbytes, -s) 10240 cpu time (seconds, -t) unlimited max user processes (-u) 14717 virtual memory (kbytes, -v) unlimited file locks (-x) unlimited
修改配置 在最后添加两行如下。
[root@servertest01 ~]# more /etc/security/limits.conf # /etc/security/limits.conf # #Each line describes a limit for a user in the form: # ## #Where: # can be: # - a user name # - a group name, with @group syntax # - the wildcard *, for default entry # - the wildcard %, can be also used with %group syntax, # for maxlogin limit # # can have the two values: # - "soft" for enforcing the soft limits # - "hard" for enforcing hard limits # # - can be one of the following: # - core - limits the core file size (KB) # - data - max data size (KB) # - fsize - maximum filesize (KB) # - memlock - max locked-in-memory address space (KB) # - nofile - max number of open file descriptors # - rss - max resident set size (KB) # - stack - max stack size (KB) # - cpu - max CPU time (MIN) # - nproc - max number of processes # - as - address space limit (KB) # - maxlogins - max number of logins for this user # - maxsyslogins - max number of logins on the system # - priority - the priority to run user process with # - locks - max number of file locks the user can hold # - sigpending - max number of pending signals # - msgqueue - max memory used by POSIX message queues (bytes) # - nice - max nice priority allowed to raise to values: [-20, 19] # - rtprio - max realtime priority # #
# #* soft core 0 #* hard rss 10000 #@student hard nproc 20 #@faculty soft nproc 20 #@faculty hard nproc 50 #ftp hard nproc 0 #@student - maxlogins 4 * soft nofile 65535 * hard nofile 65535 # End of file
重新ssh连上来查看，生效
[root@servertest01 ~]# ulimit -n 65535
四、遇到的一些坑和使用体会
1、发现kibana中的中文日志有乱码。根据检查发现是因为中文有乱码的日志文件是ISO-8859格式文件。如果想要中文没有乱码。日志文件应该是UTF-8格式。这个可以用file命令查看。由于我这里的日志是用log4j生成的。所以生成的日志文件类型可以在log4j中定义，统一起来也不难。配置参考如下
京公网安备 11010802041100号