日志搜集处理框架[Logstash]使用详解

　　Logstash是一款轻量级的日志搜集处理框架&＃xff0c;可以方便的把分散的、多样化的日志搜集起来&＃xff0c;并进行自定义的处理&＃xff0c;然后传输到指定的位置&＃xff0c;比如某个服务器或者文件。

　　本文针对官方文档进行翻译以及实践&＃xff0c;希望有更多的有用户了解、使用这款工具。

下载、安装、使用

　　这款工具是开箱即用的软件&＃xff0c;下载地址戳这里&＃xff0c;下载自己对应的系统版本即可。

　　下载后直接解压&＃xff0c;就可以了。

　　通过命令行&＃xff0c;进入到logstash/bin目录&＃xff0c;执行下面的命令&＃xff1a;

　　可以看到提示下面信息&＃xff08;这个命令稍后介绍&＃xff09;&＃xff0c;输入hello world!

　　可以看到logstash尾我们自动添加了几个字段&＃xff0c;时间戳&＃64;timestamp&＃xff0c;版本&＃64;version&＃xff0c;输入的类型type&＃xff0c;以及主机名host。

工作原理

　　Logstash使用管道方式进行日志的搜集处理和输出。有点类似*NIX系统的管道命令 xxx | ccc | ddd&＃xff0c;xxx执行完了会执行ccc&＃xff0c;然后执行ddd。

　　在logstash中&＃xff0c;包括了三个阶段:

　　输入input --> 处理filter&＃xff08;不是必须的&＃xff09; --> 输出output

　　每个阶段都由很多的插件配合工作&＃xff0c;比如file、elasticsearch、redis等等。

　　每个阶段也可以指定多种方式&＃xff0c;比如输出既可以输出到elasticsearch中&＃xff0c;也可以指定到stdout在控制台打印。

　　由于这种插件式的组织方式&＃xff0c;使得logstash变得易于扩展和定制。

命令行中常用的命令

　　-f&＃xff1a;通过这个命令可以指定Logstash的配置文件&＃xff0c;根据配置文件配置logstash

　　-e&＃xff1a;后面跟着字符串&＃xff0c;该字符串可以被当做logstash的配置&＃xff08;如果是“” 则默认使用stdin作为输入&＃xff0c;stdout作为输出&＃xff09;

　　-l&＃xff1a;日志输出的地址&＃xff08;默认就是stdout直接在控制台中输出&＃xff09;

　　-t&＃xff1a;测试配置文件是否正确&＃xff0c;然后退出。

配置文件说明

　　前面介绍过logstash基本上由三部分组成&＃xff0c;input、output以及用户需要才添加的filter&＃xff0c;因此标准的配置文件格式如下&＃xff1a;

　　在每个部分中&＃xff0c;也可以指定多个访问方式&＃xff0c;例如我想要指定两个日志来源文件&＃xff0c;则可以这样写&＃xff1a;

　　类似的&＃xff0c;如果在filter中添加了多种处理规则&＃xff0c;则按照它的顺序一一处理&＃xff0c;但是有一些插件并不是线程安全的。

　　比如在filter中指定了两个一样的的插件&＃xff0c;这两个任务并不能保证准确的按顺序执行&＃xff0c;因此官方也推荐避免在filter中重复使用插件。

　　说完这些&＃xff0c;简单的创建一个配置文件的小例子看看&＃xff1a;

input {file {#指定监听的文件路径&＃xff0c;注意必须是绝对路径path &＃61;> "E:/software/logstash-1.5.4/logstash-1.5.4/data/test.log"start_position &＃61;> beginning}
}
filter {}
output {stdout {}
}

　　日志大致如下&＃xff1a;

　　注意最后有一个空行。

　　执行命令得到如下信息&＃xff1a;

　　细心的会发现&＃xff0c;这个日志输出与上面的logstash -e "" 并不相同&＃xff0c;这是因为上面的命令默认指定了返回的格式是json形式。

　　至此&＃xff0c;就是logstash入门篇的介绍了&＃xff0c;稍后会介绍关于logstash更多的内容&＃xff0c;感兴趣的可以关注哦&＃xff01;

参考

【1】Logstash官方文档&＃xff1a;https://www.elastic.co/guide/en/logstash/current/index.html