mysql慢查询个数阈值报警_mysql慢sql报警系统

前言&＃xff1a;最近有同事反应有的接口响应时间时快时慢&＃xff0c;经过排查有的数据层响应时间过长&＃xff0c;为了加快定位定位慢sql的准确性&＃xff0c;决定简单地搭建一个慢sql报警系统

具体流程如下架构图

第一步&＃xff1a;记录日志

每个业务系统都会在都会有自己的查询语句&＃xff0c;所有的sql语句最红都会   我们先开启每个mysql的慢sql采集配置

1.将 slow_query_log 全局变量设置为“ON”状态

mysql> set global slow_query_log&＃61;&＃39;ON&＃39;;

2.设置慢查询日志存放的位置

3.mysql> set global slow_query_log_file&＃61;&＃39;/usr/local/mysql/data/slow.log&＃39;;

设置慢sql的时间

mysql> set global long_query_time&＃61;1;

测试一下

select sleep(3);去第二步设置的路径找到日志文件&＃xff0c;打开日志发现会有一条记录

第二步:采集日志

当记录下所有的日志文件的之后&＃xff0c;我们就需要采集&＃xff0c;和传统的ELK那套模式一致&＃xff0c;用filebeat去搜集(filebeat采集的原理就不多说介绍了)&＃xff0c;采集完成后就统一传输到logstash

第三步:格式化数据

当logstash得到这些数据之后&＃xff0c;需要格式化Elasticsearch需要的格式

注意&＃xff1a;我们采集到日志格式中无法区分sql类型&＃xff0c;比如select * from user where userId&＃61;2 和 select * from user where userId&＃61;5 是同一种类型&＃xff0c;但是原始日志采集过来的数据无法判断&＃xff0c;我们需要特殊处理一下&＃xff1a;

1&＃xff1a;用正则表达式把所有 数字和引号“”里面的内容都替换成&＃xff1f;&＃xff0c;

2&＃xff1a;然后把返回的值用加密算法加密一下&＃xff0c;得到一个新的字段

改字段就可以表明是某种类型的sql

第四步:分析和展示数据

Elasticsearch得到logstash传来的数据之后&＃xff0c;就可以来检索了(sql_for_hash字段就行用来判别sql类型的字段)

第五步&＃xff1a;报警功能

以上四步基本完成了mysql慢sql的采集分析过程&＃xff0c;接下里就是报警功能&＃xff0c;采用每小时(可以更短)去扫描es的中数据&＃xff0c;根据日志中出现的查询时间以及每小时出现的次数决定报警级别&＃xff0c;调用消息中心的报警接口进行报警&＃xff0c;这样开发员人能够实时地接收到慢sql的出现的情况以便及时排除解决问题(后台也写了一个简单的统计页面方便查看)