Prometheus轻松实现集群监控

1、Prometheus 对比 Zabbix

和 Zabbix 类似&＃xff0c;Prometheus 也是一个近年比较火的开源监控框架&＃xff0c;和 Zabbix不同之处在于 Prometheus 相对更灵活点&＃xff0c;模块间比较解耦&＃xff0c;比如告警模块、代理模块等等都可以选择性配置。服务端和客户端都是开箱即用&＃xff0c;不需要进行安装。Zabbix则是一套安装把所有东西都弄好&＃xff0c;很庞大也很繁杂。
Zabbix 的客户端 agent 可以比较方便的通过脚本来读取机器内数据库、日志等文件来做上报。而 Prometheus 的上报客户端则分为不同语言的SDK和不同用途的 exporter 两种&＃xff0c;比如如果你要监控机器状态、mysql性能等&＃xff0c;有大量已经成熟的 exporter 来直接开箱使用&＃xff0c;通过http通信来对服务端提供信息上报&＃xff08;server去pull信息&＃xff09;&＃xff1b;

而如果你想要监控自己的业务状态&＃xff0c;那么针对各种语言都有官方或其他人写好的 sdk 供你使用&＃xff0c;都比较方便&＃xff0c;不需要先把数据存入数据库或日志再供 zabbix-agent 采集。

Zabbix 的客户端更多是只做上报的事情&＃xff0c;push 模式。而 Prometheus 则是客户端本地也会存储监控数据&＃xff0c;服务端定时来拉取想要的数据。
界面来说 zabbix 比较陈旧&＃xff0c;而 prometheus 比较新且非常简洁&＃xff0c;简洁到只能算一个测试和配置平台。要想获得良好的监控体验&＃xff0c;搭配 Grafana 还是二者的必走之路。

2、安装 Prometheus

Prometheus 有很多种安装方式&＃xff0c;可以在官网看到&＃xff0c;这里只介绍下载安装包解压的方式&＃xff0c;因为 Prometheus 是“开箱即用”的&＃xff0c;也就是说解压安装包后就可以直接使用了&＃xff0c;不需要再执行安装程序&＃xff0c;很方便。
可以去 Prometheus 的官网下载页面获取最新版本的信息&＃xff0c;比如现在的最新版本是2.7.2&＃xff0c;那就下载相应系统的安装包&＃xff0c;然后解压

$ wget https://github.com/prometheus/prometheus/releases/download/v2.7.2/prometheus-2.7.2.linux-amd64.tar.gz
$ tar xvfz prometheus-2.7.2.linux-amd64.tar.gz


解压后当前目录就会出现一个相应的文件夹&＃xff0c;进入该文件夹&＃xff0c;然后就可以直接运行Prometheus server了&＃xff01;

$ cd prometheus-2.7.2.linux-amd64
// 查看版本
$ ./prometheus --version
// 运行server
$ ./prometheus --config.file&＃61;prometheus.yml


命令中的 prometheus.yml 文件其实就是配置文件&＃xff0c;也在当前目录下&＃xff0c;在其中可以配置一些东西。

3、配置 Prometheus

上文说了&＃xff0c;prometheus.yml 是配置文件&＃xff0c;打开可以看到不多的几十行文字&＃xff0c;类似下面&＃xff1a;

$ cat prometheus.yml
# my global config
global:scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.# scrape_timeout is set to the global default (10s).# Alertmanager configuration
alerting:alertmanagers:- static_configs:- targets:# - alertmanager:9093# Load rules once and periodically evaluate them according to the global &＃39;evaluation_interval&＃39;.
rule_files:# - "first_rules.yml"# - "second_rules.yml"# A scrape configuration containing exactly one endpoint to scrape:
# Here it&＃39;s Prometheus itself.
scrape_configs:# The job name is added as a label &＃96;job&＃61;&＃96; to any timeseries scraped from this config.- job_name: &＃39;prometheus&＃39;# metrics_path defaults to &＃39;/metrics&＃39;# scheme defaults to &＃39;http&＃39;.static_configs:- targets: [&＃39;localhost:9090&＃39;]


其大致分为四部分&＃xff1a;

• global&＃xff1a;全局配置&＃xff0c;其中 scrape_interval 表示抓取一次数据的间隔时间&＃xff0c;evaluation_interval
  表示进行告警规则检测的间隔时间&＃xff1b;
• alerting&＃xff1a;告警管理器&＃xff08;Alertmanager&＃xff09;的配置&＃xff0c;目前还没有安装Alertmanager&＃xff1b;
• rule_files&＃xff1a;告警规则有哪些&＃xff1b;
• scrape_configs&＃xff1a;抓取监控信息的目标。一个 job_name 就是一个目标&＃xff0c;其 targets 就是采集信息的 IP
  和端口。这里默认监控了 Prometheus 自己&＃xff0c;可以通过修改这里来修改 Prometheus 的监控端口。 Prometheus
  的每个 exporter 都会是一个目标&＃xff0c;它们可以上报不同的监控信息&＃xff0c;比如机器状态&＃xff0c;或者 mysql 性能等等&＃xff0c;不同语言 sdk
  也会是一个目标&＃xff0c;它们会上报你自定义的业务监控信息。

4、Prometheus 界面

运行后&＃xff0c;在浏览器访问[机器IP:端口]就可以查看 Prometheus 的界面了&＃xff0c;这里的机器IP是你运行 Prometheus 的机器&＃xff0c;端口是上面配置文件中配置的监控自己的端口。打开后界面如下&＃xff1a;

如果访问不了&＃xff0c;看看是不是端口没有打开或者允许外网访问。

界面非常简单&＃xff08;所以我们还需要Grafana&＃xff09;&＃xff0c;上面标签栏中&＃xff0c;Alerts是告警管理器&＃xff0c;暂时还没安装。Graph是查看监控项的图表&＃xff0c;也是访问后的默认页面&＃xff0c;Status中可以查看一些配置、监控目标、告警规则等。

在 Graph 页面&＃xff0c;由于我们默认已经监控了 Prometheus 自己&＃xff0c;所以已经可以查看一些监控图表&＃xff0c;比如在输入框输入“promhttp_metric_handler_requests_total”&＃xff0c;执行Execute&＃xff0c;下面的小标签中切换到Graph就能看到“/metrics”访问次数的折线图。

5、添加机器状态监控

我们尝试添加第一个监控exporter——监控当前机器自身的状态&＃xff0c;包括硬盘、CPU、流量等。因为Prometheus已经有了很多现成的常用exporter&＃xff0c;所以我们直接用其中的node_exporter。
注意了&＃xff0c;这里名字虽然叫node_exporter&＃xff0c;但跟nodejs没有任何关系&＃xff0c;在Prometheus看来&＃xff0c;一台机器或者说一个节点就是一个node&＃xff0c;所以该exporter是在上报当前节点的状态。
node_exporter本身也是一个http服务&＃xff0c;可以供 prometheus server 调用&＃xff08;pull&＃xff09;来获取监控的信息&＃xff0c;安装方法同样是下载安装包后解压直接运行&＃xff1a;

// 下载最新版本&＃xff0c;可以在github的release中对最新版本右键获取下载链接
$ wget https://github.com/prometheus/node_exporter/releases/download/v0.17.0/node_exporter-0.17.0.linux-amd64.tar.gz
// 解压
$ tar xvfz node_exporter-0.17.0.linux-amd64.tar.gz
// 进入解压出的目录
$ cd node_exporter-0.17.0.linux-amd64
// 运行监控采集服务
$ ./node_exporter


运行后可以看到在监听9100端口。这样就可以采集了&＃xff0c;现在先访问试试能不能有没有成功运行&＃xff1a;
这里也可以看出其实每个exporter本身都是一个http服务&＃xff0c;server端会定时来访问获取监控信息。
访问成功的话&＃xff0c;我们去prometheus的配置文件&＃xff08;prometheus.yml&＃xff09;中&＃xff0c;加上这个target&＃xff1a;

scrape_configs:- job_name: &＃39;prometheus&＃39;static_configs:- targets: [&＃39;localhost:9090&＃39;]- job_name: &＃39;server&＃39;static_configs:- targets: [&＃39;localhost:9100&＃39;]


可以看到&＃xff0c;就是在 scrape_configs 模块中加一个job&＃xff0c;命好名&＃xff0c;配置好监听的IP和端口即可&＃xff0c;然后重新运行 prometheus&＃xff0c;在标签栏的 Status → Targets 中可以看到多了一个&＃xff1a;

如果新加的 target 的 status 是“UP”的话&＃xff0c;就说明监听成功了。

此时去Graph中&＃xff0c;输入框输入node可以发现有很多 node 开头的监控项了&＃xff0c;都是和机器状态有关的&＃xff0c;可以自己执行看一看。

安装 Grafana

因为 Prometheus 的界面看起来非常简单&＃xff0c;所以我们还需要 Grafana 这个非常强大也是最常用的监控展示框架。

我们还是用下载二进制包的方式来进行安装&＃xff0c;这种方式不需要你当前的linux用户拥有sudo权限&＃xff0c;也不需要你知道 root 密码。如果你有这些权限&＃xff0c;那就使用 yum 等其他直接的安装方式吧&＃xff0c;安装说明见 Grafana 的官方安装页面
我们直接下载并解压&＃xff1a;

$wget [https://dl.grafana.com/oss/release/grafana-6.0.0.linux-amd64.tar.gz](https://dl.grafana.com/oss/release/grafana-6.0.0.linux-amd64.tar.gz)
$ tar -zxvf grafana-6.0.0.linux-amd64.tar.gz
这个页面给出的是最新版本的安装命令&＃xff0c;右上角可以选择切换其他版本的安装命令。


解压后会出现 grafana-6.0.0 目录&＃xff0c;进入该目录&＃xff0c;然后就可以运行 Grafana 了&＃xff1a;

$ cd grafana-6.0.0
// 启动Grafana。$ ./bin/grafana-server web


通过log信息可以看到Grafana默认运行在3000端口&＃xff0c;这个也可以通过配置文件进行修改&＃xff1a;创建名为 custom.ini 的配置文件&＃xff0c;添加到 conf 文件夹&＃xff0c;复制 conf/defaults.ini 中定义的所有设置&＃xff0c;然后修改自己想要修改的。

在 Grafana 展示监控信息

安装并启动Grafana后&＃xff0c;浏览器输入 IP:3000 来访问Grafana&＃xff0c;管理员账号密码默认是admin/admin。首次登陆会让你修改管理员密码&＃xff0c;然后就可以登录查看了。
在界面左边是一竖排选项&＃xff0c;选择设置图标中的Data Source&＃xff0c;添加Prometheus的数据源&＃xff0c;URL 就填上面你给 Prometheus Server 设置的ip&＃43;端口号就行了&＃xff0c;如果没改过且在本机运行的话&＃xff0c;那就是 localhost:9090。

此时可以添加 dashboard&＃xff0c;也就是监控面板了&＃xff0c;在刚配好的 Prometheus Data Source的设置中有一个标签就是 dashboard&＃xff0c;我们导入 Prometheus 2.0 Stats 这个面板&＃xff0c;就能看到我们Prometheus的一些基本监控情况了&＃xff0c;这其实就是导入了一个别人写好的面板配置&＃xff0c;并且连接我们自己 Prometheus 的监控数据做展示。
还记得我们上面还运行了一个 node exporter 吧&＃xff0c;现在我们展现一下这个监控信息&＃xff0c;左边竖排点击加号图标中的 Import&＃xff0c;来导入其他别人写好的面板。在Grafana的官方面板页面其实可以看到很多别人配置好的面板&＃xff0c;我们找到自己想要的面板&＃xff0c;比如这个node exporter 的&＃xff1a;

复制右边那个面板ID&＃xff0c;然后在 Import 界面输入ID&＃xff0c;Load 后配置好数据源为我们的Prometheus&＃xff0c;就可以出现我们自己机器的状态监控面板了&＃xff0c;很炫酷吧。

这个面板需要安装一个饼图的插件&＃xff08;页面上有说明&＃xff09;&＃xff0c;安装 Grafana 插件的方法为

// 进入Grafana/bin目录
./grafana-cli plugins install [插件名]
// 安装成功后重启Grafana


面板中的每个图都是可以编辑的&＃xff0c;也可以设置告警&＃xff0c;Grafana 告警支持多种方式&＃xff0c;我们最常用的就是邮件和 webhook 了&＃xff0c;所以其实不太需要用 Prometheus 的告警。更多的探索就自行发现吧&＃xff0c;我也写过两篇 Grafana 相关的文章&＃xff1a;
作者&＃xff1a;Cloudox_
链接&＃xff1a;https://www.jianshu.com/p/8d2c020313f0

参考链接 &＃xff1a;

如何使用 Prometheus 轻松实现集群监控&＃xff1f; &＃xff1a; https://mp.weixin.qq.com/s/V8iItE424pOyxiH_H_SeYw