Prometheus+Grafana+alertmanager实现Substrate区块链节点实时监控报警系统（上）

通过本配置教程的配置&＃xff0c;你将学会如何制作一个实时更新的区块链节点监控系统&＃xff0c;成品展示如下&＃xff1a;

是不是还挺有模有样的&＃xff0c;其中的Dashboard可进行高度自定义

本配置教程灵感来自Substrate Developer Hub’s Tutorials

实验环境&＃xff1a;

• 实验服务器A与B&＃xff1a;

  • Ubuntu 18.04
  • Linux amd64

• 本地&＃xff1a;

  • Mac OS

实验前提&＃xff1a;
假设有A与B两台远程服务器&＃xff0c;A服务器作为监控服务器&＃xff0c;B服务器作为被监控服务器&＃xff0c;且默认B服务器一直跑着区块链节点。
整个配置过程&＃xff0c;均由本地计算机访问远程的A和B服务器完成。

一、工具安装

1. 在A服务器中安装Prometheus与Grafana

Prometheus的安装&＃xff1a;
在本地进入Prometheus官网&＃xff0c;下载对应版本的prometheus安装包&＃xff1a;

下载好后输入以下命令把本地的安装包上传到远程服务器A中&＃xff1a;

scp /Users/admin/Downloads/prometheus-2.28.1.linux-amd64.tar.gz root&＃64;A&＃39;s IP address:/root
# /Users/admin/Downloads/为安装包存储路径
# /root为具体的上传地址路径


Linux scp命令用于Linux之间文件和目录的传递&＃xff0c;从本地复制到远程服务器、从远程服务器复制到本地&＃xff08;该命令同样适用于类Unix系统中&＃xff0c;Mac OS与Linux同属于类Unix系统&＃xff09;。

scp命令详解可以参考另一篇文章&＃xff1a;linux scp命令参数及用法详解–linux远程复制拷贝命令使用实例

安装包上传成功后&＃xff0c;输入以下命令来解压缩解打包.tar.gz文件

tar -zxvf prometheus-2.28.1.linux-amd64.tar.gz


tar相关打包压缩&＃xff08;解打包解压缩&＃xff09;命令可参考以下文章&＃xff1a;Linux命令——tar与gzip详解&＃xff1a;文件的打包压缩与解压缩解打包

解压完成后代表Prometheus正常安装完成

Grafana的安装&＃xff1a;
在本地进入Grafana官网&＃xff0c;按照给出的安装命令安装Grafana

输入官网中给出的三行命令即可在A服务器上安装Grafana
一般三条命令运行完后&＃xff0c;Grafana会提示你输入三条命令&＃xff0c;把Grafana的启动做成开机启动&＃xff0c;
Grafana提示如下&＃xff1a;

依次输入提示中的三条命令以设计Grafana为开机启动
由于后面要执行Grafana与Prometheus的后台持续运行&＃xff0c;因此此处设置为开机启动后&＃xff0c;后面不用单独设置&＃xff08;默认为服务器不会宕机&＃xff0c;因此此处开机启动的作用与挂在后台持续运行的作用一样&＃xff09;

2.在B服务器中安装Prometheus

安装Prometheus的过程与上文一样&＃xff0c;此处不再赘述。

二、修改配置文件

1.修改A服务器Prometheus配置文件

先 cd到prometheus的安装文件中&＃xff0c;找到配置文件prometheus.yml&＃xff0c;打开配置文件&＃xff0c;在原配置文件的基础上&＃xff0c;在 scrape_configs里面加入如下内容&＃xff1a;

# -- snip --scrape_configs:# -- snip --- job_name: &＃39;federate&＃39;scrape_interval: 15shonor_labels: truemetrics_path: &＃39;/federate&＃39;params:&＃39;match[]&＃39;:- &＃39;{job&＃61;"substrate_node"}&＃39;- &＃39;{__name__&＃61;~"job:.*"}&＃39;# job自定义&＃xff0c;一般为被监控服务器的jobstatic_configs:- targets:- &＃39;xx.xx.xx.xx:9090&＃39;# 此处填写A服务器的IP地址# 可添加多个被监控服务器的IP地址&＃xff0c;但必须保持9090端口


在Peometheus中&＃xff0c;9090端口是专门暴露抓取信息metrics的端口&＃xff0c;所有抓取信息默认在9090端口暴露出去

这一步的设置是作为监控服务器的必须设置项&＃xff0c;官方文档中叫做Federation&＃xff0c;只有通过这一步&＃xff0c;才能实现跨局域网间的随意监控

更多详细内容见&＃xff1a;Federation官方配置文档

2.修改B服务器Prometheus配置文件

在相关安装目录下&＃xff0c;打开prometheus.yml配置文件进行修改&＃xff0c;在原配置文件的 scrape_configs中再添加一个 job&＃xff0c;配置如下&＃xff1a;

scrape_configs:# The job name is added as a label &＃96;job&＃61;&＃96; to any timeseries scraped from this config.- job_name: &＃39;prometheus&＃39;# metrics_path defaults to &＃39;/metrics&＃39;# scheme defaults to &＃39;http&＃39;.static_configs:- targets: [&＃39;localhost:9090&＃39;]# 设置新的job&＃xff0c;取名为“substrate_node”- job_name: &＃39;substrate_node&＃39;scrape_interval: 5s# 设置抓取时间为5s&＃xff0c;该时间要小于区块链节点的出块时间static_configs:- targets: [&＃39;localhost:9615&＃39;]


根据Substrate官方文档介绍&＃xff0c;所有用Substrate Developer Hub开发的区块链&＃xff0c;其用Prometheus抓取的指标metrics均默认由9615端口暴露
由于B服务器正在运行区块链节点&＃xff0c;所以要在本地进行抓取指标metrics&＃xff08;现在B是本地&＃xff09;

具体区块链节点指标暴露文档可访问Substrate Developer Hub’s Tutorials: Visualizing Node Metrics

三、指令的可持续化运行

1.A服务器上Prometheus与Grafana的可持续化运行

注&＃xff1a;本文中可持续化运行指的是关掉后台后命令还在执行

Prometheus的可持续化运行&＃xff1a;
先 cd到prometheus.yml文件的目录下&＃xff0c;然后输入如下命令&＃xff1a;

nohup ./prometheus --config.file prometheus.yml &


*Grafana的可持续化运行&＃xff08;前面设置Grafana开机启动的请跳过这一步&＃xff09;&＃xff1a;
先 cd到grafana-server文件的目录下&＃xff0c;然后输入如下命令&＃xff1a;

nohup ./grafana-server web &


注意&＃xff1a;nohup [command] &命令用于将command命令放在后台持续运行&＃xff0c;并且结束远程连接后命令也在服务器后台持续运行。结束该命令只能用 ps aux查询command进程的PID&＃xff0c;然后运行 kill -9 [PID]强制结束进程。

2.B服务器上Prometheus的可持续化运行

执行命令同上&＃xff0c;先 cd到相应目录&＃xff0c;然后执行以下命令&＃xff1a;

nohup ./prometheus --config.file prometheus.yml &


四、抓取信息及prometheus界面的查看

在浏览器中输入 http://A的IP地址:9090/metrics可访问具体抓去指标metrics&＃xff1a;

如果想看prometheus的界面&＃xff0c;直接输入 http://A的IP地址:9090即可访问&＃xff0c;里面很多选项可以查看&＃xff08;此界面内容非本教程主要内容&＃xff0c;故不做过多讲解&＃xff09;。成功打开界面后&＃xff0c;可以在Status一栏中&＃xff0c;选择Targets查看B服务器监控状态&＃xff1a;

五、Grafana面板配置

系统成功运行Grafana后&＃xff0c;可在浏览器中输入 http://A的IP地址:3000成功访问Grafana&＃xff0c;系统默认初始账号密码均为admin

1.配置Data sources

初始进入Grafana时会显示如下的界面&＃xff0c;要想让自己的监控面板有信息显示&＃xff0c;首先让他知道数据在哪。
如下图所示&＃xff0c;先点击左侧导航栏的小齿轮 Configuration按钮&＃xff0c;在弹出的框中点击 Data sources:

进入Data Sources后&＃xff0c;点击选择Prometheus&＃xff08;因为数据来自Prometheus的指标metrics&＃xff09;&＃xff1a;

选择Prometheus后&＃xff0c;开始配置Data sources&＃xff1a;编辑HTTP栏目下URL&＃xff0c;填写为 http://A的IP:9090&＃xff1a;

完成修改后点击该页面下的 Save & test按钮&＃xff0c;当出现两个绿色对号即表示测试通过&＃xff1a;

2.导入面板

Data sources测试通过后&＃xff0c;点击左侧的 &＃43;号&＃xff0c;然后在弹出的框中点击 Import按钮&＃xff1a;

进入Import界面后&＃xff0c;在Import via grafana.com栏目中输入编号13759&＃xff0c;之后点击右边的 Load按钮即可完成导入&＃xff1a;
Tip: 编号13579为Substrate Developer Hub提供的监控面板模版编号

点击Load后&＃xff0c;进入Dashboard设置界面&＃xff0c;此时在 Substrate Node下选择刚才测试好的Data sources(Prometheus)&＃xff0c;然后点击 import按钮后即可即可完成Dashboard的导入与配置&＃xff1a;

六、查看Dashboard面板

目光再次来到左侧的导航栏&＃xff0c;按照下图的顺序依次点接选择就可以查看区块链节点监控面板了&＃xff1a;

进入 Manage后点击相应文件夹下的面板即可进入面板&＃xff1a;

Tip&＃xff1a;一些面板方面的基础设置即实时刷新频率可在下图中的标红区域设置&＃xff1a;

整篇配置教程到此结束&＃xff0c;该教程中指标metrics的抓取系统为Prometheus&＃xff0c;监控面板系统为Grafana&＃xff0c;区块链节点由Substrate Developer Hub配置

[1] Prometheus Download
[2] Prometheus Configuration Doc.
[3] Grafana Download
[4] Substrate Developer Hub: Tutorials’ Create Your First Substrate Chain
[5] Substrate Developer Hub: Tutorials’ Visualizing Node Metrics