PrometheusConsul服务发现

本文记录Prometheus如何从Consul获取scrape target。

一般情况下&＃xff0c;prometheus.yml配置static_configs静态配置scrape target。但是在服务动态变化的容器环境下&＃xff0c;静态配置是不现实的。
所以需要接入注册中心&＃xff0c;prometheus支持多种注册中心&＃xff0c;本节只记录consul集成。

流程大概&＃xff1a;

1. 应用服务注册(以node-exporter为例&＃xff09;到注册中心consul
2. prometheus请求注册中心获取服务注册项和metric接口地址
3. prometheus周期性请求metric地址获取监控指标

集成consul

1. 启动prometheus,grafana,consul

prometheus&＃43;grafana&＃43;consul

• docker
• docker-compose

version: "3"networks:grafana:volumes:app_data: {}services:prometheus:image: prom/prometheus:v2.21.0volumes:- ./prometheus/:/etc/prometheus/command:- "--config.file&＃61;/etc/prometheus/prometheus.yml"- "--storage.tsdb.path&＃61;/prometheus"ports:- 9090:9090networks:- grafanaloki:image: grafana/loki:1.6.1ports:- 3100:3100command: -config.file&＃61;/etc/loki/local-config.yamlnetworks:- grafanapromtail:image: grafana/promtail:1.6.1volumes:- app_data:/var/lognetworks:- grafanagrafana:image: grafana/grafana:7.3.6ports:- 3000:3000networks:- grafanaapp:build: ./appports:- 8081:80volumes:- app_data:/var/lognetworks:- grafanadb:image: grafana/tns-db:latestports:- 8082:80networks:- grafanaconsul:image: consul:latestports:- 8500:8500networks:- grafana

2. 启动node-exporter

使用容器方式启动 node-exporter

version: &＃39;3.2&＃39;services:node-exporter:image: prom/node-exporter:latestcontainer_name: node-exporterrestart: unless-stoppedports:- &＃39;9100:9100&＃39;command:- &＃39;--path.procfs&＃61;/host/proc&＃39;- &＃39;--path.sysfs&＃61;/host/sys&＃39;- &＃39;--collector.filesystem.ignored-mount-points&＃61;^/(sys|proc|dev|host|etc)($$|/)&＃39;- &＃39;--collector.textfile.directory&＃61;/node_exporter/prom&＃39;volumes:- /proc:/host/proc- /sys:/host/sys- /:/rootfs


启动命令&＃xff1a;

docker-compose up -d


3. prometheus.yaml添加consul服务地址

consul_sd_configs 是prometheus集成consul,从consul获取target的配置命令。实际上还有很多其他的如文件&＃xff0c;etcd等。参考&＃xff1a;prometheus CONFIGURATION

global:scrape_interval: 15s # 配置每15s 请求一次consul
scrape_configs:- job_name: &＃39;consul-prometheus&＃39;consul_sd_configs:- server: &＃39;consul:8500&＃39; # consul的服务地址services: []


4. node-exporter注册到consul

请求consul的HTTP API将服务node-exporter注册到consul中。

请求体

将下面文件保存exporter.json

{"ID": "node-exporter","Name": "node-exporter-192.168.10.100","Tags": ["test"],"Address": "192.168.10.100","Port": 9100,"Meta": {"app": "test-exporter-in-consul"},"EnableTagOverride": false,"Check": {"HTTP": "http://192.168.10.100:9100/metrics","Interval": "10s"},"Weights": {"Passing": 10,"Warning": 1}
}


注册命令

# exporter.json会作为PUT请求的body
# http://${consul_host}:${consul_port}/v1/agent/service/register?replace-existing-checks&＃61;1 为consul注册服务的API
curl --request PUT --data &＃64;exporter.json http://${consul_host}:${consul_port}/v1/agent/service/register?replace-existing-checks&＃61;1


5. prometheus UI查看从consul获取的服务注册项

Status -> Target

6. grafana查看node-exporter指标图形

1. 加入Datasource

选择prometheus,输入prometheus的地址&＃xff0c;点击Save & Test

docker-compose提供DNS能力&＃xff0c;处于同一network下面的容器可以使用配置的service名字作为DNS访问

2. 导入Dashboard

点击Load,后面选择数据源prometheus

grafana labs维持了一个dashboard的库&＃xff0c;每个dashboard模板都有一个唯一ID. 这里只要输入dashboard
ID就可以引入该模板。 此处使用 Node Exporter Full

3. 观察dashboard

HOME- >选择dashboard

点击命名的Dashboard就可以看到node-exporter的指标可视化数据了。

7. 总结

prometheus支持多种服务注册中心&＃xff0c;获取服务中心的服务注册项和metric path&＃xff0c;定期请求metric path获取服务的监控数据。prometheus针集成每种服务注册中心都有对应的*_sd_config(服务发现配置&＃xff0c;本例为consul_sd_config).

当然服务在哪里注册&＃xff0c;最终都是服务注册项&＃xff0c;最终都存储在prometheus TSDB中。

grafana本身不负责存储数据&＃xff0c;只是使用PromQL请求prometheus的HTTP API获取数据&＃xff0c;进行可视化展示。