热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

在k8s中部署Prometheus

自从上次介绍了Prometheus之后,就想到要在k8s中使用了,不过,在这之前,先介绍下k8s的监控。k8s的监控k8s默认以及推荐的监控体系是它自己的一套东西

自从 上次 介绍了 Prometheus 之后,就想到要在 k8s 中使用了,不过,在这之前,先介绍下 k8s 的监控。

k8s 的监控

k8s 默认以及推荐的监控体系是它自己的一套东西:Heapster + cAdvisor + Influxdb + Grafana,具体可以看 这里 。

包括 k8s 自身的 HPA (Horizontal Pod Autoscaler),默认从 Heapster 中获取数据进行自动伸缩。(顺便提一句,当你部署完 k8s 集群之后,如果从 Dashboard 中看不到监控数据,往往就是因为你没有部署 Heapster,或者网络层有问题, Dashboard 无法访问 Heapster。)

那,这跟我们介绍的 Prometheus 有什么关系?

首先,它们都是一套监控解决方案,而 k8s 没有把 Prometheus 作为默认监控,因此,如果你想直接使用 HPA,你还是需要部署 Heapster。

其次,kubelet 中的 cAdvisor 其实是支持 Prometheus 作为存储的后端的,只是相对于 Prometheus 自己的 SD 解决方案来说,太弱了点。

最后,k8s 1.6 之后,在 annotations 中配置 custom metrics 的方式已经被移除了,而根据
Prometheus 的监控数据来进行自动伸缩还是很有可操作性的。

部署

其实部署很简单,关键是配置,因此这里着重介绍下,如何配置。

Relabel

首先,先来了解下,什么是 relabel_config。

就如字面意思而言,它的作用是 Prometheus 抓取 metrics 之前,就将对象相关的 labels 重写。下面是它几个重要的 label:

  • __address__:默认为 host:port,也是之后抓取之后 instance 的值;
  • __scheme__:http or https ?;
  • __metrics_path__:就是 metrics path,默认为 /metrics
  • __param_${name}:用来作为 URL parameter,比如 http://…/metrics?name=value
  • __meta_:这个开头的配置都是 SD 相关的配置;

Kubernetes SD

其次,上次提到,我们可以用到 Service Discovery 这个功能,其中就包含 Kubernetes SD。

它包含四种角色:

  • node
  • service
  • pod
  • endpoints

由于篇幅所限,这里只是简单介绍下其中的 node 还有 pod 角色:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
- job_name: 'kubernetes-nodes'
 scheme: https
 tls_config:
 ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
 bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
  
 kubernetes_sd_configs:
 - role: node
  
 relabel_configs:
    # 即从 __meta_kubernetes_node_label_ 这个配置中取出 labelname 以及 value
 - action: labelmap
 regex: __meta_kubernetes_node_label_(.+)
    
    # 配置 address 为 k8s api 的地址,相关的 ca 证书以及 token 在上面配置
 - target_label: __address__
 replacement: kubernetes.default.svc:443
    
    # 取出所有的 node,然后设置 /api/v1/nodes//proxy/metrics 为 metrics path
 - source_labels: 
 - __meta_kubernetes_node_name
 regex: (.+)
 target_label: __metrics_path__
 replacement: /api/v1/nodes/${1}/proxy/metrics

接下来的这个 pod 角色挺重要:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
- job_name: 'kubernetes-pods'

 kubernetes_sd_configs:
 - role: pod

 relabel_configs:
 - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]
 action: keep
 regex: true
 - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_path]
 action: replace
 target_label: __metrics_path__
 regex: (.+)
 - source_labels: [__address__, __meta_kubernetes_pod_annotation_prometheus_io_port]
 action: replace
 regex: ([^:]+)(?::\d+)?;(\d+)
 replacement: $1:$2
 target_label: __address__
 - action: labelmap
 regex: __meta_kubernetes_pod_label_(.+)
 - source_labels: [__meta_kubernetes_namespace]
 action: replace
 target_label: kubernetes_namespace
 - source_labels: [__meta_kubernetes_pod_name]
 action: replace
 target_label: kubernetes_pod_name

在定义了这个角色之后,你只要在你部署的应用 Pod 描述中,加入以下 annotations 就能让 Prometheus 自动发现此 Pod 并采集监控数据了:

1
2
3
annotations:
  prometheus.io/scrape: "true"
  prometheus.io/port: ""

其它详细配置请看 这里。

Kubernetes Deployment

最后,部署 Prometheus,需要注意的是,我们已经在 k8s 之外单独部署了一套,为了统一处理,在这里是打算作为中转的。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
apiVersion: v1
kind: ConfigMap
metadata:
 name: prometheus
 namespace: kube-system
 labels:
 app: prometheus
data:
  prometheus.yml: |-
  # 省略,在这里定义你需要的配置
---
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
 name: prometheus
 namespace: kube-system
spec:
 replicas: 1
 template:
 metadata:
 labels:
 app: prometheus
 spec:
 containers:
 - name: prometheus
 image: prom/prometheus:latest
 args:
 - '-config.file=/prometheus-data/prometheus.yml'
          # 显然,这里没有用 `Stateful Sets`,存储时间不用太长
 - '-storage.local.retention=48h0m0s'
 ports:
 - name: prometheus
 containerPort: 9090
 volumeMounts:
 - name: data-volume
 mountPath: /prometheus-data
 volumes:
 - name: data-volume
 configMap:
 name: prometheus
---
# 简单处理,直接使用 NodePort 暴露服务,你也可以使用 Ingress
apiVersion: v1
kind: Service
metadata:
 name: prometheus
 namespace: kube-system
spec:
 selector:
 app: prometheus
 ports:
 - name: prometheus
 protocol: TCP
 port: 9090
 nodePort: 30090
 type: NodePort

Prometheus Federate

而在我们外部单独的 Prometheus 中,需要配置 Federate,将 k8s 中 Prometheus 采集的 metrics 全部同步出来。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
- job_name: 'federate'
 scrape_interval: 15s

 honor_labels: true
 metrics_path: '/federate'

 params:
    'match[]':
 - '{job=~".+"}' # 取 k8s 里面部署的 Prometheus 中所有的 job 数据

 static_configs:
 - targets:
 - ':30090'
 - ':30090'
 - ':30090'

原链接: https://github.com/xizhibei/blog/issues/55


推荐阅读
  • 云原生应用最佳开发实践之十二原则(12factor)
    目录简介一、基准代码二、依赖三、配置四、后端配置五、构建、发布、运行六、进程七、端口绑定八、并发九、易处理十、开发与线上环境等价十一、日志十二、进程管理当 ... [详细]
  • Django + Ansible 主机管理(有源码)
    本文给大家介绍如何利用DjangoAnsible进行Web项目管理。Django介绍一个可以使Web开发工作愉快并且高效的Web开发框架,能够以最小的代价构建和维护高 ... [详细]
  • redis 端口_使用Prometheus和Grafana构建Redis实时监控平台
    Redis作为缓存系统,在整个后端体系中是较为重要的一环,需要实时监控运行状态。现在有各种各样的工具都可以对Redis进行监控,例如&#x ... [详细]
  • Commit1ced2a7433ea8937a1b260ea65d708f32ca7c95eintroduceda+Clonetraitboundtom ... [详细]
  • Android Studio Bumblebee | 2021.1.1(大黄蜂版本使用介绍)
    本文介绍了Android Studio Bumblebee | 2021.1.1(大黄蜂版本)的使用方法和相关知识,包括Gradle的介绍、设备管理器的配置、无线调试、新版本问题等内容。同时还提供了更新版本的下载地址和启动页面截图。 ... [详细]
  • 计算机存储系统的层次结构及其优势
    本文介绍了计算机存储系统的层次结构,包括高速缓存、主存储器和辅助存储器三个层次。通过分层存储数据可以提高程序的执行效率。计算机存储系统的层次结构将各种不同存储容量、存取速度和价格的存储器有机组合成整体,形成可寻址存储空间比主存储器空间大得多的存储整体。由于辅助存储器容量大、价格低,使得整体存储系统的平均价格降低。同时,高速缓存的存取速度可以和CPU的工作速度相匹配,进一步提高程序执行效率。 ... [详细]
  • 本文详细介绍了Spring的JdbcTemplate的使用方法,包括执行存储过程、存储函数的call()方法,执行任何SQL语句的execute()方法,单个更新和批量更新的update()和batchUpdate()方法,以及单查和列表查询的query()和queryForXXX()方法。提供了经过测试的API供使用。 ... [详细]
  • 本文讨论了在数据库打开和关闭状态下,重新命名或移动数据文件和日志文件的情况。针对性能和维护原因,需要将数据库文件移动到不同的磁盘上或重新分配到新的磁盘上的情况,以及在操作系统级别移动或重命名数据文件但未在数据库层进行重命名导致报错的情况。通过三个方面进行讨论。 ... [详细]
  • 深入理解Kafka服务端请求队列中请求的处理
    本文深入分析了Kafka服务端请求队列中请求的处理过程,详细介绍了请求的封装和放入请求队列的过程,以及处理请求的线程池的创建和容量设置。通过场景分析、图示说明和源码分析,帮助读者更好地理解Kafka服务端的工作原理。 ... [详细]
  • 796.[APIO2012]派遣在一个忍者的帮派里,一些忍者们被选中派遣给顾客,然后依据自己的工作获取报偿。在这个帮派里,有一名忍者被称之为Master。 ... [详细]
  • 1、锁机制当前MySQL支持 ISAM, MyISAM,MEMORY(HEAP) 类型表的表级锁,BDB 表支持页级锁,InnoDB 表支持行级锁。很多时候,可以通过经验来 ... [详细]
  • 主线:设计窗口类注册窗口类产生窗口显示窗口更新窗口消息循环(将消息路由到窗口中去处理)。APPMODUL.CPP源文件被编译链接进入项目,从APPMOD ... [详细]
  • HashMap的规约JavaDocs中HashMap的spec是这么写的:Hashtablebased implementationoftheMapinterface.Thisim ... [详细]
  • Iamworkingonaprojectwhichrequiresopentokandcallkitfornotifyingusers.However,theappli ... [详细]
  • 2017年的时候,我刚去上海,朋友内推我去美团面试,之前我也写过一个一篇文章,也是在美团面试中遇到的:关于慢SQL,我和面试官扯了很久,面试官也是很谦虚的,总是点头,自己以为回答的 ... [详细]
author-avatar
X婷婷Z
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有