Prometheus+grafana监控：cAdvisor输出的容器CPU相关的指标的解读

概述

对容器中的服务进行监控&＃xff0c;常见方案是采用Prometheus&＃43;grafana。其中对容器服务的CPU的监控有一组指标&＃xff0c;本文对它们进行了一些分析和解读&＃xff0c;并做了一些试验。

查看cAdvisor输出的容器CPU监控指标

我们使用kubernetes进行管理&＃xff0c;自带了容器监控cAdvisor exporter&＃xff0c;可以直接通过页面查看监控指标&＃xff0c;例如直接访问一台IP为172.18.12.188的node节点&＃xff1a;

http://172.18.12.188:4194/metrics

直接在页面中搜索以 container_cpu 开头的指标&＃xff0c;如下表所示&＃xff1a;

用Grafana查看容器CPU指标

以我们部署在容器中的某自己开发的服务 cloud-bdp-interface为例&＃xff0c;在grafana的dashborad中配置如下查询&＃xff1a;

因为CPU指标是计数器&＃xff08;counter&＃xff09;类型&＃xff0c;所以grafana 的metrics的配置用到 rate函数&＃xff1a;

rate(container_cpu_usage_seconds_total{name&＃61;~"k8s_cloud-bdp-interface.*"}[5m])rate(container_cpu_user_seconds_total{name&＃61;~"k8s_cloud-bdp-interface.*"}[5m])

grafana查到的原始数据是&＃xff1a;

container_cpu_usage_seconds_total

{beta_kubernetes_io_arch&＃61;"amd64",beta_kubernetes_io_os&＃61;"linux",container_name&＃61;"cloud-bdp-interface",cpu&＃61;"cpu00",id&＃61;"/kubepods/burstable/pod84ab880d-bc9f-11e8-abe2-fa163e6f3f6b/93069e41ed1ac7181fa69732736f927ebe8764b560ba281c9d392a5333c30020",image&＃61;"reg.docker.tb/huawei/bdp&＃64;sha256:975ac36a806f39d75ea992967b63ded54bd7b9798e2f5109511953681cc1fe53",instance&＃61;"k8s-node-1",job&＃61;"kubernetes-cadvisor",kubernetes_io_hostname&＃61;"k8s-node-1",name&＃61;"k8s_cloud-bdp-interface_cloud-bdp-interface-5b9bbc567f-xkvpj_docker-new40_84ab880d-bc9f-11e8-abe2-fa163e6f3f6b_0",namespace&＃61;"docker-new40",pod_name&＃61;"cloud-bdp-interface-5b9bbc567f-xkvpj"}

同一个节点上的同一个服务&＃xff0c;不同cpu的占用时间都有计量和统计&＃xff0c;如下&＃xff1a;

由此可见&＃xff0c;要得到该容器服务的CPU使用的总的情况&＃xff0c;需要对所有CPU求和&＃xff0c;即&＃xff1a;

sum(rate(container_cpu_usage_seconds_total{name&＃61;~"k8s_cloud-bdp-interface.*"}[5m]))

container_cpu_user_seconds_total 

{beta_kubernetes_io_arch&＃61;"amd64",beta_kubernetes_io_os&＃61;"linux",container_name&＃61;"cloud-bdp-interface",id&＃61;"/kubepods/burstable/pod84ab880d-bc9f-11e8-abe2-fa163e6f3f6b/93069e41ed1ac7181fa69732736f927ebe8764b560ba281c9d392a5333c30020",image&＃61;"reg.docker.tb/huawei/bdp&＃64;sha256:975ac36a806f39d75ea992967b63ded54bd7b9798e2f5109511953681cc1fe53",instance&＃61;"k8s-node-1",job&＃61;"kubernetes-cadvisor",kubernetes_io_hostname&＃61;"k8s-node-1",name&＃61;"k8s_cloud-bdp-interface_cloud-bdp-interface-5b9bbc567f-xkvpj_docker-new40_84ab880d-bc9f-11e8-abe2-fa163e6f3f6b_0",namespace&＃61;"docker-new40",pod_name&＃61;"cloud-bdp-interface-5b9bbc567f-xkvpj"}
 

从返回的数据看&＃xff0c; container_cpu_user_seconds_total 不再区分不同的CPU&＃xff0c;已经针对所有CPU进行了合并&＃xff0c;是个总的user CPU时间。直接用 rate 就可以得到不同容器服务的CPU的user时间。

一些试验

我们用了一个自己开发的测试容器服务 cloud-bdp-interface。虽然虚机节点的CPU是8核&＃xff0c;但我们用k8s限制其使用为2核。我们可以用实验测试一下&＃xff0c;在实际运行时&＃xff0c;这个2核的限制是否有效。具体方法如下&＃xff1a;

登录到该容器服务中&＃xff0c;可参见文章&＃xff1a;https://blog.csdn.net/palet/article/details/82627658

在命令行输入如下命令&＃xff0c;模拟一个无限循环的进程&＃xff0c;把所有能用的CPU占满&＃xff1a;

echo &＃39;while True: pass&＃39;|python &

用top命令&＃xff0c;可以看到CPU占用为99.9%&＃xff0c;可以理解为占用了CPU的1核

进一步加大压力&＃xff0c;同时运行三个无限循环的进程&＃xff1a;

echo &＃39;while True: pass&＃39;|python &
echo &＃39;while True: pass&＃39;|python &
echo &＃39;while True: pass&＃39;|python &

用top命令看CPU占用情况如下&＃xff1a; 

可以看到每个进程占用66.6%,三个进程加起来占用约200%&＃xff0c;应该就是CPU的2核。

进一步查看grafna监控的指标&＃xff0c;metrcs设置是&＃xff1a;

sum(rate(container_cpu_usage_seconds_total{name&＃61;~"k8s_cloud-bdp-interface.*"}[5m]))
rate(container_cpu_user_seconds_total{name&＃61;~"k8s_cloud-bdp-interface.*"}[5m])
rate(container_cpu_system_seconds_total{name&＃61;~"k8s_cloud-bdp-interface.*"}[5m])
rate(container_cpu_cfs_throttled_seconds_total{name&＃61;~"k8s_cloud-bdp-interface.*"}[5m])


 监控结果如下&＃xff1a;

可以看到&＃xff0c;该容器服务的CPU占用&＃xff0c;usage指标和user指标都约等于2.0, 也就是占用了2个CPU核心

小结

一般要对指定的容器服务进行监控&＃xff0c;看一下 container_cpu_usage_seconds_total 指标就可以了。指标的格式如下&＃xff1a;

sum(rate(container_cpu_usage_seconds_total{name&＃61;~"xxxxxxxxxxxxxxx.*"}[5m]))

要深入分析&＃xff0c;可以再单独看 user CPU时间&＃xff0c; system CPU时间等等&＃xff0c;用如下指标格式&＃xff1a;

rate(container_cpu_user_seconds_total{name&＃61;~"xxxxxxxxxxxxxxx.*"}[5m])

rate(container_cpu_system_seconds_total{name&＃61;~"xxxxxxxxxxxxxxx.*"}[5m])

附&＃xff1a;CPU相关指标的原始注释

# HELP container_cpu_usage_seconds_total Cumulative cpu time consumed per cpu in seconds.
# TYPE container_cpu_usage_seconds_total counter

# HELP container_cpu_user_seconds_total Cumulative user cpu time consumed in seconds.
# TYPE container_cpu_user_seconds_total counter

# HELP container_cpu_cfs_periods_total Number of elapsed enforcement period intervals.
# TYPE container_cpu_cfs_periods_total counter

# HELP container_cpu_cfs_throttled_periods_total Number of throttled period intervals.
# TYPE container_cpu_cfs_throttled_periods_total counter

# HELP container_cpu_cfs_throttled_seconds_total Total time duration the container has been throttled.
# TYPE container_cpu_cfs_throttled_seconds_total counter

# HELP container_cpu_load_average_10s Value of container cpu load average over the last 10 seconds.
# TYPE container_cpu_load_average_10s gauge

# HELP container_cpu_system_seconds_total Cumulative system cpu time consumed in seconds.
# TYPE container_cpu_system_seconds_total counter