快速构建业务监控体系，观grafana监控的艺术

        
        <dependency>
            <groupId>io.dropwizard.metricsgroupId>
            <artifactId>metrics-coreartifactId>
            <version>4.0.0version>
        dependency>
        <dependency>
            <groupId>io.dropwizard.metricsgroupId>
            <artifactId>metrics-jmxartifactId>
            <version>4.0.0version>
        dependency>

import com.codahale.metrics.Meter;
import com.codahale.metrics.MetricRegistry;
import com.codahale.metrics.jmx.JmxReporter;
import org.springframework.stereotype.Component;

/**
 * 系统指标管理管理器实现类
 *
 */
@Component
public class SystemMetricsManagerImpl implements SystemMetricsManager {

    private static final MetricRegistry metricsCOntainer= new MetricRegistry();

    static {
        JmxReporter jmxReporter = JmxReporter.forRegistry(metricsContainer).build();
        jmxReporter.start();
    }

    @Override
    public Meter registerAndGetMetricMeter(String meterName) {
        return metricsContainer.meter(meterName);
    }
}

    // 在必要的地方，进行集中初始化
    @Override
    public void afterPropertiesSet() throws Exception {
        consumeCounterHolder = new ConsumeCounterHolder();
        consumeCounterHolder.initCounter();
    }

    /**
     * 计数器容器实例
     */
    private ConsumeCounterHolder consumeCounterHolder;

    /**
     * 消费计数器容器，作为内部封装，如觉得不爽，也可以抽离为独立对象隔离
     */
    class ConsumeCounterHolder {

        /**
         * 所有消费计数器
         */
        private Meter totalConsumeCounter;

        /**
         * 被抛弃的消费计数器
         */
        private Meter msgDiscardConsumeCounter;

        /**
         * 系统异常消费计数器
         */
        private Meter systemExceptionConsumeCounter;

        /**
         * 业务消费失败，回滚计数器 （一般不会存在值）
         */
        private Meter processFailedConsumeCounter;

        /**
         * 停止消费计数器
         */
        private Meter listenerStoppedConsumeCounter;

        /**
         * 未知类型消费数计数器
         */
        private Meter unknownTypeConsumeCounter;

        /**
         * 初始化计数器
         */
        public void initCounter() {
            totalConsumeCounter = systemMetricsManager.registerAndGetMetricMeter(
                    SystemMetricsConstants.MqConsumeCounter.TOTAL_COUNT_METRIC_NAME);
            msgDiscardConsumeCounter = systemMetricsManager.registerAndGetMetricMeter(
                    SystemMetricsConstants.MqConsumeCounter.DISCARD_COUNT_METRIC_NAME);
            systemExceptionConsumeCounter = systemMetricsManager.registerAndGetMetricMeter(
                    SystemMetricsConstants.MqConsumeCounter.SYSTEM_EXCEPTION_COUNT_METRIC_NAME);
            processFailedConsumeCounter = systemMetricsManager.registerAndGetMetricMeter(
                    SystemMetricsConstants.MqConsumeCounter.PROCESS_FAILED_COUNT_METRIC_NAME);
            listenerStoppedConsumeCounter = systemMetricsManager.registerAndGetMetricMeter(
                    SystemMetricsConstants.MqConsumeCounter.LISTENER_STOPPED_COUNT_METRIC_NAME);
            unknownTypeConsumeCounter = systemMetricsManager.registerAndGetMetricMeter(
                    SystemMetricsConstants.MqConsumeCounter.UNKNOWN_TYPE_COUNT_METRIC_NAME);
        }

        /**
         * 增加消费计数
         */
        private void incTotalConsumeCounter() {
            totalConsumeCounter.mark();
        }
        public void incMsgDiscardConsumeCounter() {
            msgDiscardConsumeCounter.mark();
        }
        public void incSystemExceptionConsumeCounter() {
            systemExceptionConsumeCounter.mark();
        }
        public void incProcessFailedConsumeCounter() {
            processFailedConsumeCounter.mark();
        }
        public void incListenerStoppedConsumeCounter() {
            listenerStoppedConsumeCounter.mark();
        }
        public void incUnknownTypeConsumeCounter() {
            unknownTypeConsumeCounter.mark();
        }
    }

    /**
     * 业务方法中，调用埋点
     *
     */
    public void doSth() {
        // 添加各种埋点
        consumeCounterHolder.incTotalConsumeCounter();
    }

# vim config.yaml
---
rules:
- pattern: ".*"

    java -javaagent:./jmx_prometheus_javaagent-0.11.0.jar=9088:config.yaml -jar yourJar.jar

# 1. 直接在文件末尾添加job即可, 此处我们只考虑使用 加载文件 的方式，进行配置，其他配置方式请参考官网
  - job_name: 'jmx'

    file_sd_configs:
    - files:
      - conf.d/test.json

# 2. 在 conf.d/test.json 中，添加相应的客户端机器ip,可以添加其他属性，以便在 grafana上进行友好展示
[
    {
        "targets": ["10.1.1.1:9088"]
    },{
        "targets": ["10.1.1.2:9088"]
    },{
        "targets": ["10.1.1.3:9088"]
    }
]

    kill -9 xxx
    ./prometheus --config.file=prometheus.yml --web.enable-admin-api

# case1. 代码中的埋点为一个递增的值，我想知道每段时间的增长趋势是怎么样的？如: 1分钟 
    increase(metrics_test_mq_consume_total_Count[1m])
# case2. 在集群环境中，以上统计将是所有机器的总和，我想查看单个机器的增长趋势？
    increase(metrics_test_mq_consume_total_Count{instance=~"$instance_cust"}[1m])    # 其中 instance_cust 是定义在监控大盘上的自定义变量，其作用是 当前监控的实例的标识, 稍后我们看下实例
# case3. 我想知道下当前机器的cpu负载
    avg_over_time(java_lang_OperatingSystem_SystemCpuLoad{instance=~"$instance_cust"}[1m]) * 100 # case4. 我想查看当前机器的物理内存情况
    java_lang_OperatingSystem_FreePhysicalMemorySize{instance=~"$instance_cust"}
    java_lang_OperatingSystem_TotalPhysicalMemorySize{instance=~"$instance_cust"}
# case5. 我想查看jvm的内存情况 
    java_lang_Memory_HeapMemoryUsage_max{instance=~"$instance_cust"}
    java_lang_Memory_HeapMemoryUsage_used{instance=~"$instance_cust"}
    
 # 附: 添加大盘 通用变量
    label_values(up{job='jmx'}, instance) 将会查询符合过滤条件的标签