lokigrafana收集nginx日志LPG（Loki+Promtail+Grafana）日志收集系统实践和踩坑经历

作者：Kris-Guo | 来源：互联网 | 2023-09-06 09:45

本文主要介绍关于elk,全文检索,kubernetes的知识点，对LPG（Loki+Promtail+Grafana）日志收集系统实践和踩坑经历和lokigrafana收集nginx日志有兴趣的朋

本文主要介绍关于elk,全文检索,kubernetes的知识点，对LPG（Loki+Promtail+Grafana）日志收集系统实践和踩坑经历和loki grafana收集nginx日志有兴趣的朋友可以看下由【csdnYF】投稿的技术文章，希望该技术和经验能帮到你解决你所遇的相关技术问题。

loki grafana收集nginx日志

自从买了一套云服务器以后，部署好了kubernetes，也部署了自己写的一套后台接口SHOP，通过Drone+Helm发到自己的kubernetes集群中，因此希望收集服务运行日志供查看。

日志收集系统，一般以ELK架构居多，现在很多也会考虑用 Fluentd 组成EFK。但对于资源有限的集群来说，部署一个ElasticSearch的成本实在太高，幸好现在已经有一套新的低成本开源方案，那就是LPG。也同样能达到日志收集和检索的目的，占用的资源还少。

Loki

Loki是Grafana公司出的一款开源的日志存储和检索系统，对标的是ElasticSearch，但是设计理念完全不同，ElasticSearch核心是倒排索引，而Loki的核心是基于KV标签的索引+原始日志存储。在存储占用上，Loki的占用量天生就比ElasticSearch少，这里我不想具体分析Loki的架构，因为官方文档和一些技术文章都介绍的很详细了，我想从主观上记录下与ElasticSearch使用上的不同点。

Loki 更适合日志
ElasticSearch我们都知道，是一个搜索引擎，可以处理分词、排序、聚合计算等等搜索引擎需要的功能，用于日志的话，更多是在使用它的存储能力和全文检索能力，但实际使用时，不但它提供的排序、聚合等操作我们用不上，还得学习它的检索语法，还得处理好日志字段的索引规则，要优化的点比较多，换句话说，学习成本和维护成本比较高。而我们平常查看日志，无非是希望日志能可靠的存储起来，查询时能根据某些条件进行筛选，就够用了。Loki在设计时也考虑到了这些方面，所以它并不是索引全部的日志记录，而是索引日志的标签，比如说，Node: 10.0.17.1 标签、Service: sk-shop 标签、LogLevel: Info 标签等。可以通过这些标签去缩小日志范围，再通过扫描日志内容的方式grep出需要的日志。听起来好像不靠谱，好比我一个服务每天打印几十G日志，你一条条的筛选内容效率不是O(n)了吗，但实际上，我们日志查询其实只是查某段时间内的日志，实际查询时量没那么大的，而且Loki在筛选是可以并行化筛选，所以速度其实不慢，实测下来并没有什么大的影响。Loki资源占用少
我本地机器是2核4G，上面不止跑了loki，还跑了很多其它应用，查询速度也没受到什么影响，如果换成ElasticSearch，我怀疑可能这配置都运行不起来。Loki和kubernetes结合的比较好
Grafana出的很多开源产品，都借鉴了Prometheus的设计，比如标签，比如Prometheus的查询语言是PromQL，Loki就搞出一个LogQL，比如自动服务发现，天生就支持在kubernetes中自动发现，配置起来比较简单，这点也是ElasticSearch做不到的。 Promtail

Promtail说白了就是个Loki专用的日志收集工具，实际上其它的日志收集工具比如：Filebeat、Fluentd等也可以使用，我觉得哪个用的熟练就用那个，都没用过就用Promtail。

Promtail的官方文档藏在Loki文档里面，而且写的比较乱，实际上它的工作流程就是：从配置文件中读取服务发现配置，然后去抓取对应的服务的日志文件，比如配置了kubernetes_sd_config，部署方式是DaemonSet，那就去节点的/var/log下去抓日志文件，它会保存当前读取的日志文件的offset，所以重启也不用担心会重复抓取，在这个抓的过程中，就可以配置一些标签，方便后续查询。

Promtail抓取到文件后，就可以通过它提供的Pipelines能力过滤日志内容，每条日志都会进入Pipelines进行处理，管道的操作可以分为四种：解析、转换、动作、过滤。如果管道什么都不做，那就会把抓到的日志原样送到Loki中存储。

解析
一般是解析日志内容，获取一些KV值，供后序操作读取和使用。比如通过正则表达式去解析出一些匹配组，或者解析json，转换成KV字段。比如以下日志行，就可以解析出log、stream、time三个Key，给后序操作使用

{"log":"log message\n","stream":"stderr","time":"2019-04-30T02:12:41.8443515Z"}

转换
就是可以改变抓取到的日志行的内容。动作
可以使用前面提取的KV值，比如作为标签写入Loki，进行一些计算之类的。过滤
可以根据LogQL筛选一些日志条目。

实际使用中感觉Promtail能力还是够用的，做好了日志收集器的本职工作，也没有什么七七八八的插件，就是收集、处理、发给Loki。学起来比较简单，只是官方文档写的比较散乱没逻辑。

Grafana

Grafana就不多说了，YYDS属于是。Kibana虽然不论从功能丰富性还是从UI美观度上都比Grafana强些（个人感觉），但Kibana太大而全，学习成本高，里面很多东西比如机器学习、Infrastructure、Uptime那些，都用不上，纯属浪费资源。而且看日志也不是很方便，我记得要看日志上下文还得跳转到其它菜单页中看。
Grafana相比之下就简单多了，但该有的功能还是一个不少的，比如日志检索，上下文查看等，还有些特色功能，总之使用上比较顺手。

踩坑经历

本次踩坑主要是在Promtail的配置上，也是对Kubernetes的日志机制不太熟，比如我kubectl log打出程序日志：

{"level":"info","time":"2022-07-05 17:29:32","caller":"core/opentelemetry.go:106","msg":"core-interceptor","span_id":"d04834f01db9c801","traceId":"856e8ed9af60d9a631d42b856766cfe4","method":"GET","path":"/sk_shop_sk/v1/list","http_code":200,"business_code":0,"cost_seconds":0.009312892}
{"level":"info","time":"2022-07-05 17:29:32","caller":"core/opentelemetry.go:106","msg":"core-interceptor","span_id":"4fb18fcf0e348d06","traceId":"819f8e22f754082e92e966acde6f8a32","method":"GET","path":"/sk_shop_sk/v1/list","http_code":200,"business_code":0,"cost_seconds":0.008773451}
{"level":"info","time":"2022-07-05 17:29:32","caller":"core/opentelemetry.go:106","msg":"core-interceptor","span_id":"1b3f8f03cdaa9cd5","traceId":"301e308eee8c5efd9c14b114177b497f","method":"GET","path":"/sk_shop_sk/v1/list","http_code":200,"business_code":0,"cost_seconds":0.009352069}
{"level":"info","time":"2022-07-05 17:29:32","caller":"core/opentelemetry.go:106","msg":"core-interceptor","span_id":"004fb8a7fc2b8e43","traceId":"dfd90c901fc284b20957ec3960d2efd5","method":"GET","path":"/sk_shop_sk/v1/list","http_code":200,"business_code":0,"cost_seconds":0.009415056}
{"level":"info","time":"2022-07-05 17:29:33","caller":"core/opentelemetry.go:106","msg":"core-interceptor","span_id":"a59e6dc94e0ef1eb","traceId":"df31011a1b22831ce62826eb048dabd9","method":"GET","path":"/sk_shop_sk/v1/list","http_code":200,"business_code":0,"cost_seconds":0.009245755}
{"level":"info","time":"2022-07-05 17:29:33","caller":"core/opentelemetry.go:106","msg":"core-interceptor","span_id":"3463327dd5b8faa9","traceId":"448d237198db62f658c07347f6861431","method":"GET","path":"/sk_shop_sk/v1/list","http_code":200,"business_code":0,"cost_seconds":0.009157465}

程序日志是用zap打出来的json结构化日志，方便解析，我使用以下Promtail配置去处理日志：

server:
  log_level: info
  http_listen_port: 3101
client:
  url: http://loki-0.loki-headless.kube-ops.svc.cluster.local:3100/loki/api/v1/push
positions:
  filename: /run/promtail/positions.yaml
scrape_configs:
  - job_name: kubernetes-pods
    pipeline_stages:
      - match:
          selector: '{namespace="default",pod=~"sk-.+"}'
          stages:
          - json:
              expressions:
                caller: caller
                level: level
                msg: msg
                span_id: span_id
                time: time
          - labels:
              level: null
    kubernetes_sd_configs:
      - role: pod
    relabel_configs:
      ...

可以看到，我用了Pipeline，首先用match操作过滤出服务的pod，再用json操作去解析pod打出来的日志，提取level字段，再用labels操作把level打到日志标签中。

但是这个配置没生效，就很奇怪：

请添加图片描述

抓到Loki中的日志被包上了log、stream、time这样的标签，多方查阅资料才发现，因为我kubernetes底层容器运行时是Docker，而Docker默认的日志格式就是这样的，只是我们使用 kubectl log 命令时，自动帮我们解包了而已。

{"log":"{\"level\":\"info\",\"time\":\"2022-07-11 14:27:33\",\"caller\":\"core/opentelemetry.go:106\",\"msg\":\"core-interceptor\",\"span_id\":\"423d77f877c8aee3\",\"traceId\":\"5d69f66d5a0ffb881f7565e87ab8bd26\",\"method\":\"GET\",\"path\":\"/sk_shop_sk/v1/list\",\"http_code\":200,\"business_code\":0,\"cost_seconds\":0.008391238}\n","stream":"stdout","time":"2022-07-11T06:27:33.649912105Z"}
{"log":"{\"level\":\"info\",\"time\":\"2022-07-11 14:27:33\",\"caller\":\"core/opentelemetry.go:106\",\"msg\":\"core-interceptor\",\"span_id\":\"478ffa75bae4b3da\",\"traceId\":\"e18fa3500faaccc9d643d5b155ed33b7\",\"method\":\"GET\",\"path\":\"/sk_shop_sk/v1/list\",\"http_code\":200,\"business_code\":0,\"cost_seconds\":0.008335854}\n","stream":"stdout","time":"2022-07-11T06:27:33.70734752Z"}
{"log":"{\"level\":\"info\",\"time\":\"2022-07-11 14:27:33\",\"caller\":\"core/opentelemetry.go:106\",\"msg\":\"core-interceptor\",\"span_id\":\"b823e2aafe230bcd\",\"traceId\":\"210bd055cb7a6beb5843f1deadb29d1d\",\"method\":\"GET\",\"path\":\"/sk_shop_sk/v1/list\",\"http_code\":200,\"business_code\":0,\"cost_seconds\":0.019066681}\n","stream":"stdout","time":"2022-07-11T06:27:33.843295157Z"}

所以Promtail的配置文件应该改成如下：

server:
  log_level: info
  http_listen_port: 3101

client:
  url: http://loki-0.loki-headless.kube-ops.svc.cluster.local:3100/loki/api/v1/push
  

positions:
  filename: /run/promtail/positions.yaml

scrape_configs:
  - job_name: kubernetes-pods
    pipeline_stages:
      - docker: {} # 要先用docker 解析 容器日志
      - match:
          selector: '{namespace="default",pod=~"sk-.+"}'
          stages:
          - json:
              expressions:
                caller: caller
                level: level
                msg: msg
                span_id: span_id
                time: time
          - labels:
              level: null
    kubernetes_sd_configs:
      - role: pod
    relabel_configs:
      - source_labels:
          - __meta_kubernetes_pod_controller_name
        regex: ([0-9a-z-.]+?)(-[0-9a-f]{8,10})?
        action: replace
        target_label: __tmp_controller_name
      - source_labels:
          - __meta_kubernetes_pod_label_app_kubernetes_io_name
          - __meta_kubernetes_pod_label_app
          - __tmp_controller_name
          - __meta_kubernetes_pod_name
        regex: ^;*([^;]+)(;.*)?$
        action: replace
        target_label: app
      - source_labels:
          - __meta_kubernetes_pod_label_app_kubernetes_io_component
          - __meta_kubernetes_pod_label_component
        regex: ^;*([^;]+)(;.*)?$
        action: replace
        target_label: component
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_node_name
        target_label: node_name
      - action: replace
        source_labels:
        - __meta_kubernetes_namespace
        target_label: namespace
      - action: replace
        replacement: $1
        separator: /
        source_labels:
        - namespace
        - app
        target_label: job
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_name
        target_label: pod
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_container_name
        target_label: container
      - action: replace
        replacement: /var/log/pods/*$1/*.log
        separator: /
        source_labels:
        - __meta_kubernetes_pod_uid
        - __meta_kubernetes_pod_container_name
        target_label: __path__
      - action: replace
        regex: true/(.*)
        replacement: /var/log/pods/*$1/*.log
        separator: /
        source_labels:
        - __meta_kubernetes_pod_annotationpresent_kubernetes_io_config_hash
        - __meta_kubernetes_pod_annotation_kubernetes_io_config_hash
        - __meta_kubernetes_pod_container_name
        target_label: __path__

我直接贴上完整的配置供参考。这次再访问Grafana，就可以看到正常的json日志了：

请添加图片描述

附录

文章最后，如果大家也想搭建属于自己的kubernetes集群，学习云原生知识的话，建议可以通过这个连接去腾讯云购买云服务器，两百多块钱就能买到2核4G+2核2G 一年，现在搞活动还多送3个月，足够学习了。
毕竟本地搭kubernetes集群只是模拟的，真正在云上搭才会遇到网络问题、存储问题、服务发现等kubernetes常见问题，对提高自己的技能比较有帮助。

本文《LPG（Loki+Promtail+Grafana）日志收集系统实践和踩坑经历》版权归csdnYF所有，引用LPG（Loki+Promtail+Grafana）日志收集系统实践和踩坑经历需遵循CC 4.0 BY-SA版权协议。

推荐阅读

config
RabbitMQ的消息持久化处理

1、RabbitMQ的消息持久化处理，消息的可靠性是RabbitMQ的一大特色，那么RabbitMQ是如何保证消息可靠性的呢——消息持久化。2、auto ... [详细]

蜡笔小新 2023-10-16 20:13:36
config
React项目中运用React技巧解决实际问题的总结

本文总结了在React项目中如何运用React技巧解决一些实际问题，包括取消请求和页面卸载的关联，利用useEffect和AbortController等技术实现请求的取消。文章中的代码是简化后的例子，但思想是相通的。 ... [详细]

蜡笔小新 2023-12-12 11:31:15
config
RabbitMq之发布确认高级部分

RabbitMq之发布确认高级部分1.为什么会需要发布确认高级部分？在生产环境中由于一些不明原因，导致rabbitmq重启，在RabbitMQ重启期间生产者消息投递失败，导致消息丢 ... [详细]

蜡笔小新 2023-10-17 15:16:15
config
zookeeper集群查看状态时报错Error contacting service. It is

最近在搭建mq集群时候需要用到,zookeeper,可是启动的时候显示成功了,查看状态的时候却报错了:碰到这个问题也是研究好好半天才解决,这里就总结出 ... [详细]

蜡笔小新 2023-10-17 11:07:55
java
消息中间件RabbitMQ 高级特性之消费端ACK与重回队列

什么是消费端的ACK和重回队列？消费端的手工ACK和NACK消费端进行消费的时候,如果由于业务异常我们可以进行日志的记录,然后进行补偿如果由于服务器宕机等严重问题 ... [详细]

蜡笔小新 2023-10-16 19:29:57
include
celery 爬虫使用

简介celery是一个基于分布式消息传输的异步任务队列，它专注于实时处理，同时也支持任务调度。它由三部分组成，消息中间件， ... [详细]

蜡笔小新 2023-10-16 09:07:46
int
flask json传输失败_GO小知识之实例演示 json 如何转化为 map 和 struct

简单谈一些JSON数据处理的小知识。近期工作中，因为要把数据库数据实时更新到elasticsearch，在实践过程中遇到了一些JSON数据处理的问题。实 ... [详细]

蜡笔小新 2023-10-13 12:14:39
int
架构师必读：日均500万数据，如何进行数据存储选型？

点击上方关注我，选择“置顶或者星标”作者：麦田里的老农来源：https:zhuanlan.zhihu.comp37964096小编公司有一 ... [详细]

蜡笔小新 2023-10-13 09:35:19
java
redis 端口_使用Prometheus和Grafana构建Redis实时监控平台

Redis作为缓存系统，在整个后端体系中是较为重要的一环，需要实时监控运行状态。现在有各种各样的工具都可以对Redis进行监控，例如&#x ... [详细]

蜡笔小新 2023-10-12 19:49:58
java
大幅|大盘_OPLG：新一代云原生可观测最佳实践

篇首语：本文由编程笔记#小编为大家整理，主要介绍了OPLG：新一代云原生可观测最佳实践相关的知识，希望对你有一定的参考价值。简介： ... [详细]

蜡笔小新 2023-10-12 18:05:29
import
使用正则表达式爬取36Kr网站首页新闻的操作步骤和代码示例

本文介绍了使用正则表达式来爬取36Kr网站首页所有新闻的操作步骤和代码示例。通过访问网站、查找关键词、编写代码等步骤，可以获取到网站首页的新闻数据。代码示例使用Python编写，并使用正则表达式来提取所需的数据。详细的操作步骤和代码示例可以参考本文内容。 ... [详细]

蜡笔小新 2023-12-12 19:16:21
java
Spring常用注解（绝对经典），全靠这份Java知识点PDF大全

本文介绍了Spring常用注解和注入bean的注解，包括@Bean、@Autowired、@Inject等，同时提供了一个Java知识点PDF大全的资源链接。其中详细介绍了ColorFactoryBean的使用，以及@Autowired和@Inject的区别和用法。此外，还提到了@Required属性的配置和使用。 ... [详细]

蜡笔小新 2023-12-12 10:15:07
int
如何查询zone下的表的信息

本文介绍了如何通过TcaplusDB知识库查询zone下的表的信息。包括请求地址、GET请求参数说明、返回参数说明等内容。通过curl方法发起请求，并提供了请求示例。 ... [详细]

蜡笔小新 2023-12-12 08:26:32
java
快速搭建云原生开发环境（k8s+pv+prometheus+grafana）

欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码)：https:github.comzq2599blog_demos本篇概览欣宸正在为接下新的Ja ... [详细]

蜡笔小新 2023-10-13 09:55:22
config
ElasticSearch和hive结合使用

2019独角兽企业重金招聘Python工程师标准首先去这个网站下载elasticsearch-hadoop-2.0.2.jar可以用maven下载 ... [详细]

蜡笔小新 2023-10-12 18:53:45

Kris-Guo

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章