CN_Eden

ELK（Elasticsearch、Logstash、Kibana）日志分析系统长期以来一直是日志管理和分析领域的主流选择，但随着技术的发展和特定场景的需求变化，一些组织开始考虑迁移到如Loki这样的新型日志系统。Loki是专为云原生和Kubernetes环境设计的，它与Kubernetes的原生集成更好，可以自动发现服务和标签，简化了部署和维护过程。虽然ELK生态成熟且广泛，Loki作为CNCF项目，随着其在云原生领域的普及，生态也在快速增长，提供了更多的工具和集成选项。错误，并且收集日志很慢。

一条完整的链路包含trace和span一个trace包含多个span，组合起来一般是时间轴的方式展示，如Jaeger和Tempo等单独看span，会包含多个父子关系，更像一个族谱，每一个span会基于Span A继续传承下去，直到它没有“子嗣”而停止传承| || || |↑↑↑使用OpenTelemetry Agent后，会帮助我们把链路数据转换成otlp协议，一般收集上来的span字段足够我们使用，所以这一块我们不需要额外做啥工作，直接拿来使用即可。

这对于那些不能直接控制 JVM 启动参数的应用特别有用，比如通过 JNI (Java Native Interface) 调用 JVM 的应用、脚本中嵌入的 JVM 应用，或者一些服务管理工具自动启动的服务。这为用户提供了一个灵活的架构，可以根据需要选择最适合自己的追踪解决方案，或者根据环境（如开发、测试、生产）的不同配置不同的后端。: OpenTelemetry SDK 提供了丰富的特性，如自动追踪上下文传播、手动追踪跨度的创建与关联、标签和事件的添加等，使得追踪数据更加丰富和有用。

添加监控规则内容是在Prometheus服务中添加的，使用helm部署的Prometheus添加监控规则很简单，正如上面提到的监控规则配置文件configmap，我们只需要修改该文件即可。这个正则表达式的目的是在一段文本中找到包含 "INFO"、"WARN" 或 "ERROR" 的部分，并将这些部分标记为名为 "level" 的捕获组。第二个规则比较好实现，比较创建一个nginx服务，名称：scpo-nginx，副本数2，然后把服务副本数调成1，看看Prometheus和Alertmanager的变化。

设置Loki的日志告警，我们必须借助其他相关服务，Promtail打标签用于过滤日志，Alertmanager用于告警目前为止，Loki并没有打印日志周围几行日志的能力，我们只能打印第一行日志发送告警，大体思路是先截取自己想要的日志把他们打成不同的标签，Alertmanager告警模板定义标签的值发送出去。

修改完成后，重启Promtail服务，再去Grafana查看日志，已经变成多行显示。文章我们搭建了Alertmanager和Loki，接下来我们来实现日志并行显示。我们是需要修改Promtail服务的配置文件即可。

在前面的文章我们实现了Loki日志告警，接下来新增一种告警媒介：微软Teams。

自定义显示内容

OpenTelemetry 是一个开源的、全面的可观测性框架，旨在为云原生及传统应用提供标准化的方式来生成、收集、处理和导出遥测数据，包括跟踪（Traces）、度量（Metrics）和日志（Logs）。这个项目由 Cloud Native Computing Foundation (CNCF) 孵化，目标是简化和统一观测性数据的收集与分析，从而提高开发人员在分布式系统中调试和监控应用的能力。

这是 Grafana Tempo 的核心组件，负责接收、处理和存储追踪数据。它支持从各种追踪源（如 Jaeger、OpenTelemetry 等）接收数据，并将数据高效地存储到后端存储系统中（通常是对象存储服务，如 AWS S3、Google Cloud Storage 或 Azure Blob Storage）。Tempo Server 还提供了查询 API，用于检索存储的追踪数据。: 负责接收追踪数据并对其进行分配，实现负载均衡。它确保高并发写入时的服务稳定性。Ingester。

Promtail 是一款由 Grafana Labs 开发的日志收集代理软件，设计用于与 Loki 日志聚合系统紧密协作。Loki 是一个高度可扩展、高可用性且支持多租户的日志管理系统，其设计理念受到了 Prometheus 监控系统的启发，特别注重效率和易用性。不同于传统日志管理系统，Loki 不对日志内容进行全文索引，而是依赖标签（labels）来索引和查询日志，从而实现了资源的有效利用。

Grafana Loki 是一个开源的云原生日志聚合和分析系统，由 Grafana Labs 开发并维护。Loki 专注于为大规模的日志处理提供经济高效且易于管理的解决方案，尤其适用于微服务架构以及容器化和分布式环境。综上所述，Grafana Loki 旨在简化日志管理，并通过其创新的设计，为企业提供了在现代云环境中处理日志的一种高效且经济的方式。

Grafana是一款流行的开源数据可视化和分析平台，它特别擅长处理时序数据，即随时间变化的数据，因此在监控系统性能、应用程序指标、物联网（IoT）设备数据等领域有着广泛的应用。

负责从各个exporter收集时间序列数据，并存储这些数据以便后续查询和分析。它是整个监控系统的核心部分，负责数据的抓取、存储、查询和报警触发的基础数据处理。: 负责处理由Prometheus Server生成的警报，包括去重、分组、路由警报到正确的接收者，并支持多种通知方式（如邮件、短信、聊天工具等）。它确保警报策略的执行，并且具有高可用性设计。

Loki是一个水平可扩展，高可用性，多租户的日志聚合系统，受到Prometheus的启发。它的设计非常经济高效且易于操作，因为它不会为日志内容编制索引，而是为每个日志流编制一组标签。官方介绍说到：Like Prometheus, but for logs.不对日志进行全文索引。通过存储压缩的非结构化日志和仅索引元数据，Loki操作更简单，运行更便宜。索引和组使用与Prometheus已使用的相同标签记录流，使您可以使用与Prometheus已使用的相同标签在指标和日志之间无缝切换。

Grafana Loki 是一个开源的云原生日志聚合和分析系统，由 Grafana Labs 开发并维护。Loki 专注于为大规模的日志处理提供经济高效且易于管理的解决方案，尤其适用于微服务架构以及容器化和分布式环境。综上所述，Grafana Loki 旨在简化日志管理，并通过其创新的设计，为企业提供了在现代云环境中处理日志的一种高效且经济的方式。