- 博客(327)
- 资源 (32)
- 收藏
- 关注
RSS订阅原创 【APM】在Kubernetes中，使用Helm安装Promtail 3.0.0
Promtail 是一款由 Grafana Labs 开发的日志收集代理软件，设计用于与 Loki 日志聚合系统紧密协作。Loki 是一个高度可扩展、高可用性且支持多租户的日志管理系统，其设计理念受到了 Prometheus 监控系统的启发，特别注重效率和易用性。不同于传统日志管理系统，Loki 不对日志内容进行全文索引，而是依赖标签（labels）来索引和查询日志，从而实现了资源的有效利用。
2024-09-29 16:07:24
66
原创 【问题记录】promtail报错：caller=client.go:430 component=client host=loki-devtest-gateway.dev.svc.cluster.loc
这种情况如果是在promtail服务报出来的，大概率是因为loki的版本已经升级到了3.0.0版本，根据。，所以我们设置 一个。
2024-09-29 15:50:38
29
原创 【APM】在Kubernetes中，使用Helm安装loki-distributed 3.1.1
to target a specific tenant. For each tenant, you can create a different datasource.”我们需要在配置数据源的时候都要指定租户名称，比如在配置grafana、Alertmanager、promtail等。该内容从grafana官网文档获取：https://grafana.com/docs/loki/v3.1.x/setup/install/helm/install-microservices/
2024-09-29 15:32:12
53
原创 【云原生】使用Harbor代理dockerhub拉取镜像
最近回归使用istio，又遇到了容器镜像从dockerhub拉取不下来的问题，实在是忍无可忍了，准备在香港地域安装Harbor作为代理节点拉取镜像。
2024-07-17 14:35:42
964
原创 【问题记录】连接Seata报错： ERROR 1[TID: N/A][uId:][sId:][tId:][timeoutChecker_1_1]i.s.c.r.netty.NettyClientC
seata启动成功了，注册到nacos也成功了，但是服务还是报： ERROR 1[TID: N/A][uId:][sId:][tId:][timeoutChecker_1_1]i.s.c.r.netty.NettyClientChannelManager 0101 can not connect to 172.20.239.75:8091 cause:can not register RM,err:can not connect to services-server。
2024-07-15 14:22:53
313
原创 【云原生】AWS云平台，ECR推送Helm chart包
背景三：随着兼容 OCI 规范的 Helm Chart 在社区上被更广泛地接受，Helm Chart 能以 Artifact 的形式在 Harbor 中存储和管理，不再依赖 ChartMuseum，Harbor从 v2.6.0 开始弃用 Chartmuseum，并在 v2.8.0 中开始删除。1）容器镜像格式规范 (Image Specification)：规定了容器镜像应该包含什么以及如何构建和分发镜像，以便容器可以在任何遵循 OCI 标准的运行时中运行。所以，建议大家还是尽快使用OCI规范。
2024-07-08 14:12:51
591
原创 【问题记录】Jenkins Pipeline读取变量的各种方法
先使用shell把执行后的结果赋值到一个文本，然后读取文本内容赋值给。另外，如果想输出docker image命令执行结果给。输出docker image镜像标签给。其实就是拆分上面的语句。
2024-07-05 11:12:31
484
原创 【问题记录】AWS EKS集群使用EFS做为StorageClass，minio报(.minio.sys/pool.bin) returned an error (file access denied
基于文章延伸的问题上一篇有写Mysql目录权限问题，现在minio也是相同的问题，mysql修改不了用户所属主，但是minio可以修改。
2024-07-02 16:41:16
397
原创 【问题记录】AWS EKS集群使用EFS做为StorageClass，mysql目录权限问题：chown: changing ownership of ‘/var/lib/mysql/‘: Opera
基于文章延伸的问题。
2024-07-02 15:15:13
246
原创 【问题记录】returned HTTP status 429 Too Many Requests (429): Maximum active stream limit exceeded
ELK（Elasticsearch、Logstash、Kibana）日志分析系统长期以来一直是日志管理和分析领域的主流选择，但随着技术的发展和特定场景的需求变化，一些组织开始考虑迁移到如Loki这样的新型日志系统。Loki是专为云原生和Kubernetes环境设计的，它与Kubernetes的原生集成更好，可以自动发现服务和标签，简化了部署和维护过程。虽然ELK生态成熟且广泛，Loki作为CNCF项目，随着其在云原生领域的普及，生态也在快速增长，提供了更多的工具和集成选项。错误，并且收集日志很慢。
2024-06-27 10:41:49
251
原创 【GitOps】使用Google工具JIB实现本地无需安装容器推送镜像，加速SpringCloud项目开发
Jib 是 Google 开发的一款开源工具，旨在帮助 Java 开发者更高效地将 Java 应用程序构建为 Docker 容器镜像或 OCI（Open Container Initiative）镜像。Jib 以 Maven 和 Gradle 插件的形式存在，因此它可以无缝集成到现有的Java构建流程中，而无需开发者手动编写 Dockerfile 或运行 Docker 守护进程。
2024-06-26 18:04:32
203
原创 【问题记录】Kubernetes搭建Redis7版本6节点集群，出现节点之间集群连接失败问题：10.0.9.18:6379@16379 master,fail?
10.0.2.195 是要把那个节点加入到集群，这里是redis-sts-1的ip，以此类推，把剩余4个节点都加进来即可。你可以使用redis-cli的cluster meet命令来让节点重新加入集群。但是只能适合至少有一个节点时正常的情况下，比如6个节点，有一个时正常的。这里是新节点的IP地址，是节点的端口。各个节点之间相互连接失败。
2024-06-18 13:32:40
345
原创 【APM】在Kubernetes中搭建OpenTelemetry+Loki+Tempo+Grafana链路追踪（实战二，Tempo Service Graph）
一条完整的链路包含trace和span一个trace包含多个span，组合起来一般是时间轴的方式展示，如Jaeger和Tempo等单独看span，会包含多个父子关系，更像一个族谱，每一个span会基于Span A继续传承下去，直到它没有“子嗣”而停止传承| || || |↑↑↑使用OpenTelemetry Agent后，会帮助我们把链路数据转换成otlp协议，一般收集上来的span字段足够我们使用，所以这一块我们不需要额外做啥工作，直接拿来使用即可。
2024-05-28 15:41:54
441
原创 【APM】在Kubernetes中，使用Helm安装Prometheus Server 0.73.2（开启远程写入功能）
负责从各个exporter收集时间序列数据，并存储这些数据以便后续查询和分析。它是整个监控系统的核心部分，负责数据的抓取、存储、查询和报警触发的基础数据处理。: 负责处理由Prometheus Server生成的警报，包括去重、分组、路由警报到正确的接收者，并支持多种通知方式（如邮件、短信、聊天工具等）。它确保警报策略的执行，并且具有高可用性设计。
2024-05-21 15:36:54
724
原创 【APM】在Kubernetes中搭建OpenTelemetry+Loki+Tempo+Grafana链路追踪（实战一，Loki日志中查看链路追踪数据）
这对于那些不能直接控制 JVM 启动参数的应用特别有用，比如通过 JNI (Java Native Interface) 调用 JVM 的应用、脚本中嵌入的 JVM 应用，或者一些服务管理工具自动启动的服务。这为用户提供了一个灵活的架构，可以根据需要选择最适合自己的追踪解决方案，或者根据环境（如开发、测试、生产）的不同配置不同的后端。: OpenTelemetry SDK 提供了丰富的特性，如自动追踪上下文传播、手动追踪跨度的创建与关联、标签和事件的添加等，使得追踪数据更加丰富和有用。
2024-05-13 18:46:12
1655
原创 【APM】在Kubernetes中，使用Helm安装OpenTelemetry 0.97.0（无侵入式）
OpenTelemetry 是一个开源的、全面的可观测性框架，旨在为云原生及传统应用提供标准化的方式来生成、收集、处理和导出遥测数据，包括跟踪（Traces）、度量（Metrics）和日志（Logs）。这个项目由 Cloud Native Computing Foundation (CNCF) 孵化，目标是简化和统一观测性数据的收集与分析，从而提高开发人员在分布式系统中调试和监控应用的能力。
2024-05-13 17:52:55
556
原创 【APM】在Kubernetes中，使用Helm安装tempo-distributed 2.4.1
这是 Grafana Tempo 的核心组件，负责接收、处理和存储追踪数据。它支持从各种追踪源（如 Jaeger、OpenTelemetry 等）接收数据，并将数据高效地存储到后端存储系统中（通常是对象存储服务，如 AWS S3、Google Cloud Storage 或 Azure Blob Storage）。Tempo Server 还提供了查询 API，用于检索存储的追踪数据。: 负责接收追踪数据并对其进行分配，实现负载均衡。它确保高并发写入时的服务稳定性。Ingester。
2024-05-13 16:55:55
805
原创 【APM】在Kubernetes中，使用Helm安装Promtail 2.9.3
Promtail 是一款由 Grafana Labs 开发的日志收集代理软件，设计用于与 Loki 日志聚合系统紧密协作。Loki 是一个高度可扩展、高可用性且支持多租户的日志管理系统，其设计理念受到了 Prometheus 监控系统的启发，特别注重效率和易用性。不同于传统日志管理系统，Loki 不对日志内容进行全文索引，而是依赖标签（labels）来索引和查询日志，从而实现了资源的有效利用。
2024-05-13 14:17:57
432
原创 【APM】在Kubernetes中，使用Helm安装loki-distributed 2.9.6
Grafana Loki 是一个开源的云原生日志聚合和分析系统，由 Grafana Labs 开发并维护。Loki 专注于为大规模的日志处理提供经济高效且易于管理的解决方案，尤其适用于微服务架构以及容器化和分布式环境。综上所述，Grafana Loki 旨在简化日志管理，并通过其创新的设计，为企业提供了在现代云环境中处理日志的一种高效且经济的方式。
2024-05-13 13:52:39
964
原创 【APM】在Kubernetes中，使用Helm安装Grafana 9.5.1
Grafana是一款流行的开源数据可视化和分析平台，它特别擅长处理时序数据，即随时间变化的数据，因此在监控系统性能、应用程序指标、物联网（IoT）设备数据等领域有着广泛的应用。
2024-05-13 13:23:20
650
原创 【DevOps】使用Filebeat收集华为云cce containerd日志
通过 Kubernetes 的 Container Runtime Interface (CRI)，kubelet 可以直接与 containerd 进行通信，无需经过 Docker 的 shim 层，简化了调用链路，降低了潜在的故障点，从而提高系统的稳定性和安全性。总结来说，从 Docker 迁移到 containerd，特别是在 Kubernetes 集群环境下，可以得到更高的性能、更好的资源利用率、更强的稳定性以及更简洁的架构，这些优势对于大规模生产环境尤其重要。如上图，真正存放容器路径的位置是在。
2024-04-01 14:21:15
241
原创 【HPA】华为云CCE根据Prometheus Adapter 自定义custom和external业务指标，实现业务Pod自动扩缩容（更新：2024.4.1）
到目前为止，我们准备好了Exporter、Prometheus、Adapter，接下来是最关键的一步，也是核心步骤，我们把他们串一起从上面原理图分析，可以得到下面的图。
2024-04-01 09:34:01
328
原创 【问题记录】kubernetes hpa数据时有时无
监控数据的采集是Prometheus的核心功能，定期抓取的数据会被存储在本地TSDB（Time Series Database）中，供后续查询、可视化和告警使用。总结来说，这段配置决定了Prometheus服务器每5分钟（evaluation_interval 和 scrape_interval 都为 5m）执行一次规则评估和数据抓取，并在每次数据抓取时最多等待30秒（scrape_timeout 为 30s）获取目标的监控数据。这样配置的话，全局抓取的数据时间间隔都会变，抓紧自定义指标，可使用单独的。
2024-03-26 17:16:38
676
原创 【问题记录】Istio与Prometheus冲突问题，“GET /metrics HTTP/1.1“ 503 UF upstream_reset_before_response_started{rem
使用istio官网提供的安装方式，默认会安装loki、kiali、prometheus、grafana，如果自己再搭建一个prometheus，会出现冲突。此时，istio代理的服务没有出现以上错误请求，具体原因还在查找中。删除了添加这种pod的注释，改为手动添加。
2024-03-26 17:00:48
291
1
原创 【问题记录】自定义Prometheus exporter收集数据，Prometheus显示收集到数据，grafana未显示数据出来
3、自定义指标最小时间是ms级别，所有需配置下Prometheus的采集率为一秒一次（应该配置成毫秒的，目前Prometheus不支持）使用golang编写Prometheus exporter，获取指定API Url返回值中的data值，把它做为自定义指标。在grafana中获取不到Prometheus的Graph界面的值，即根据 PromQL 的查询结果。这个问题其实很简单，默认数据间隔是15s，我们只需要把时间间隔改成1s即可。
2024-03-19 15:03:20
480
原创 【问题记录】zookeeper集群一节点无法启动，报“Unable to load database on disk”
2、删除datalog目录version-2目录。1、删除data目录下的version-2目录。
2024-01-30 15:43:10
83
原创 Kubernetes安装Seata1.8.0（注册到Nacos，连接外置数据库）
Seata 是一款开源的分布式事务解决方案，致力于提供高性能和简单易用的分布式事务服务。Seata 将为用户提供了 AT、TCC、SAGA 和 XA 事务模式，为用户打造一站式的分布式解决方案。seata1.8.0官方介绍。
2024-01-29 16:51:05
577
原创 【APM】Loki简介
Grafana Loki 是一个开源的云原生日志聚合和分析系统，由 Grafana Labs 开发并维护。Loki 专注于为大规模的日志处理提供经济高效且易于管理的解决方案，尤其适用于微服务架构以及容器化和分布式环境。综上所述，Grafana Loki 旨在简化日志管理，并通过其创新的设计，为企业提供了在现代云环境中处理日志的一种高效且经济的方式。
2024-01-12 14:01:14
331
原创 【Istio】安装Istio1.20.1
set values.pilot.env.PILOT_ENABLE_ALPHA_GATEWAY_API=true： Gateway API 配置内部网格（东西）流量，即不仅是 Ingress（南北）流量。更多：https://istio.io/latest/zh/docs/tasks/traffic-management/request-routing/配置组合，它包含了适合测试的一系列功能集。如果您的平台提供了自定义配置组合，比如 Openshift，在下面命令中替换。
2024-01-05 15:47:02
557
原创 【APM】Loki+Alertmanager日志告警
设置Loki的日志告警，我们必须借助其他相关服务，Promtail打标签用于过滤日志，Alertmanager用于告警目前为止，Loki并没有打印日志周围几行日志的能力，我们只能打印第一行日志发送告警，大体思路是先截取自己想要的日志把他们打成不同的标签，Alertmanager告警模板定义标签的值发送出去。
2023-12-29 10:49:22
1168
原创 【APM】Loki日志多行显示
修改完成后，重启Promtail服务，再去Grafana查看日志，已经变成多行显示。文章我们搭建了Alertmanager和Loki，接下来我们来实现日志并行显示。我们是需要修改Promtail服务的配置文件即可。
2023-12-29 10:07:49
1068
原创 【APM】安装Prometheus/Loki+Alertmanager+Grafana并实现指标监控告警和日志监控告警
添加监控规则内容是在Prometheus服务中添加的，使用helm部署的Prometheus添加监控规则很简单，正如上面提到的监控规则配置文件configmap，我们只需要修改该文件即可。这个正则表达式的目的是在一段文本中找到包含 "INFO"、"WARN" 或 "ERROR" 的部分，并将这些部分标记为名为 "level" 的捕获组。第二个规则比较好实现，比较创建一个nginx服务，名称：scpo-nginx，副本数2，然后把服务副本数调成1，看看Prometheus和Alertmanager的变化。
2023-12-29 09:37:36
697
原创 【问题记录】Rancher:Post “https://rancher-webhook.cattle-system.svc:443/v1/webhook/validation/namespaces?
第一个Rancher接管华为云CCE集群后，没有解绑后第二个Rancher接入华为云CCE集群遇到了问题，cattle-system命名空间删除不掉，用edit把命名空间spec清空无效，使用。把8001改成kubectl proxy 得到的接口，我这里是8001。删除annotations的finalizers字段。重新删除cattle-system命名空间。2、把命名空间导成json文件。1、开启proxy到本地。
2023-12-28 15:59:38
679
原创 【云原生】华为云踩坑日志（更新于2023.12.10）
CCE 默认拉取 SWR 镜像仓库走内网，但是 SWR 是没有内网地址的，这是他们在内部实现，用户看不到，所以速度快慢取决于华为云相关处理组件。6、CCE 产品有一些界面上做好的功能，但是实际还未对用户开放。9、华为云产品API文档如果按照文档操作的，报403，401等各种问题，不要再找原因了，是他们的API文档部分更新慢，直接提工单让他们提供下最新的API接口文档。2、CCE 涉及到的产品，有的需要查看产品怎么才能被 CCE 使用，两头都得顾，比如SFS产品，必须先创建终端节点，这个必须手动操作。
2023-12-18 16:05:18
949
原创 【日志】Prometheus/Loki+Alertmanager+Grafana监控告警
参考文章：匹配写法：https://blog.ossq.cn/2674.html。
2023-12-12 15:42:17
425
原创 【DevOps】Jenkins：配置jenkins 流水线/多分支流水线任务构建成功通知企业微信@相关人（二）
实现了企业微信通知，但仅仅是Jenkins构建后通知，如果在K8s侧配置了就绪检测和滚动更新，那构建完成并不能代表服务已经发布完成，本篇文章我们就来解决这个问题。以上，输入命名空间和deployment名称，查询该服务不可用的副本数，如果不等于0，将每3秒循环一次查询，并返回。在Jenkinsfile流水线中，新增一个stage，将要发布更新的服务变量。最后，这一步将一直检测服务是否更新完成，直到不可用副本数为0为止。，如果等于0，将终止循环，并返回。接收传参，即之后我们可以使用。和所在的命名空间变量。
2023-12-04 14:31:17
548
表白网页，一定要看下面描述的文档，有制作好的容器镜像，可以直接使用
2023-03-10
表白网页，使用前一定要看下描述里的文档文档哈，感谢大佬支持，专栏19元
2023-03-10
表白网站，使用前请看下描述中的博客啊
2023-03-10
devops演示文件，相关博客：https://blog.csdn.net/zhanremo3062/article/detai
2022-12-04
sonarqube7.9中文插件包 sonar-l10n-zh-plugin-1.26.jar
2022-07-09
vfstp-web相关包
2022-02-24
基于golang开发的vsftp-web服务
2022-02-24
生成阿里云ecs主机监控报表go语言源码
2022-01-29
posman9.6.1中文包.zip
2021-12-30
vsftp2.0.tar
2021-05-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人