flume系列之：监控Systemctl托管的flume agent组

已于 2024-09-30 10:57:27 修改
阅读量2.1k 收藏 1
点赞数 1
分类专栏： flume 文章标签： flume系列 监控Systemctl托管 flume agent组
于 2023-08-10 23:21:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/132220568
版权
flume 专栏收录该内容
70 篇文章 20 订阅 ¥29.90 ¥99.00
订阅专栏
本文介绍如何监控由Systemctl托管的Flume Agent组，确保所有组都处于运行状态。当发现Agent未运行时，系统将触发告警，可能包括飞书告警信息或自动拉起服务。内容涉及需求背景、相关技术博客、远程登录Flume机器以及使用Python实现飞书告警。
摘要由CSDN通过智能技术生成

flume系列之：监控Systemctl托管的flume agent组

一、需求背景

  • flume接kafka集群，一个kafka集群对应一个flume agent组，会把一组flume agent用systemctl托管
  • 每接一个kafka集群会自动化部署一组flume agent
  • 现在对每个flume agent组设置监控，确保所有的flume agent组都处于运行状态
  • 不在运行中的flume agent组发出告警信息或者自动拉起服务

二、相关技术博客

三、远程登陆flume机器

相关技术博客：

了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
专栏目录
订阅专栏
flume系列之：Centos7服务器查看systemctl托管的flume名称
zhengzaifeidelushang的博客
07-22 623
flume系列之Centos7服务器查看systemctl托管的flume名称。
flume系列之：为flume agent组增加新的节点，提高flume agent组消费能力
zhengzaifeidelushang的博客
03-06 410
【代码】flume系列之：为flume agent组增加新的节点，提高flume agent组消费能力。
systemctl flume
weixin_44772715的博客
06-06 596
/usr/lib/systemd/system/flume.service #[unit]配置了服务的描述，规定了在network启动之后执行。 #[service]配置服务的pid，服务的启动，停止，重启。 #[install]配置了使用用户。 [Unit] Description=Flume After=syslog.target network.target remote-fs.target...
supervisor管理后台进程之flume
偏执狂才能生存！热忱比专业知识更重要.........
07-14 3132
supervisor管理后台进程之flume
一、Flume 概述及安装
嘻哈吼嘿呵的博客
10-03 201
一、概念 Flume 是 Cloudera 提供的一个高可用的， 高可靠的， 分布式的海量日志采集、 聚合和传输的系统。 Flume 基于流式架构， 灵活简单。 二、Flume 组成架构 1、Flume 架构中的组件 （1）Agent Agent 是一个 JVM 进程， 它以事件的形式将数据从源头送至目的， 是 Flume 数据传输的基本单元。 Agent 主要有 3 个部...
flume系列之：监控zookeeper的flume配置写入节点，新增和删除flume agent节点，通过ansible自动部署和卸载flume agent
zhengzaifeidelushang的博客
08-08 654
flume系列之：监控zookeeper的flume配置写入节点，新增和删除flume agent节点，通过ansible自动部署和卸载flume agent
flume系列之：记录一次flume agent进程被异常oom kill -9的原因定位
最新发布
zhengzaifeidelushang的博客
09-08 398
具体来说，systemd-cgls memory命令将显示内存控制组的层次结构，以及每个控制组中正在运行的进程和服务。进一步定位/mde，定位到oom是因为配置Memory cgroup stats for /mde 的cgroup导致的，mde是微软的安全监控软件。至此，定位到了问题，当flume使用的内存超过4g，mde控制组就会把flume agent的进程以kill -9 方式杀死。该命令用于显示系统上所有正在运行的进程和服务的控制组（cgroup）层次结构，以及它们在内存控制组中的位置。
flume系列之：运维flume常用命令汇总
zhengzaifeidelushang的博客
08-08 1070
flume系列之：运维flume常用命令汇总
Flume系列之：使用Zulu OpenJDK替换Oracle JDK的步骤
zhengzaifeidelushang的博客
03-26 459
Flume系列之：使用Zulu OpenJDK替换Oracle JDK的步骤。
flume avro java_flume之Avro Source和Avro Sink
weixin_34388311的博客
02-16 822
一、Avro Souce介绍Flume主要的RPC Source是Avro SourceAvro Source被设计为高扩展的RPC服务器端，能从其他的Flume Agent的Avro Sink或者使用Flume的SDK发送数据的客户端应用，接受数据到一个Flume Agent中。Avro Source的可扩展性结合Channel担当了缓冲器的角色，使得Flume Agent能够处理重要的负载峰值...
flume安装与配置
热门推荐
越开源越幸运
02-04 2万+
目录 Flume工作原理 flume安装 下载解压 配置环境变量 配置flume-env.sh文件 版本验证 Flume部署示例 Avro Spool Exec 后台运行flume MongoDB写入 Windows配置flume 配置flume环境变量 两个flume做集群 监控文件 flume centos：https://blog.csdn.net/qq_...
【Flume总结】Flume 数据流监控
克里斯的博客
01-07 1439
组件：Ganglia Ganglia 由 gmond、gmetad 和 gweb 三部分组成。 gmond（Ganglia Monitoring Daemon）是一种轻量级服务，安装在每台需要收集指标数 据的节点主机上。使用 gmond，你可以很容易收集很多系统指标数据，如 CPU、内存、磁盘、 网络和活跃进程的数据等。 gmetad（Ganglia Meta Daemon）整合所有信息，并将其以 RRD 格式存储至磁盘的服务。 gweb（Ganglia Web）Gangl
大数据爬坑行（二）安装flume（单机模式）
u012260861的博客
02-09 397
根据实际应用，我们管理的设备上的安装有运行检测的智能传感器，会将设备运行的状态信息以及环境信息传到应用服务器，应用服务器会将这些信息保存为运行日志。由于我们需要管理的设备数量非常多，超过50万台，因此这种日志信息的量非常大。因此我们需要通过flume监控应用中运行日志的文件夹，上传到hdfs（以后实时应用还需要上传到kafka）。我们采用的flume版本是1.6。 首先建立单节点flume作为测...
Centos 7 | Flume 安装与初步使用 | telnet
我是一块小石头
05-18 807
环境 产品 版本 Centos 7 3.10.0-1062.9.1.el7.x86_64 flume apache-flume-1.9.0-bin 安装与配置 下载地址 清华镜像 https://mirrors.tuna.tsinghua.edu.cn/apache/flume/ 解压 tar -zxvf apache-flume-1.9.0-bin.tar.gz 创建软链接 ln -s apache-flume-1.8.0-bin/ flume 配置环境变量 vi ~/.b
Flume Channel原理与代码实例讲解
AI天才研究院
06-19 818
Flume Channel原理与代码实例讲解 1. 背景介绍 1.1 大数据实时采集的重要性 在当今大数据时代,数据的实时采集和处理变得越来越重要。企业需要及时获取和分析海量的数据,以便做出正确的决策。然而,传统的数据采
SparkStreaming整合Flume的两种方式
zhaoguowei的博客
11-26 831
Flume整合SparkStream两种方式 官网http://spark.apache.org/docs/latest/streaming-flume-integration.html Apache Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。在这里，我们说明如何配置Flume和Spark Streaming以从Flume接收数据。有两种方法。 方法一：基于...
大数据之路——flume（1.9.0官网学习）
wy888882的博客
04-22 898
Flume简介 Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。2011 年 10 月 22 号，cloudera 完成了 Flume-728，对 Flume 进行了里程碑式的改动：重构核心组件、核心配置以及代码架构，重构后的版本统称为 Flume NG（next generation）；改动的另一原因是将 Flume 纳...
【Spark Streaming】日志收集框架Flume的学习
我就是我的博客
01-17 503
Spark版本升级 日志收集框架Flume 概览 Apache Flume是一个分布式，可靠且可用的系统，用于有效地收集，聚合大量日志数据并将其从许多不同的源移动到集中式数据存储中。Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的，因此Flume可用于传输大量事件数据，包括但不限于网络流量数据，社交媒体生成的数据，电子邮件消息以及几乎所有可能的数据源。 数据流模型 Flum...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值