flume系列之：flume_exporter导出flume的jmx指标

已于 2022-06-23 12:58:09 修改
阅读量945 收藏
点赞数
分类专栏： flume 文章标签： flume flume_exporter 导出flume的jmx指标
于 2021-12-21 15:18:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/122062655
版权
flume 专栏收录该内容
70 篇文章 20 订阅 ¥29.90 ¥99.00
订阅专栏
本文介绍了如何通过flume_exporter来导出Flume的JMX指标，包括下载flume_exporter，安装Go环境，编译可执行文件，配置config.yml，启动服务以及查看监控指标的详细步骤。
摘要由CSDN通过智能技术生成

flume系列之：flume_exporter导出flume的jmx指标

flume_exporter下载地址：

一、下载flume_exporter

git clone https://github.com/woozhijun/flume_exporter

二、安装go环境变量

yum install -y go

三、编译生成可执行文件flume_exporter

make build

四、修改config.yml

了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
专栏目录
订阅专栏
flume系列之：监控JMX reporter
zhengzaifeidelushang的博客
12-15 459
flume监控：JMX reporter flume指标监控设置官方文档： https://flume.apache.org/FlumeUserGuide.html#monitoring 通过使用flume-env.sh 在JAVA_OPTS 环境变量中指定JMX 参数来启用JMX 报告，例如 export JAVA_OPTS="$JAVA_OPTS -Xms1024m -Xmx2048m -Djava.security.auth.login.config=/moudle/apache-flume-1
flume系列之：为flume agent组增加新的节点，提高flume agent组消费能力
zhengzaifeidelushang的博客
03-06 410
【代码】flume系列之：为flume agent组增加新的节点，提高flume agent组消费能力。
flume_exporter:普罗米修斯水槽出口商
05-27
flume_exporter 普罗米修斯水槽出口商。 要运行它： make build ./flume_exporter [flags] 标志帮助： ./flume_exporter --help 配置：config.yml agents: - name: "flume-agents" enabled: true # multiple urls can be separated by , urls: ["http://localhost:36001/metrics"] 使用Docker 默认 docker run -d -p 9360:9360 zhijunwoo/flume_exporter:latest 指定配置 docker run -d \ -p 9360:9360 \ -v `pwd`/config.yml:/etc/flum
基于jmx的flume的指标采集展示
zxl1033394132的专栏
05-28 606
基于jmx的flume的指标采集展示最近参与一个项目，需求：采集flume指标并通过可视化页面显示。 最近参与一个项目，需求：采集flume指标并通过可视化页面显示。 flume基于java编写，可以通过配置jmx端口，启用jmx端口，通过jmxtrant采集指标，并写入influxdb，进而通过grafana进行展示。所以本文对这一部分做一个简单介绍。 1.启用jmx步骤：在flume的启动脚本中加入如下内容(同理：其他服务开启jmx端口，也可通过如下方式进行配置),然后启动agent: -Dcom.su
prometheus、influxdb2.2安装及flume_export下载编译使用
05-15 1666
prometheus安装 influxdb2.2安装 flume_exporter下载编译安装
使用jmxtrans+influxdb+grafana监控JMX指标
qq_39261894的博客
03-13 1455
参考链接来源：https://www.lagou.com/lgeduarticle/8153.html 使用jmxtrans+influxdb+grafana监控JMX指标环境信息以Flume为例：1. 开启FlumeJMX端口2. 安装InfluxDB3. 安装jmxtrans4. 安装Grafana 环境信息 CentOS 6.8 jdk 1.8.144 以Flume为例： 需要的环境和...
flume系列之：生产集群env.sh参数设置
zhengzaifeidelushang的博客
12-14 564
flume生产集群env.sh参数设置 设置java环境变量 设置hadoop环境变量 设置flume的jmx exporter #设置java环境变量 export JAVA_HOME=/moudle/java/jdk1.8.0 #设置hadoop环境变量 #设置flume jmx 参数 # Give Flume more memory and pre-allocate, enable remote monitoring via JMX # export JAVA_OPTS="-Xms100m -
Flume监控
qq_27710549的博客
09-11 3003
Flume提供了四种监控方式：JMX Reporting、Ganglia Reporting、JSON Reporting、Custom Reporting，选择最简单的JSON Reporting方式，监控方案是 JSON Reporting + flume_exporter + Prometheus + Grafana。 JSON Reporting请参考官方文档 http://flume.a...
Flume与Kafka集成实践：实时数据处理架构构建秘籍
在现代数据处理架构中，将Flume与Kafka集成是一个常见的实践，这一集成方式被广泛应用于大数据系统的实时数据传输。Flume，作为Apache基金会的一个分布式、可靠且可用的系统，专门用于高效地收集、聚合和移动大量...
Flume之JMX监控三种方式
dgqg1223
07-22 1297
监控作用 在flume运行期间，我们可以通过监控channel当前容量和已使用容量来调整channel是否需要扩容 通过source向channel中put成功了多少event和sink从channel中take成功了多少个event，比较数据是否存在积压做出调整（通过sink组，和batchsize参数可增加sink读取速度） 监控原理 通过Java提供的JMX技术（java monitor extension）即 java监控扩展模块，是J2EE定义的14种技术规范之一。 JMX可以帮助我们监控一个
bitnami-docker-fluentd-exporter:用于Fluentd_exporter的Bitnami Docker映像
04-03
什么是Fluentd Exporter？ 简单服务器，可抓取流利的指标端点并将其导出为Prometheus指标。 TL; DR $ docker run --name fluentd-exporter bitnami/fluentd-exporter:latest 为什么要使用Bitnami Images？ Bitnami密切跟踪上游源代码变化，并使用我们的自动化系统及时发布该图像的新版本。 对于Bitnami映像，将尽快提供最新的错误修复和功能。 Bitnami容器，虚拟机和云映像使用相同的组件和配置方法-可以轻松地根据项目需求在格式之间进行切换。 我们所有的映像都基于是一个基于Debian的极简容器映像，它为您提供了一个小的基本容器映像，并且熟悉领先Linux发行版。 Docker Hub中可用的所有Bitnami映像均已使用签名。 您可以使用DOCKER_CONTENT
Flume集群环境搭建，flume监控
01-13
flume集群环境搭建，详细讲解，图文并茂，包括flume信息监控和众多文章链接
Grafana+Prometheus监控Flume
PengDQ12的博客
10-26 2736
其中-Dflume.monitoring.type=http -Dflume.monitoring.port=36001 就是开启的被监听端口，给flume_exporter监控。修改flume_exporter下的config.yml文件，端口号改成自己设置的，如上36001，可监控多个flume，但也需在prometheus增加对应的配置参数。下载完成后，再次执行go install，如果没有go get输出，就会开始编译了。把结果中含有go get …如果下载过程中出现网络错误，go添加国内镜像源。
flume监控
weixin_33853794的博客
08-12 100
Flume本身提供了http, ganglia的监控服务，而我们目前主要使用zabbix做监控。因此，我们为Flume添加了zabbix监控模块，和sa的监控服务无缝融合。 另一方面，净化Flume的metrics。只将我们需要的metrics发送给zabbix，避免 zabbix server造成压力。目前我们最为关心的是Flume能否及时把应用端发送过来的日志写到Hdfs上， 对应关注的me...
使用Prometheus监控Kafka logsize(kafka-logsize-exporter)
Ricky点滴
07-27 1637
kafka-logsize-exporter 项目源码github Installation下载项目并解压Getting Startedpip install -r requirements.txt vim cluster.conf # 集群别名 [kafka1003] # zookeeper地址 zk = 127.0.0.1:2128/kafka1003 # kafka集群，多个节点用逗号'，
Flume监控一个文件实时采集新增的数据输出到控制台
06-13 1773
1、 配置Flume 文件 Agent选型： exec source + memory channel + logger sink vim exec-memory-logger.conf #定义这个agent中各组件的名字 a1.sources = r1 a1.sinks = k1 a1.channels = c1 #描述和配置source组件：r1 a1.sources.r1.type = exec a1.sources.r1.command = tail -f /opt/bigdatas/flume
flume安装与监控部署
开水烫鱼的博客
11-24 622
Flume概述 1)官网地址 http://flume.apache.org/ 2）日志采集工具 Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于 流数据流的简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错 能力。它使用简单的可扩展数据模型，允许在线分析应用程序。 3）为什么需要flume 数据从哪里来？ -》爬虫 -》日志...
kafka集群监控（kafka_exporter&prometheus&Grafana）
热门推荐
qq_34864753的博客
01-13 1万+
为了更直观的展示kafka实时消息生产速率以及某一topic下group_id与当前kafka之间的消息积压情况，采用kafka_exporter，promehues，grafana将相关指标实时展示 1. 下载 kafka_exporter(所在机器需与kafka集群网络相通) wgethttps://github.com/danielqsj/kafka_exporter/release...
flume系列之：批量并行启动、停止、重启flume agent组
最新发布
zhengzaifeidelushang的博客
08-30 6143
【代码】flume系列之：批量并行启动、停止、重启flume agent组。
Apache Flume 1.5.0 教程：安装、配置与实战
"Flume1.5.0入门：安装、部署、及flume的案例" Apache Flume 是一个用于收集、聚合和传输大规模日志数据的分布式系统。它由Cloudera开发，最初被称为FlumeOG，后来为了优化和适应Apache项目的要求，演变为FlumeNG。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值