flume系列之：flume_exporter导出flume的jmx指标

已于 2022-06-23 12:58:09 修改
阅读量917 收藏
点赞数
分类专栏： flume 文章标签： flume flume_exporter 导出flume的jmx指标
于 2021-12-21 15:18:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/122062655
版权
flume 专栏收录该内容
65 篇文章 17 订阅 ¥29.90 ¥99.00
订阅专栏
本文介绍了如何通过flume_exporter来导出Flume的JMX指标，包括下载flume_exporter，安装Go环境，编译可执行文件，配置config.yml，启动服务以及查看监控指标的详细步骤。
摘要由CSDN通过智能技术生成

flume系列之：flume_exporter导出flume的jmx指标

flume_exporter下载地址：

一、下载flume_exporter

git clone https://github.com/woozhijun/flume_exporter

二、安装go环境变量

yum install -y go

三、编译生成可执行文件flume_exporter

make build

四、修改config.yml

了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
专栏目录
订阅专栏
flume系列之：监控JMX reporter
zhengzaifeidelushang的博客
12-15 434
flume监控：JMX reporter flume指标监控设置官方文档： https://flume.apache.org/FlumeUserGuide.html#monitoring 通过使用flume-env.sh 在JAVA_OPTS 环境变量中指定JMX 参数来启用JMX 报告，例如 export JAVA_OPTS="$JAVA_OPTS -Xms1024m -Xmx2048m -Djava.security.auth.login.config=/moudle/apache-flume-1
flume_exporter:普罗米修斯水槽出口商
05-27
flume_exporter 普罗米修斯水槽出口商。 要运行它： make build ./flume_exporter [flags] 标志帮助： ./flume_exporter --help 配置：config.yml agents: - name: "flume-agents" enabled: true # multiple urls can be separated by , urls: ["http://localhost:36001/metrics"] 使用Docker 默认 docker run -d -p 9360:9360 zhijunwoo/flume_exporter:latest 指定配置 docker run -d \ -p 9360:9360 \ -v `pwd`/config.yml:/etc/flum
基于jmx的flume的指标采集展示
zxl1033394132的专栏
05-28 582
基于jmx的flume的指标采集展示最近参与一个项目，需求：采集flume指标并通过可视化页面显示。 最近参与一个项目，需求：采集flume指标并通过可视化页面显示。 flume基于java编写，可以通过配置jmx端口，启用jmx端口，通过jmxtrant采集指标，并写入influxdb，进而通过grafana进行展示。所以本文对这一部分做一个简单介绍。 1.启用jmx步骤：在flume的启动脚本中加入如下内容(同理：其他服务开启jmx端口，也可通过如下方式进行配置),然后启动agent: -Dcom.su
prometheus、influxdb2.2安装及flume_export下载编译使用
05-15 1629
prometheus安装 influxdb2.2安装 flume_exporter下载编译安装
使用jmxtrans+influxdb+grafana监控JMX指标
qq_39261894的博客
03-13 1427
参考链接来源：https://www.lagou.com/lgeduarticle/8153.html 使用jmxtrans+influxdb+grafana监控JMX指标环境信息以Flume为例：1. 开启FlumeJMX端口2. 安装InfluxDB3. 安装jmxtrans4. 安装Grafana 环境信息 CentOS 6.8 jdk 1.8.144 以Flume为例： 需要的环境和...
flume系列之：延迟检测指标org_apache_flume_channel_channel1_channelfillpercentage
zhengzaifeidelushang的博客
01-05 1000
flume延迟检测指标：org_apache_flume_channel_channel1_channelfillpercentage 一、flume的jmx指标 # HELP jmx_config_reload_failure_total Number of times configuration have failed to be reloaded. # TYPE jmx_config_reload_failure_total counter jmx_config_reload_failure_tota
flume系列之：Error while trying to hflushOrSync和Lease. Holder: DFSClient_NONMAPREDUCE
最新发布
zhengzaifeidelushang的博客
11-01 1089
flume系列之：Error while trying to hflushOrSync和Lease. Holder: DFSClient_NONMAPREDUCE
Flume之JMX监控三种方式
dgqg1223
07-22 1270
监控作用 在flume运行期间，我们可以通过监控channel当前容量和已使用容量来调整channel是否需要扩容 通过source向channel中put成功了多少event和sink从channel中take成功了多少个event，比较数据是否存在积压做出调整（通过sink组，和batchsize参数可增加sink读取速度） 监控原理 通过Java提供的JMX技术（java monitor extension）即 java监控扩展模块，是J2EE定义的14种技术规范之一。 JMX可以帮助我们监控一个
bitnami-docker-fluentd-exporter:用于Fluentd_exporter的Bitnami Docker映像
04-03
什么是Fluentd Exporter？ 简单服务器，可抓取流利的指标端点并将其导出为Prometheus指标。 TL; DR $ docker run --name fluentd-exporter bitnami/fluentd-exporter:latest 为什么要使用Bitnami Images？ Bitnami密切跟踪上游源代码变化，并使用我们的自动化系统及时发布该图像的新版本。 对于Bitnami映像，将尽快提供最新的错误修复和功能。 Bitnami容器，虚拟机和云映像使用相同的组件和配置方法-可以轻松地根据项目需求在格式之间进行切换。 我们所有的映像都基于是一个基于Debian的极简容器映像，它为您提供了一个小的基本容器映像，并且熟悉领先Linux发行版。 Docker Hub中可用的所有Bitnami映像均已使用签名。 您可以使用DOCKER_CONTENT
Flume集群环境搭建，flume监控
01-13
flume集群环境搭建，详细讲解，图文并茂，包括flume信息监控和众多文章链接
Grafana+Prometheus监控Flume
PengDQ12的博客
10-26 2650
其中-Dflume.monitoring.type=http -Dflume.monitoring.port=36001 就是开启的被监听端口，给flume_exporter监控。修改flume_exporter下的config.yml文件，端口号改成自己设置的，如上36001，可监控多个flume，但也需在prometheus增加对应的配置参数。下载完成后，再次执行go install，如果没有go get输出，就会开始编译了。把结果中含有go get …如果下载过程中出现网络错误，go添加国内镜像源。
Flume监控
qq_27710549的博客
09-11 2968
Flume提供了四种监控方式：JMX Reporting、Ganglia Reporting、JSON Reporting、Custom Reporting，选择最简单的JSON Reporting方式，监控方案是 JSON Reporting + flume_exporter + Prometheus + Grafana。 JSON Reporting请参考官方文档 http://flume.a...
Flume的监控（Monitor)
mnasd的博客
08-22 7053
使用Flume实时收集日志的过程中，尽管有事务机制保证数据不丢失，但仍然需要时刻关注Source、Channel、Sink之间的消息传输是否正常，比如，SouceàChannel传输了多少消息，ChannelàSink又传输了多少，两处的消息量是否偏差过大等等。 Flume为我们提供了Monitor的机制：http://flume.apache.org/FlumeUserGuide.html#m...
使用Prometheus监控Kafka logsize(kafka-logsize-exporter)
Ricky点滴
07-27 1621
kafka-logsize-exporter 项目源码github Installation下载项目并解压Getting Startedpip install -r requirements.txt vim cluster.conf # 集群别名 [kafka1003] # zookeeper地址 zk = 127.0.0.1:2128/kafka1003 # kafka集群，多个节点用逗号'，
Flume监控一个文件实时采集新增的数据输出到控制台
06-13 1731
1、 配置Flume 文件 Agent选型： exec source + memory channel + logger sink vim exec-memory-logger.conf #定义这个agent中各组件的名字 a1.sources = r1 a1.sinks = k1 a1.channels = c1 #描述和配置source组件：r1 a1.sources.r1.type = exec a1.sources.r1.command = tail -f /opt/bigdatas/flume
flume安装与监控部署
开水烫鱼的博客
11-24 607
Flume概述 1)官网地址 http://flume.apache.org/ 2）日志采集工具 Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于 流数据流的简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错 能力。它使用简单的可扩展数据模型，允许在线分析应用程序。 3）为什么需要flume 数据从哪里来？ -》爬虫 -》日志...
kafka集群监控（kafka_exporter&prometheus&Grafana）
热门推荐
qq_34864753的博客
01-13 1万+
为了更直观的展示kafka实时消息生产速率以及某一topic下group_id与当前kafka之间的消息积压情况，采用kafka_exporter，promehues，grafana将相关指标实时展示 1. 下载 kafka_exporter(所在机器需与kafka集群网络相通) wgethttps://github.com/danielqsj/kafka_exporter/release...
JMX exporter采集kafka监控指标
拉丁解牛技术专栏
11-30 8039
配置kafka        JMX PORT,修改bin/kafka-server-start.sh,添加一行export JMX_PORT="9999"，指定9999端口暴露出来供采集。像配置kafka-manager采集，也是要做这个事情的。 下载jmx_exporter       链接 https://github.com/prometheus/jmx_exporter, 将文件...
Apache Flume 1.5.0 教程：安装、配置与实战
"Flume1.5.0入门：安装、部署、及flume的案例" Apache Flume 是一个用于收集、聚合和传输大规模日志数据的分布式系统。它由Cloudera开发，最初被称为FlumeOG，后来为了优化和适应Apache项目的要求，演变为FlumeNG。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值