flume系列之：生产集群env.sh参数设置

最新推荐文章于 2023-04-03 10:50:04 发布
最新推荐文章于 2023-04-03 10:50:04 发布
阅读量529 收藏
点赞数
分类专栏： 大数据 flume 文章标签： flume apache java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/121928809
版权
大数据 同时被 2 个专栏收录
527 篇文章 524 订阅 ¥49.90 ¥99.00
订阅专栏
flume
57 篇文章 15 订阅 ¥29.90 ¥99.00
订阅专栏

flume系列之：生产集群env.sh参数设置

  • 设置java环境变量
  • 设置hadoop环境变量
  • 设置flume的jmx exporter
#设置java环境变量
export JAVA_HOME=/moudle/java/jdk1.8.0

#设置hadoop环境变量

#设置flume jmx 参数
# Give Flume more memory and pre-allocate, enable remote monitoring via JMX
# export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote"
export JAVA_OPTS="$JAVA_OPTS -Xms1024m -Xmx2048m 
-Djava.security.auth.login.config=/moudle/apache-flume-1.9.0-bin/conf/flume_jass.conf 
-Dcom.sun.management.jmxremote 
-Dcom.sun.management.jmxremote.port=5455 
-Dcom.sun.management.jmxremote.authenticate=false 
-Dcom.sun.management.jmxremote.ssl=false"
最笨的羊羊
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
flume系列之：flume_exporter导出flume的jmx指标
zhengzaifeidelushang的博客
12-21 882
flume：flume_exporter导出flume的jmx指标一、下载flume_exporter二、安装go环境变量三、编译生成可执行文件flume_exporter四、修改config.yml五、查看监控的指标六、查看flume监控指标 flume_exporter下载地址： https://github.com/woozhijun/flume_exporter 一、下载flume_exporter git clone https://github.com/woozhijun/flume_exp
flume_exporter:普罗米修斯水槽出口商
05-27
flume_exporter 普罗米修斯水槽出口商。 要运行它： make build ./flume_exporter [flags] 标志帮助： ./flume_exporter --help 配置：config.yml agents: - name: "flume-agents" enabled: true # multiple urls can be separated by , urls: ["http://localhost:36001/metrics"] 使用Docker 默认 docker run -d -p 9360:9360 zhijunwoo/flume_exporter:latest 指定配置 docker run -d \ -p 9360:9360 \ -v `pwd`/config.yml:/etc/flum
flume安装配置环境，及初体验
weixin_70816482的博客
11-17 1252
flume安装配置环境，及初体验
21_Flume日志采集框架
TU_JCN的博客
11-23 411
Flume日志采集框架 目标 掌握flume的应用场景 掌握flume中常用的source、channel、sink使用 掌握flume的企业案例 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-prQ4YAeO-1574516297754)(Flume日志采集框架.assets/Flume总结.png)] 1. Flume是什么 在一个完整的离线大数据处理系统...
Flume 监控部署
qq_41142053的博客
05-19 1483
FLume监控部署— Flume_exporter 文章目录FLume监控部署--- Flume_exporter前言一、JSON Reporting 设置二、flume_exporter 安装1.flume_exporter下载2.编译2.1 安装go 环境2.2、make build3、启动flume_export4、验证三、添加进Prometheus四、Grafana 展示 前言 Flume提供了四种监控方式：JMX Reporting、Ganglia Reporting、JSON Report
flume1.9， win10， code.zip
06-29
flume1.9 原本不支持windows的exec和taildir，附件是修改源码支持win10重新打的jar，使用是将jar放到lib目录下启动即可
Apache-flume-1.7.0-bin.tar.gz
08-11
apache旗下组件flume，用于数据的采集，主要包括数据的source、channel以及sink，提供1.7.0稳定版本
flume-ng安装
01-05
flume-ng安装
apache-flume-1.9.0-bin.tar.gz
07-28
编译好的flume1.9.0，下载安装即可使用
apache-flume-1.7.0-bin.tar.zip
11-30
apache-flume-1.7.0-bin.tar.zip，解压后是tar包
[Flume]安装，部署与应用案例
SmartSi
09-19 3185
1. 官网　 http://flume.apache.org/ 2. 下载 http://flume.apache.org/download.html 3. 安装 3.1 将下载的flume包，解压到/opt目录中 3.2 创建flume-env.sh 配置文件 xiaosi@Qunar:/opt/apache-flume-1.6.0-bin/c
hadoop-flume完全分布式集群搭建
柒柒柒柒
11-23 2334
本次使用的是flume1.7.0版本 以及hadoop-2.7.7版本 flume下载地址如下： 链接：https://pan.baidu.com/s/193j6s-FNePUShCR5ZPNRWg 提取码：qwer 一、解压spark文件 本次依旧解压在opt文件夹中。 #解压 tar zxvf apache-flume-1.7.0-bin.tar.gz #重命名 mv apache-flume-1.7.0-bin flume-1.7.0 二、修改flume-env.sh文件 #进入文件夹 cd .
flume的安装与配置
qq_60968494的博客
04-03 2385
flume的详细安装与配置
Hadoop环境配置（11）--flume搭建配置
m0_65077609的博客
12-19 1284
1.将下载的flume安装包拖至software文件夹下 2.将flume安装包解压到/opt/module/文件夹下 cd /opt/software/ tar -zxvf 安装包名 -C /opt/module/ 3.修改系统环境变量 vi /etc/profile 在编辑面板中添加如下代码： export FLUME_HOME=/opt/module/apache-flume-1.9.0-bin export PATH=$PATH:$FLUME_HOME/bin 4.重启环..
Apache Flume : 简单案例
12-04 3993
采集目录到HDFS 采集需求：服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去 根据需求，首先定义以下3大要素 采集源，即source——监控文件目录 : spooldir 下沉目标，即sink——HDFS文件系统 : hdfs sink source和sink之间的传递通道——channel，可用file channel 也可以用内存channel...
flume安装 and 官方小案例
qq_44028464的博客
01-11 198
1. flume概述及组成架构 Flume概念 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单 Flume的最主要左右是：实时读取服务器本地磁盘的钱数据，将数据写入到HDFS。 Flume组成架构 Agent Source ————> Channel ————>Sink Flume组成架构详解...
prometheus、influxdb2.2安装及flume_export下载编译使用
05-15 1529
prometheus安装 influxdb2.2安装 flume_exporter下载编译安装
Grafana+Prometheus监控Flume
PengDQ12的博客
10-26 2403
其中-Dflume.monitoring.type=http -Dflume.monitoring.port=36001 就是开启的被监听端口，给flume_exporter监控。修改flume_exporter下的config.yml文件，端口号改成自己设置的，如上36001，可监控多个flume，但也需在prometheus增加对应的配置参数。下载完成后，再次执行go install，如果没有go get输出，就会开始编译了。把结果中含有go get …如果下载过程中出现网络错误，go添加国内镜像源。
Apache Flume1.8.0用户手册官方文档理解
weixin_40483882的博客
08-09 1712
Flume 1.8.0 User Guide 本博客翻译自Apache Flume官网，原文点此查看 Introduce overview Apache Flume是一种分布式、可靠、可用的系统，它可以从很多不同的源头高效地收集、聚合以及传输大量的日志数据到一个中心数据库。 对Flume的应用其实并不局限于对日志数据的聚合。由于数据源是定制的，因此Flume可以传输大量事件数...
bash: flume-ng: 未找到命令...
最新发布
04-11
这个错误是指在bash中执行flume-ng命令时出现了找不到命令的错误。可能是因为flume-ng命令没有正确安装或者没有添加到系统环境变量中。您可以尝试重新安装flume-ng命令或者将其添加到系统环境变量中来解决这个问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

最笨的羊羊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值