flume系列之：-Xmx20m -Xms1024m -Xmx2048m

最新推荐文章于 2023-07-06 14:04:37 发布
最新推荐文章于 2023-07-06 14:04:37 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： flume 文章标签： flume系列 -Xmx20m -Xms1024m -Xmx2048m
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/122620253
版权
flume 专栏收录该内容
57 篇文章 17 订阅 ¥29.90 ¥99.00
订阅专栏

flume系列之：-Xmx20m -Xms1024m -Xmx2048m

  • Java HotSpot™ 64-Bit Server VM warning: INFO: os::commit_memory(0x00007fe827200000, 14148960256, 0) failed; error=‘Cannot allocate memory’ (errno=12)

一、flume的bin目录下flume-ng中指定了-Xmx20m

cat flume-ng
JAVA_OPTS="-Xmx20m"
  • flume启动时的默认最大的堆内存大小是20M

二、调整flume的启动内存

  • 实际环境中数据量较大时，很容易出现OOM问题，可以在flume的基础配置文件conf下的flume-env.sh中指明JAVA_OPTS
export JAVA_HOME=/usr/java/j
了解本专栏 订阅专栏 解锁全文
最笨的羊羊
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Flume的安装与配置
BXMMJ的博客
02-11 471
fflume的安装配置部署，flume与kafka采集的配置案例，flume采集日志脚本启动和停止的编写
Hadoop MapReduce在实际场景中的优化
欢迎欢迎，热烈欢迎
10-11 208
一、MapReduce跑的慢的原因 MapReduce程序效率瓶颈： 1. 计算机性能 cpu、内存、磁盘健康、网络 2. I/O操作优化 数据倾斜 Map和Reduce数设置不合理 Map运行时间太长，导致Reduce等待太久 小文件过多 大量的不可分块的超大文件 Spill次数过多 Merge次数过多 二、MapReduce优化方法 MapReduce优化方法主要从六个方面考虑： 数据输入 Map阶段 Reduce阶段 IO传输 数据倾斜问题 常用的调优参
flume简介及原理概述
snail_bing的博客
08-17 1955
Apache Flume概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。目前是Apache的顶级项目。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的...
flume调优
jason_xiaojie_liu的博客
08-14 814
1 调整jvm参数     修改conf下flume-env.sh       -Xms  -Xmx参数，具体根据机器内存分配   CDH中的我修改的是，将这个参数修改了下：                      Agent 的 Java 堆栈大小（字节）1g 用ps -ef | grep pid查看 flume    29416  3102 26 12:02 ?        0...
解决 Flume 日志报错 OOM GC 堆内存问题：java.lang.OutOfMemoryError: GC overhead limit exceeded
想练武，就得下功夫
07-06 285
解决 Flume 日志报错 OOM GC 堆内存问题：java.lang.OutOfMemoryError: GC overhead limit exceeded
Flume内存优化
不言尘世
05-26 1308
1）问题描述：如果启动消费Flume抛出如下异常 ERROR hdfs.HDFSEventSink: process failed java.lang.OutOfMemoryError: GC overhead limit exceeded 2）解决方案步骤： （1）在hadoop102服务器的/opt/module/flume/conf/flume-env.sh文件中增加如下配置 export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxr
flume-ng-sql-source-1.5.2
10-12
Flume-ng-sql-source-1.5.2是Apache Flume的一个扩展，它允许Flume从SQL数据库中收集数据。Apache Flume是一个分布式、可靠且可用于有效聚合、移动大量日志数据的系统。"ng"代表"next generation"，表明这是Flume的...
Flume-ng-1.6.0-cdh.zip
04-08
Flume-ng-1.6.0-cdh.zip 内压缩了 3 个项目，分别为：flume-ng-1.6.0-cdh5.5.0.tar.gz、flume-ng-1.6.0-cdh5.7.0.tar.gz 和 flume-ng-1.6.0-cdh5.10.1.tar.gz，选择你需要的版本。
flume-interceptor-1.0-SNAPSHOT.jar
08-16
注意：flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-...
flumeng-kafka-plugin:flumeng-kafka-plugin
05-12
《Flume与Kafka集成：深入理解flumeng-kafka-plugin》 在大数据处理领域，Apache Flume 和 Apache Kafka 都扮演着至关重要的角色。Flume 是一款用于收集、聚合和移动大量日志数据的工具，而 Kafka 则是一个分布式流...
flume-ng-sql-source-release-1.5.2.zip
06-26
Flume-ng-sql-source是Apache Flume的一个扩展插件，主要功能是允许用户从各种数据库中抽取数据并将其传输到其他目的地，如Apache Kafka。在本案例中，我们讨论的是版本1.5.2的发布包，即"flume-ng-sql-source-...
Flume 内存优化之 OutOfMemoryError: GC overhead limit exceeded
Lpy的博客
09-15 689
1.问题描述：启动消费Flume抛出如下异常 ERROR hdfs.HDFSEventSink: process failed java.lang.OutOfMemoryError: GC overhead limit exceeded 2.解决方案步骤： （1）在hadoop102 服务器的 /opt/module/flume/conf/flume-env.sh 文件中增加如下配置 export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management
flume配置
bwf317的博客
06-22 615
2.1 配置采集方案 通过上游采集，下游直接写入到hdfs中。配置两个sink用于sink高可用 上游配置： a1.sources = r1 a1.channels = c1 a1.sinks = k1 k2 #sources：用到TAILDIR类型，记录偏移量，安全，快开重连可以接着上次的位置继续采集数据 a1.sources.r1.channels = c1 a1.sources.r1.type = TAILDIR #根据终端定义相应地文件组，分别制定其对应的日志存储位置进行数据的读
JVM默认堆大小
热门推荐
一位自然人的博客
04-26 1万+
官方文档： The default maximum heap size is half of the physical memory up to a physical memory size of 192 megabytes (MB) and otherwise one fourth of the physical memory up to a physical memory size of 1 ...
Apache Doris安装过程
Im ok的博客哦
11-28 5351
0.系统与版本要求 Linux 操作系统版本需求 Linux 系统 版本 CentOS 7.1 及以上 Ubuntu 16.04 及以上 虽然要求centos7以上，但是实测在centos8安装会出现某些依赖一直安装不上的问题，因此建议安装在centos7上 软件需求 软件 版本 Java 1.8 及以上 GCC 4.8.2 及以上 开发测试环境 模块 CPU 内存 磁盘 网络 实例数量 Frontend 8核+ 8GB+ SSD 或 SATA
flume channle 参数
xujianchao的博客
10-17 520
,batchsize <=transactionCapacity<=capacity batchsize 一次从channle transactionCapacity取出多少发送 capacity 最大容量 transactionCapacity 事物容量，默认100，take失败后丢回此队列 capacity 内存最大容量 默认100 batchsize 一次取出多少，默认...
java虚拟机的参数_java虚拟机(九)--常用jvm参数
weixin_30610943的博客
02-12 275
1、-Xms20M：表示设置jvm堆的最小值为20M，必须以M为单位2、-Xmx20M：表示设置JVM堆的最大值为20M，必须以M为单位。将-Xmx和-Xms设置为一样可以避免JVM内存自动扩展。大的项目-Xmx和-Xms一般都要设置到10G、20G甚至还要高-XX:NewSize：新生代的大小-XX:MaxNewSize：最大新生代的内存大小3、-verbose:gc：表示输出虚拟机中GC的详细...
【flume 配置详解】
scott_bing的专栏
04-24 2670
在上面的配置中，我们可以看到agent1.sources、agent1.channels和agent1.sinks这些属性，它们分别对应了源、通道和目标组件的配置，而agent1.sources.source1.type、agent1.sources.source1.command、agent1.channels.channel1.type等则对应了各自的属性。在上面的配置中，我们使用了内存通道(Memory Channel)，它的容量设置为1000，即最多可以存储1000个Event事件。
Java内存区域与内存溢出异常
小锴的学习笔记
11-06 207
Java与C++之间有一堵由内存动态分配和垃圾收集技术所围成的"高墙",墙外面的人想进去,墙里面的人却想出来.
bash: flume-ng: command not found
最新发布
09-20
当启动Flume代理进程Agent时报错"bash: flume-ng: 没有那个文件或目录"，这意味着系统无法找到flume-ng命令。有几种可能的解决方法可以尝试： 1. 确保Flume已经正确安装并且flume-ng命令所在的路径已经添加到系统的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

最笨的羊羊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值