zhengzaifeidelushang的博客

flume系列之：Caused by: com.google.protobuf.InvalidProtocolBufferException: While parsing a protocol message, the input ended unexpectedly in the middle of a field. This could mean either than the input has been truncated or that an embedded message misreport

flume系列之：ERROR [hdfs-sink1-roll-timer-1] org.apache.flume.sink.hdfs.BucketWriter$2.call:340 - Unexpected errorjava.util.concurrent.RejectedExecutionException: Task java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask@308e7e22 rejected fro

磁盘条带划分是将一个文件或数据块分散存储在多个物理磁盘上的技术。它可以提高磁盘的性能和吞吐量。

【代码】flume系列之：flume jmx页面导出flume、java进程等全部指标。

系统的CPU核心数较多，并且没有其他繁重的任务，可以适当增大该参数的值以提高并行处理能力。系统的CPU资源较为紧张或存在其他繁重的任务，可以减小该参数的值。系统的CPU资源较为充足，并且需要处理大量的数据，可以适当增大该参数的值，以提高HDFS Sink插件的处理能力。如果系统的CPU资源较为紧张或存在其他繁重的任务，可以减小该参数的值，以避免对系统的影响。系统的磁盘和内存资源充足，并且需要同时写入大量的文件，可以适当增大该参数的值。系统资源有限或写入的文件较少，可以减小该参数的值。

flume系列之：解决报错Closing file: ....gz.tmp failed. Will retry again in 180 seconds.java.nio.channels.ClosedChannelException at

flume系列之：查看flume系统日志、查看统计flume日志类型、查看flume日志

具体来说，systemd-cgls memory命令将显示内存控制组的层次结构，以及每个控制组中正在运行的进程和服务。进一步定位/mde，定位到oom是因为配置Memory cgroup stats for /mde 的cgroup导致的，mde是微软的安全监控软件。至此，定位到了问题，当flume使用的内存超过4g，mde控制组就会把flume agent的进程以kill -9 方式杀死。该命令用于显示系统上所有正在运行的进程和服务的控制组（cgroup）层次结构，以及它们在内存控制组中的位置。

【代码】flume系列之：批量并行启动、停止、重启flume agent组。

flume系列之：flume生产环境sink重要参数理解

flume系列之：定位flume没有关闭某个时间点生成的tmp文件的原因，并制定解决方案

flume系列之：查询多个flume agent组是否有topic重复接入情况

flume系列之：java.lang.OutOfMemoryError: unable to create new native thread

【代码】Flume系列之：把flume配置写入到zookeeper节点。

【代码】flume系列之：为flume agent组增加新的节点，提高flume agent组消费能力。

flume系列之：查找Topic所在flume agent组，查看flume agent组重复接入的Topic。

flume系列之：监控flume agent channel的填充百分比

flume系列之：记录一次消费大量Debezium数据，数据包含dml语句比较大，造成数据堆积在channel的解决方法

flume系列之：监控Systemctl托管的flume agent组

flume系列之：监控zookeeper的flume配置写入节点，新增和删除flume agent节点，通过ansible自动部署和卸载flume agent

flume系列之：运维flume常用命令汇总

Flume系列之：Flume集成GooseFS报错Class com.qcloud.cos.goosefs.hadoop.FileSystem not found

Flume系列之：flume集成GooseFS的详细步骤

Prod环境和Stg环境要严格分开，prod flume agent只接入prod环境的数据库，stg flume agent只接入stg环境的数据库，并且prod的flume agent和stg的flume agent需要部署在不同的服务器上。服务器做条带划分，例如申请4块盘做条带化，那么iops和吞吐量都可以达到4倍，能够明显的提高flume agent读写文件的能力。

Flume系列之：使用Zulu OpenJDK替换Oracle JDK的步骤。

flume系列之：处理flume 678M损毁文件

flume系列之：Closing file: gz.tmpfailed. Will retry again in 180 seconds.

KafkaSource EXCEPTION, {}org.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed since the group has already rebalanced and assigned the partitions to another member. This means that the time between subsequent calls to poll()

flume系列之：Error while trying to hflushOrSync和Lease. Holder: DFSClient_NONMAPREDUCE

flume系列之：消费Kafka集群Topic报错java.io.IOException: Can't resolve address: data03:9092。

flume系列之：基于zookeeper部署flume agent升级guava和curator版本

flume系列之：java.lang.IllegalArgumentException: Can't get Kerberos realm

Flume系列之：Java读取读取flume配置文件，并把配置写入到zookeeper节点，再根据写入到zookeeper中的配置启动flume agent

flume系列之：flume基于kafka.topics和kafka.topics.regex两种方式匹配Kafka Topic

flume系列之Centos7服务器查看systemctl托管的flume名称。

flume系列之：拦截器过滤数据

在flume的pom.xml文件中添加阿里源和CDH仓库

flume系列之：python读取flume配置文件，并把配置写入到zookeeper节点更多相关内容请参考博主下面几篇技术博客：flume系列之：flume配置写入zookeeper节点，根据zookeeper中flume配置启动flume agentZookeeper入门之三：客户端命令行操作详解python系列之：kazoo连接Zookeeper操作ZookeeperZookeeper系列之：读取配置文件把配置写入zookeeper节点，查看zookeeper节点数据......

flume系列之：监控flume上个小时生成的HDFS文件是否有损毁，并发送告警信息一、查看HDFS文件状态背景知识二、登陆远程服务器代码三、获取当前时间和上个小时时间四、访问hdfs执行kerberos认证五、查找上个小时是否有损毁文件的命令六、执行查找损毁文件命令代码七、告警信息部分代码八、存在损毁文件发送告警信息九、完整详细注释代码如下所示一、查看HDFS文件状态背景知识相关背景知识参考博主下面两篇博客：Hdfs系列之：查看hdfs文件状态，判断文件是否损坏，修复hdfs损坏文件flume系

flume系列之：监控flume有没有关闭上个小时的gz.tmp文件一、flume落到hdfs文件格式二、本地登陆远程服务器代码三、获取当前时间和上个小时时间四、访问hdfs执行kerberos认证五、查找上个小时是否有tmp文件的命令六、执行查找tmp文件命令代码七、告警信息部分代码八、存在未关闭tmp文件发送告警信息九、完整详细注释代码如下所示十、手动关闭上个小时未关闭的临时文件一、flume落到hdfs文件格式设置flume落到hdfs文件格式：sinks.sink1.hdfs.codeC s