flume系列之：处理flume 678M损毁文件

快乐骑行^_^

已于 2024-09-30 10:40:57 修改

阅读量265

点赞数 1

分类专栏： flume 文章标签： flume 大数据 hadoop

于 2023-02-02 22:34:51 首次发布

本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/128858641

版权

flume 专栏收录该内容

70 篇文章 20 订阅 ¥29.90 ¥99.00

订阅专栏

本文主要介绍了如何处理Flume在传输大数据过程中遇到的678M损毁文件，包括如何查看和删除这些损坏的文件，确保数据传输的完整性和稳定性。

摘要由CSDN通过智能技术生成

flume系列之：处理flume 678M损毁文件

一、查看损毁文件
二、删除损毁文件

一、查看损毁文件

hdu -h /prod/raw/kafka/*/*/*/1h/20230202/19/* | awk '$3 ~ "^768$" && $4 ~ "^M$"  {print $3$4 "  " $5}'

二、删除损毁文件

hdfs dfs -rm path

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

快乐骑行^_^

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

flume系列之：Error while trying to hflushOrSync，查看hdfs生成的文件发现文件损坏

zhengzaifeidelushang的博客

03-30

1801

一、flume完整报错如下所示 flume日志一直报如下错误： 13 Mar 2022 10:45:30,319 ERROR [hdfs-sink1-call-runner-400] (org.apache.flume.sink.hdfs.AbstractHDFSWriter.hflushOrS ync:269) - Error while trying to hflushOrSync! 264 25 Mar 2022 10:45:30,319 WARN [hdfs-sink1-roll-t

flume系列之：监控flume上个小时生成的HDFS文件是否有损毁，并发送告警信息

zhengzaifeidelushang的博客

03-31

2555

flume系列之：监控flume上个小时生成的HDFS文件是否有损毁，并发送告警信息一、查看HDFS文件状态背景知识二、登陆远程服务器代码三、获取当前时间和上个小时时间四、访问hdfs执行kerberos认证五、查找上个小时是否有损毁文件的命令六、执行查找损毁文件命令代码七、告警信息部分代码八、存在损毁文件发送告警信息九、完整详细注释代码如下所示一、查看HDFS文件状态背景知识相关背景知识参考博主下面两篇博客： Hdfs系列之：查看hdfs文件状态，判断文件是否损坏，修复hdfs损坏文件 flume系

参与评论您还未登录，请先登录后发表或查看评论

flume数据丢失与重复_大数据笔试真题集锦---第十章:Flume面试题

weixin_30325929的博客

01-04

253

我会不间断的更新,维护,希望可以对正在找大数据工作的朋友们有所帮助.第十章目录第十章 Flume一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统10.1 Flume结构10.1.1 Source默认的有Avro(监视端口)、Thrift、Exec(执行linux命令)、JMS、Spooling Directory(监视目录)、TailDirSource(1.7新增类似tail功...

关于Flume异常情况导致的数据重复写入问题分析

t1mon的博客

05-29

4125

环境 flume-ng 1.6.0-cdh5.15.1 问题描述通过flume抽取kafka数据, 落地HDFS. source与channel不在本次问题分析范围内,暂且忽略. sink的部分配置如下: tier1.sinks.sink1.type=hdfs tier1.sinks.sink1.channel=channel1 tier1.sinks.sink1.hdfs.path=hdfs:...

flume 使用遇到问题及解决

dearbaba_11的博客

08-11

274

flume 使用遇到问题及解决

Flume常见问题

weixin_44318460的博客

10-09

961

Flume常见问题

Flume 丢失数据问题

05-11

1万+

利用flume读取日志文件的时候，日志文件还在写入，但被flume打成了标识.COMPLETED 错误日志如下： 2017-05-10 18:09:13,530 (cluster-ClusterId{value='5912e6c933662351ead2de96', description='null'}-192.168.0.126:27017) [INFO - com.mongodb.dia

《Hadoop Operations》读书笔记 - 4 - 第五章安装与配置

好学若饥，谦卑若愚

06-03

4万+

安装 Hadoop 有无数种办法可以安装 Hadoop，这里给出的只是最佳实践的建议。对于 tarball 安装来说，拥有很大的灵活性，但同样也带来了很多不确定性。作为管理员需要为其额外的创建用户，以及准备各种目录，配置各种目录的权限。如果不确定自己应该使用哪种安装方式，应该先从软件源或者 RPM/Deb 软件包安装开始。 Hadoop 的运行不需要使用 root 权限。但是安装的时候，需

《Hadoop Operations》读书笔记 - 3 - 第四章规划集群

最新发布

zhengzaifeidelushang的博客

08-30

6142

【代码】flume系列之：批量并行启动、停止、重启flume agent组。

flume系列之：hdfs.timeZone设置中国北京或上海时区

zhengzaifeidelushang的博客

12-23

2824

flume：hdfs.timeZone设置中国北京或上海时区查看服务器时间flume设置中国时区查看服务器时间 date 2021年 12月 23日星期四 10:09:49 CST hdfs.timeZone设置中国北京或上海时区后，生成的路径时间与服务器时间保持一致。 /optics/raw/kafka/debezium-optics-prod/optics-prod/order/1h/20211223/10/optics-flumedata.1640224834375.gz flume设置中国

could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node

zhengzaifeidelushang的博客

08-13

2596

flume往HDFS写入数据报错如下所示： could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node 错误原因是：没有可用的datanode了，hdfs空间满了错误解决方法是： HDFS磁盘扩容清理HDFS上冗余文件 ...

flume报错：java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration

zhengzaifeidelushang的博客

08-03

2385

flume报错：java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration Failed to start agent because dependencies were not found in classpath. Error follows. java.lang.NoClassDefFoundError:org/apache/hadoop/conf/Configuration at org.apache.flume.sin

Ansible模块：systemd模块实现自动重启flume服务

zhengzaifeidelushang的博客

12-30

2209

Ansible模块：systemd模块实现自动重启flume服务一、systemd模块参数详解二、systemd模块用法三、systemd模块实现自动重启flume服务1.编写flume服务的systemd脚本2.通过ansible模块template部署flume服务的systemd脚本3.通过ansible模块systemd重启flume四、systemd脚本命令详解一、systemd模块参数详解 systemd模块：管理远程节点上的systemd服务，相当于systemctl，可以对服务的是否开

flume系列之：监控Systemctl托管的flume agent组

zhengzaifeidelushang的博客

08-10

2152

flume系列之：监控Systemctl托管的flume agent组

flume系列之：监控flume有没有关闭上个小时的临时文件gz.tmp，并发送告警信息

zhengzaifeidelushang的博客

03-31

1935

flume系列之：监控flume有没有关闭上个小时的gz.tmp文件一、flume落到hdfs文件格式二、本地登陆远程服务器代码三、获取当前时间和上个小时时间四、访问hdfs执行kerberos认证五、查找上个小时是否有tmp文件的命令六、执行查找tmp文件命令代码七、告警信息部分代码八、存在未关闭tmp文件发送告警信息九、完整详细注释代码如下所示十、手动关闭上个小时未关闭的临时文件一、flume落到hdfs文件格式设置flume落到hdfs文件格式： sinks.sink1.hdfs.codeC s

Apache Flume深入解析：复杂数据流处理与优化

4. 海量数据处理：Flume设计用于处理大规模数据，适用于大数据环境。 5. 可扩展性：随着数据需求的增长，Flume可以轻松添加更多的节点来扩展其能力。在实际应用场景中，Flume通常用作： 1. 海量数据传输：将分散在...