Flume系列之：查看flume生成的gz文件中的数据

已于 2024-09-30 10:44:11 修改
阅读量1k 收藏
点赞数 1
分类专栏： flume 文章标签： Flume系列 查看gz文件中数据
于 2022-03-30 17:38:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/123852244
版权
flume 专栏收录该内容
70 篇文章 20 订阅 ¥29.90 ¥99.00
订阅专栏
本文介绍了如何使用Flume将数据发送到HDFS，并以gzip格式存储。接着，详细阐述了如何在HDFS上定位生成的gz文件，并通过`hadoop fs -cat`结合`gunzip`命令查看压缩文件中的实际数据。
摘要由CSDN通过智能技术生成

Flume系列之：查看flume生成的gz文件中的数据

一、flume落到hdfs文件格式

  • sinks.sink1.hdfs.codeC sinks.sink1.hdfs.codeC = gzip
  • 文件压缩格式，包括：gzip,bzip2, lzo, lzop, snappy

二、查看hdfs上生成的文件

  • hdfs path

三、查看文件中的数据

使用命令：

  • hadoop fs -cat 文件路径 ｜ gunzip -c

hadoop fs -cat path | gunzip -c

数据如下所示：

在这里插入图片描述

快乐骑行^_^
关注
专栏目录
订阅专栏
flume系列之：学会flume开发调试，查看flume event数据格式，并根据flume event数据格式开发拦截器
zhengzaifeidelushang的博客
02-21 1458
flume系列之：学会flume开发调试，查看flume event数据格式，并根据flume event数据格式开发拦截器一、声明source、channel、sink二、配置source三、配置source拦截器四、配置channel五、配置sink六、查看终端输出七、代码实现打印flume event数据格式到日志 根据不同的需求，flume可能需要采用不同类型的source、channel、sink，flume配置采取热部署，配置更新即可生效。在开发flume新功能时，直接使用source、chan
flume系列之：查看flume系统日志、查看统计flume日志类型、查看flume日志
zhengzaifeidelushang的博客
09-08 347
flume系列之：查看flume系统日志、查看统计flume日志类型、查看flume日志
Flume-数据监控
m0_57697768的博客
03-19 1203
flume事务，flume组件结构，flumeSource类型
flume系列之：清理HDFS上的tmp文件，把.gz.tmp文件变为.gz文件
zhengzaifeidelushang的博客
02-08 1706
flume出现异常，hdfs上生成的gz.tmp文件没有正常关闭，需要把这些gz.tmp格式的文件转变为gz文件，可以写一个脚本找出所有的tmp文件，然后再执行hadoop fs -mv命令把所有的.gz.tmp文件变为.gz文件。 一、查找hdfs指定目录下的tmp文件 查找hdfs指定目录下的tmp文件 生成hadoop fs -mv filename.gz.tmp filename.gz命令存放到脚本cleanTemp.sh中 执行sh cleanTemp.sh把所有的.gz.tmp文件变为.gz
解决Flume采集数据时在HDFS上产生大量小文件的问题
热门推荐
little prince，blue coder
06-07 1万+
问题：flume指定HDFS类型的Sink时，采集数据至HDFS指定目录，会产生大量小文件。问题重现：1、创建flume配置文件flume-env.sh，：flume配置文件如下（根据自身需要修改）：    因为flume可以配置多种采集方式，每种采集方式对应一个agent配置文件，flume即通过运行agent完成采集工作，这里为了方便重现问题，直接监控整个目录。flume的agent配置文件如...
大数据技术之 Flume
我从不打没有准备的仗！
03-21 1578
大数据技术之 Flume
flume系列之：Error while trying to hflushOrSync，查看hdfs生成的文件发现文件损坏
zhengzaifeidelushang的博客
03-30 1801
一、flume完整报错如下所示 flume日志一直报如下错误： 13 Mar 2022 10:45:30,319 ERROR [hdfs-sink1-call-runner-400] (org.apache.flume.sink.hdfs.AbstractHDFSWriter.hflushOrS ync:269) - Error while trying to hflushOrSync! 264 25 Mar 2022 10:45:30,319 WARN [hdfs-sink1-roll-t
flume系列之：运维flume常用命令汇总
zhengzaifeidelushang的博客
08-08 1070
flume系列之：运维flume常用命令汇总
Flume系列之：flume集成GooseFS的详细步骤
zhengzaifeidelushang的博客
06-20 878
Flume系列之：flume集成GooseFS的详细步骤
flume系列之：Unexpected error java.util.concurrent.RejectedExecutionException: Task java.util.concurrent
最新发布
zhengzaifeidelushang的博客
11-06 31
flume系列之：ERROR [hdfs-sink1-roll-timer-1] org.apache.flume.sink.hdfs.BucketWriter$2.call:340 - Unexpected error java.util.concurrent.RejectedExecutionException: Task java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask@308e7e22 rejected fro
kafka接收、查看flume消息
marscsu的博客
12-03 859
本文记录笔者第一次调通：python写数据到txt文件—flume采集txt文件数据—kafka(channel)接收并在终端查看消息的过程。 1.python从csv写入txt，代码实例如下： # -*- coding: utf-8 -*- import random import time readFileName="/usr/local/src/data/orders.csv" ...
Flume实现读取文件
张鑫的博客
08-03 3856
一、需求分析 二、上传jar包 因为本案例要读到hdfs里，所以，就要hadoop相关jar包支持。 将commons-configuration-1.6.jar、hadoop-auth-2.7.2.jar、hadoop-common-2.7.2.jar、hadoop-hdfs-2.7.2.jar、commons-io-2.4.jar、htrace-core-3.1.0-incubati...
查看tmp目录下的文件
qq_37850901的博客
09-28 3847
ls –alt /tmp/ 直接敲会这样 这样也不对 正确方法：先切换到管理员权限 sudo su root
hadoop学习——hdfs指定tmp目录中内容的介绍
凌大大的博客
12-10 8826
hadoop学习——hdfs指定tmp目录中内容的介绍 1、格式化   已经知道，当执行hadoop格式化指令时，会在指定的tmp目录下，生成dfs目录。它下边具体如下： [root@hadoop01 dfs]# ls data name namesecondary   dfs/data目录，是datanode节点存储数据块的目录。   dfs/namesecondary目录，对于以后集群...
flume采集数据
weixin_42796403的博客
12-10 691
今天写了一个flume的配置文件采集日志文件（json格式），将日志文件采集到kafka，结果在kafkatools工具中发现采集的每一条数据前面都多出了两个字节的乱码，显然后面的操作都是以json格式进行处理，数据被阻塞在kafka中。 后来进行了反复检查，发现问题还是出现在flume配置文件中。。。。。。。。。。。。 在这里配置是否以event格式写入kafka时，多加了kafka，flume读取数据时还是以默认设置以event格式读入数据，结果event中的header信息保存到kafka后变成了乱
flume监测文件内容及变化
weixin_74865657的博客
10-15 546
本篇主要讲解使用flume实现监控文件的办法，会用到flume 的三大类组件。flume组件说明source 组件指定数据源channel 组件作为一个缓存，连接 source 和 sinksink 组件指定数据目的地Flume是一个可分布式日志收集系统，Flume最主要的作用：实时读取服务器本地磁盘的数据，将数据写入到HDFS。
flume 实时读取目录文件(spooldir)到 HDFS
小哇
01-11 1197
/opt/module/flume/upload目录中，.COMPLETED后缀表示已经上传成功，.tmp后缀的表示还没有上传 上传完成后的源文件会被加上.COMPLETED后缀，并且.temp文件不会上传到HDFS 创建dir_hdfs.conf 配置文件 a3.sources = r3 a3.sinks = k3 a3.channels = c3 # Describe/configu...
Flume学习(二)Flume读取本地/目录文件至HDFS
秘密的博客
12-17 4613
目录拷贝相关Hadoop 包到 Flume lib 目录读取本地文件至HDFS创建flume-file-hdfs.conf文件执行监控开启Hadoop集群执行监控配置测试 拷贝相关Hadoop 包到 Flume lib 目录 jar包所在的路径在Hadoop文件夹下的share/hadoop中 该文件夹下中的common和hdfs中存在jar包 在hdfs文件夹下lib中 将以下的jar包放至flume文件夹下的lib下 commons-configuration 2-2.1.1.jar ha
Flume | 实时读取文件到 HDFS
weixin_37417954的博客
07-08 711
1）在 flume/job 目录下创建 flume-file-hdfs.conf 配置文件，内容如下 # Name the components on this agent a2.sources = r2 a2.sinks = k2 a2.channels = c2 # Describe/configure the source a2.sources.r2.type = exec a...
Apache Flume深入解析：数据采集与传输实践
- **海量数据传输**：Flume可以用于在分布式环境中大量数据的传输。 - **海量数据汇聚**：它可以收集来自多个源的数据并聚合到一个中心位置。 - **系统日志收集**：尤其适用于大型分布式系统的日志管理和分析。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值