Flume系列之:查看flume生成的gz文件中的数据
一、flume落到hdfs文件格式
- sinks.sink1.hdfs.codeC sinks.sink1.hdfs.codeC = gzip
- 文件压缩格式,包括:gzip,bzip2, lzo, lzop, snappy
二、查看hdfs上生成的文件
/optics/raw/kafka/debezium-prod-optics_prod_1h/optics_prod/consumer/1h/20220330/16/debezium-flume-003.prod-qcloud-dd-insight.net-flumedata.1648627220996.gz
三、查看文件中的数据
使用命令:
- hadoop fs -cat 文件路径 | gunzip -c
hadoop fs -cat /optics/raw/kafka/debezium-prod-optics_prod_1h/optics_prod/consumer/1h/20220330/16/debezium-flume-003.prod-qcloud-dd-insight.net-flumedata.1648627220996.gz | gunzip -c
数据如下所示: