查看hdfs上文件内容,统计数据量
一、背景
- 需要在hdfs上查看gz文件中的数据内容
- 查找gz文件中的指定内容
- 统计gz文件中数据量
- 查看gz中包含特定字符串的数据量
二、查看hdfs上文件内容
hadoop fs -cat /optics-prod/raw/kafka/order_middle_prod/order_cancel/1h/20220524/08/* | gunzip -c
三、统计数据量
hadoop fs -cat /optics-prod/raw/kafka/order_middle_prod/order_cancel/1h/20220524/08/* | gunzip -c | wc -l
38
四、查询特定字符串,并统计数据量
hdfs dfs -cat /optics/raw/kafka/debezium-prod-optics_prod_1h/order_prod/status/1h/20220722/17/* | gunzip -c |