压缩在大数据中的使用

最新推荐文章于 2024-08-03 21:57:01 发布
最新推荐文章于 2024-08-03 21:57:01 发布
阅读量355 收藏
点赞数
分类专栏： Hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaoxiaoba123/article/details/108554316
版权

1、为什么要使用压缩
单机：磁盘空间的限制
Hadoop/HDFS:DN是用来存储数据用的 药对HDFS上的数据进行压缩，减少
存储在HDFS上数据所占用的空间
1T ==》假如压完 300G
3T ==>就是 900G

INPUT==>MR==>OUTPUT

好处：
减少HDFS读写数据量
提升网络传输效率

2、压缩的使用场景
input 数据的进入------》xxxx处理------->output
比如离线的：
MR/Spark/Flink：HDFS(有界)----〉MR----》HDFS

实时的：
Spark/Strom/Flink：无界—〉stream—》Kafka/Nosql—>RDBMS

input:HDFS 数据输入----〉分布式处理引擎：MR map作为中间状态他输出—》输出在输出到HDFS

MR在压缩过程中不需要手工进行处理，但是MR在进行数据处理时肯定是需要一个动作来进行处理数据的压缩和解压的这个在底层自己实现。

3、压缩使用的注意事项
注意事项：带来好处的同时，势必还有一个反面的意义存在
压缩：原始数据----》压缩的技术手段—〉变成目标数据
提示：输入和输出的内容是“一样的”，但是提及是不一样的！
解压缩：原始数据—》解压说技术手段—〉目标数据
技术：就是算法
反面：在处理压缩以及解压的过程中，是有资源CPU的消耗
注意事项：在使用压缩时候一定要确定你的服务器CPU的资源使用率是够的

4、常见的压缩格式
GZIP\BZIP2\LZO\SNAPPY
压缩比：原始数据大小和压缩后的数据大小的百分比
1G 压缩完是 200M 500M 700M那
速度：压缩和解压缩过程中所耗费的时间比

5、Codec详解
压缩的解码和编码器，针对不同格式的压缩进行处理

6、压缩编程实战
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
7、解压缩编程实战
在这里插入图片描述
8、压缩和解压缩在Hadoop源码中的体现
在这里插入图片描述
9、Hadoop整合压缩使用之代码设置

map

mapreduce.map.output.compress
false
Should the outputs of the maps be compressed before being
sent across the network. Uses SequenceFile compression.

mapreduce.map.output.compress.codec org.apache.hadoop.io.compress.DefaultCodec If the map outputs are compressed, how should they be compressed?

reducer

mapreduce.output.fileoutputformat.compress false Should the job outputs be compressed? mapreduce.output.fileoutputformat.compress.type RECORD If the job outputs are to compressed as SequenceFiles, how should they be compressed? Should be one of NONE, RECORD or BLOCK. mapreduce.output.fileoutputformat.compress.codec org.apache.hadoop.io.compress.DefaultCodec If the job outputs are compressed, how should they be compressed?

在这里插入图片描述
10、Hadoop整合压缩使用之配置文件设置
文件1、core-site.xml
在这里插入图片描述

io.compression.codecs
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec

文件2、mapred-site.xml文件
在这里插入图片描述
codec这个压缩格式看个人可以换的
mapreduce.map.output.compress=true
mapreduce.map.out.compree.codec=org.apache.hadoop.io.compress.BZip2Codec

mapreduce.output.fileoutputformat.compress=true
mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.GzipCodec

配置完后一定要重启HDFS/mapreduces

测试：hadoop jar example…jar wordcount /input/wc.input /output/
查看：Hadoop fs -text /output/part*

zhaoxiaoba123
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
电商项目实战Hadoop实现
zhaoxiaoba123的博客
09-12 1898
1、用户行为日志概述 每一次访问的行为（包括访问，搜索、等）产生的日志 历史行为数据 《== 历史订单 ==》推荐 ==〉订单的转换率 2、为什么要记录用户行为日志 根据行为日志分析可以很好的有针对性的对不同用户推荐不同商品，以及不同广告的推送 3、日志内容介绍 日志产生的渠道有nginx日志、ajax加载的一些动态的图片、位置啊等等信息。 本次我们提供了一个电商日志打～/data/trackinfo_20130721.data 原始日志说明我们需要的：第二个字段=url、第十四个字段=ip、第十八个字段
Hadoop OOTB环境
zhaoxiaoba123的博客
09-11 678
OOTB环境的使用 1、虚拟机安装 vmware fusion 2、用户虚拟机打开hadoop000 虚拟机环境选择里面的hadoop.vmx文件 3、用户是hadoop000 密码是123456 4、ifconfig 查看ip sudo -i 切换到root用户 5、切换到network-scripts目录下 cd /etc/sysconfig/network-scripts/ 6、删除掉 ifcfg-lo rm ifcfg-lo 7、输入 ip add...
hadoop系列1.1什么是大数据以及大数据4v特性
zhaoxiaoba123的博客
07-14 556
什么是大数据可能不同的行业不同的人群对于大数据的理解都稍微有所不同 那么给予大数据的一些特性还说下什么是大数据 （数据量）大这是一方面，也有数据量不大但是具有高度的（多样性和复杂性）从而能衍生出有（高度可分析价值的数据）都是大数据，还有就是（速度）能够快速分析出结果并且加以多方位价值利用也是大数据的衡量标准之一。 ...
Hadoop Linux环境介绍以及hadoop环境搭建基础使用API 编程之开发
zhaoxiaoba123的博客
09-11 420
课程环境介绍： 课程录制的系统的事Mac,所以采用linux客户端是mac自带的shell 如果你们是win：xshell crt 客户端都可以 服务器/linux地址：192.168.1.233 连接到Linux环境 登陆：ssh hadoop@192.168.1.233 登陆成功后：[hadoop@hadoop000 ~]$ linux机器：用户名hadoop 密码：123456 hadoopname是hadoop000 创建课程中所需要的目录（适合的文件存放在合适的目录） mkdir
Hadoop3.x新特性及实操
zhaoxiaoba123的博客
09-12 410
1、如何从官网获取Hadoop3.x新特性 JDK Erasure Coding YARN Timeline server v2… https://hadoop.apache.org/docs/r3.0.0/index.html 2、Hadoop3.x新特性之JDK8 最低要求的Java版本从Java 7增加到Java 8 现在已针对Java 8的运行时版本编译了所有Hadoop JAR。仍在使用Java 7或更低版​​本的用户必须升级到Java 8。 3、Hadoop3.x新特性之EC技术详解
Hadoop分布式文件系统HDFS
zhaoxiaoba123的博客
09-11 324
HDFS概述： 1、分布式 2、commodity hardware 廉价或者通用的机器上 3、fault-tolerant 容错 4、high throughput 高吞吐 5、large date sets 适用于大的数据集 HDFS设计目标： Hardware Failure 硬件错误 概述： 硬件故障是常态而不是例外。HDFS实例可以由数百或数千台服务器组成，每台服务器存储文件系统的一部分数据。事实上，有大量的组件，每个组件都有不小的故障概率，这意味着HDFS的某些组件..
Join在MapReduce中的实现
zhaoxiaoba123的博客
09-12 294
1、ReduceJoin流程分析 数据通过Mapper加载过来，然后经过shuffle阶段，在Reduce端完成真正的Join操作 2、ReduceJion功能的实现 Mapjoin实现原理 有些数据比较小，是否有必要经过shuffle,shufflt是大数据中最耗时最耗资源的，能规避shuffle就规避shuffle,也就是说是没有reduce的 Mapjoin功能实现 ...
Hadoop 流量统计实战之需求
zhaoxiaoba123的博客
09-11 273
自定义复杂类型 access.log 第二个字段：手机号 倒数第三个字段：上行流量 倒数第二个字段：下行流量 需求：统计每个手机号上行流量和、下行流量和、总的流量和（上行流量和+下行流量和） Access.java 手机号、上行流量、下行流量、总流量 既然要求和：就要根据手机号进行分组 Mapper 阶段：把手机号 上行流量 下行流量 拆开 把手机号作为key, 把Access作为value写出去 Reducer:(1371111111,<Access,Access>) 流量统计实战之自定
Hadoop 集群部署
zhaoxiaoba123的博客
09-12 247
Hadoop 集群规划 HDFS: NN NameNode组成，这是一个主服务器，它管理文件系统名称空间并控制客户端对文件的访问。此外，还有许多数据节点，通常是群集中每个节点一个，它们管理连接到它们运行的节点的存储,NameNode执行文件系统命名空间操作，如打开、关闭和重命名文件和目录。它还确定块到数据节点的映射。数据节点负责为来自文件系统客户端的读写请求提供服务。 DN DataNodes还根据NameNode的指令执行块创建、删除和复制。 YARN: RM 全局资源管理器 NM NodeMana
Mapreduce 分布式计算框架
zhaoxiaoba123的博客
09-11 214
源自于Google的MapReduce论文，论文发表于2004年12月 Hadoop MapReduce是Google MapReduce的克隆版 Mapreduce 优点：海量数据离线处理 /易开发/易运行 Mapreduce缺点：实时流数据计算 Hadoop MapReduce is a software framework for easily writing applications which process vast amounts of data (multi-teraby..
Hadoop的特性在生产上的使用
zhaoxiaoba123的博客
09-12 149
1、文件归档及透明访问 归档：Hadoop Archives 设置归档：hadoop archive -archiveName pksmall.har -p /small /pksmall 查看归档：hadoop fs -ls har:////pksmall/pksmall.har 执行归档：hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar wordcount har:///pksmall/pksmall.har /harwcount/ 我们在
Hadoop小文件抛析
zhaoxiaoba123的博客
09-12 138
1、小文件问题 Hadoop存储TB甚至更大级别的数据集 文件file—》拆分成块back–> 3–>存放在 DN directory–〉这些信息 叫做元数据信息 100MB vs 1kb 100MB要加载那 1kb还是要加载元数据 这些元数据 加载在NN 的内存中如果文件特别小特别多NN主机的压力就会特别大 2、什么是小文件 CDH blocksize 2.x 128MB 1.x 64MB 当然这个blocksize是可以调的 128MB 一个200MB的文件会被拆分成多少个？？？
YARN资源调度框架
zhaoxiaoba123的博客
09-11 118
YARN的概述 YARN Yet Another Resource Negotiator 的缩写 通用的资源管理框架 为上层的应用提供统一的资源管理和调度 The fundamental idea of YARN is to split up the functionalities of resource management and job scheduling/monitoring into separate daemons. The idea is to have a global Resource
初识Hadoop
zhaoxiaoba123的博客
09-11 107
1、hadoop 概述之Hadoop名字的由来 Hadoop 创造之父 Doug Cutting Spring 创造之父 Rod Johnson Hadoop 名字的由来是 Doug Cutting 的孩子给他家一个黄色小熊的命名 Apache 社区的顶级项目官网域名规则：XXX.apache.org hadoop.apache.org hive.apache.org hbase.apache.org spark.apache.org flink.apache.org sto...
Hadoop学习（三）
最新发布
2301_79721847的博客
08-03 843
1)虚拟存储过程：将输入目录下所有文件大小，依次和设置的setMaxInputSplitSize值比较，如果不大于设置的最大值，逻辑上划分一个块。应用场景：适用于小文件过多的场景，它可以将多个小文件从逻辑上规划到一个切片（数据切片）中，多个小文件就可以交给一个MapTask处理。2）数据切片（MapReduce程序计算输入数据的单位)：只是在逻辑上对输入进行分片，不在磁盘上将其切成分片进行存储。逻辑，这样增加Map端业务，减少Reduce端数据的压力，尽可能的减少数据倾斜。保证输出的每个文件内部有序。
数理方法习题 前六章.pdf
08-03
数理方法习题 前六章
某大型制造企业IT蓝图规划及实施路线.pptx
08-03
某大型制造企业IT蓝图规划及实施路线.pptx
基于Springboot和Vue的社区团购系统设计源码 社区团购系统设计代码（98分期末优秀大作业）
08-03
社区团购系统设计源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！ 系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！ 系统源码（高分毕设），个人经导师指导并认可通过的98分毕业设计项目，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目源码[代码]、该项目可以直接作为毕设使用。项目技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！
压缩和大数据爆炸的关系
05-17
在大数据时代，数据压缩技术变得越来越重要。因为大数据通常需要在分布式环境下进行处理和传输，并且涉及的数据量非常大。如果没有数据压缩技术，这些数据就需要占用更多的存储空间和传输带宽，从而增加了成本和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值