Hadoop入门(七)之java对应的Hadoop数据类型及自定义类型序列化

 首先,我们都知道,Hadoop的读写都是通过流来实现的。在java中想把一个对象通过流进行读写,我们时要把它序列化和反序列化(Serialization、Deserialization)的。那么,Hadoop的对象读写操作也需要序列化-----格式: Writable 。 序列化在分布式环境的两大作用:进程间通信,永久存储。

下面,我们说一下Hadoop的数据类型:
Hadoop数据类型,基本上都是Writable接口的实现类。
上一篇,我们提到的数据类型Text对应java中的String(默认utf-8序列)


java基本类型                    Writable实现                            序列化大小(字节)         

boolean                            BooleanWritable                               1

byte                                    ByteWritable                                      1

int                                       IntWritable (或VintWritable)          4(1~5)

float                                   FloatWritable                                      4

long                                   LongWritable(或VlongWritable)      8(1~9)

double                              DoubleWritable                                  8

再说一下Writable接口;
§Writable接口, 是根据 DataInput 和 DataOutput 实现的简单、有效的序列化对象.
§Mapper、Reducer的任意Key和Value必须实现Writable接口。
MR的任意key必须实现WritableComparable接口(而Java值对象的比较:一般需要重写toString(),hashCode(),equals()方法)

Writable接口有2个方法:
public interface Writable{
          void   write(DataOutpute out) throws IOException;  //把每个对象序列化到输出流
          void   readFields(DataInpute in) throws IOException;  //把输入流字节反序列化
}

下面看一下writable接口的完整结构:



下面这个就是自定义数据类型,要实现Writable接口:



下一篇,通过一个自定义类型的实例Demo,去理解自定义类型。


  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值