hadoop 2.6 源码 解读之 HDFS小结

34 篇文章 0 订阅
23 篇文章 2 订阅

HDFS 文件 是 write-once-read-many ,不支持客户端的并行写操作。

租约(lease)

租约(lease)机制保证了HDFS文件的互斥操作。
客户端写HDFS文件时,先从租约管理器(LeaseManager)申请一个租约,成为租约持有者,也就有了对该HDFS文件的独占权限

HDFS集中式缓存

Hadoop 2.3 以上,新增了centralized Cache Management,允许用户将一些文件目录存放在HDFS缓存中,HDFS集中式缓存 由 各个 DataNode 的堆外缓存组成,由DataNode统一管理

安全模式

安全模式 是 nameNode 的一种状态,此状态,Namenode 不接受任何命名空间的修改操作,同时也不触发复制和删除数据块的操作
NameNode启动时自动进入安全模式,首先加载fsimage 并且合并editslog,之后接受 DataNode 的块汇报,以获得块的存储信息。当Namenode收到数据块副本系数满足最低要求,然后延迟一段时间(默认是30s)才离开安全模式

通信协议

ProtobufRpcEngine的静态类RpcRequestWrapper
该类对象保存了两部分信息,两部分都是用protobuf序列化

  • PPC请求头:纪录了客户端在什么接口调用了什么方法
  • 请求参数:方法调用的参数。

    最后 Client.call 将 请求发送到远程服务器。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值