hadoop 2.6 源码 解读之 Namenode 与 Datanode 交互

最新推荐文章于 2022-09-12 20:17:21 发布
最新推荐文章于 2022-09-12 20:17:21 发布
阅读量339 收藏
点赞数
分类专栏： 大数据 hadoop源码 hadoop hadoop 2.6 源码 解读 文章标签： hadoop 源码 hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhixingheyi_tian/article/details/80111562
版权
大数据 同时被 3 个专栏收录
90 篇文章 1 订阅
订阅专栏
hadoop
35 篇文章 0 订阅
订阅专栏
hadoop源码
23 篇文章 2 订阅
订阅专栏

Datanode启动后，会与Namenode握手、注册，以及第一次向NameNode发送全量块汇报，之后 每100个心跳间隔 （默认300s） 向Namenode发起增量汇报（添加、删除信息），同时间隔6小时发起全量汇报汇报（防止增量汇报出现异常）。

为提高HDFS启动速度，针对DataNode第一次全量汇报，为提高响应速度，Namenode不会对元数据做处理（重新计算哪些需要删除 或 失效），推迟到下一次汇报时处理

zhixingheyi_tian
关注
专栏目录
浅析NameNode/DataNode/SecondaryNameNode源码注释
乔治大哥的博客
10-25 209
NameNode源码注释 /********************************************************** * NameNode serves as both directory namespace manager and * "inode table" for the Hadoop DFS. There is a single NameNode ...
Hadoop HDFS源码学习之NameNode部分
weixin_38836273的博客
03-08 1400
NameNode源码学习 文章目录NameNode源码学习一、NameNode简介二、文件系统目录树2.1 INode相关类2.2 快照特性的实现2.3 FSEditLog类 Java、大数据开发学习要点（持续更新中…） 一、NameNode简介    二、文件系统目录树   NameNode最重要的两个功能之一是维护文件系统的命名空间。HDFS文件系统命名空间在NameNode内存中是以一颗树的结构来存储的。无论是目录还是文件，在目录树中被看作一个INode节点。目录对应INodeDirectory
hadoop 2.6 源码 解读之NameNodeRpcServer启动及request处理
zhixingheyi_tian的博客
04-12 847
NameNodeRpcServer 启动监听 clientRpcServer 用于响应 hdfs 客户端的 RPC请求 serviceRpcServer 用于响应 DataNode RPC 请求 /** * Start client and service RPC servers. */ void start() { clientRpcServer.start(...
Hadoop3.2.0 源码分析: namenode 启动
张伯毅的专栏
04-23 1624
通过脚本启动 namenode 的时候,不管怎么样都会调用NameNode 类. 至于脚本怎么调用的自行查看一下脚本: bin/hdfs libexec/hadoop-functions.sh 输出 debug 模式下 shell 脚本日志: /Library/java/JavaVirtualMachines/jdk1.8.0_161.jdk/Contents/Home/...
hadoop 2.6 源码 解读之写操作服务端篇
zhixingheyi_tian的博客
06-04 296
Client 端发起的写请求通过流式接口到达Datanode后。Datanode的DataXceiverServer接受这个请求并构造DataXceiver对象， DataXceiver.writeBlock执行这个请求。 DataXceiverServer DataXceiverServer 是个线程类，在run 方法里监听客户端的请求 public void run() { ....
Hadoop源码学习笔记(5) ——回顾DataNode和NameNode的类结构
weixin_33884611的博客
11-13 56
Hadoop源码学习笔记(5) ——回顾DataNode和NameNode的类结构 之前我们简要的看过了DataNode的main函数以及整个类的大至，现在结合前面我们研究的线程和RPC，则可以进一步看看几个对象的大至结构以及调用关系。 我们知道，三个结构（客户端，NameNode,DataNode）是能过网络调用的，走的是RPC。那在底层通讯时谁做服务器谁做客户端呢？我们先回顾一下...
【Hadoop】超大规模集群大批量写操作引发Namenode性能瓶颈
m0_37956758的博客
09-12 1204
namenode 单一锁机制
读Hadoop3.2源码，深入了解java调用HDFS的常用操作和HDFS原理
码大叔
03-31 407
本文将通过一个演示工程来快速上手java调用HDFS的常见操作。接下来以创建文件为例，通过阅读HDFS的源码，一步步展开HDFS相关原理、理论知识的说明。 说明：本文档基于最新版本Hadoop3.2.1 目录 一、java调用HDFS的常见操作 1.1、演示环境搭建 1.2、操作HDFS 1.3、java文件操作常用方法 二、深入了解HDFS写文件的流程和HDFS原理 2.1、Hadoop3....
Hadoop学习
qq_34955491的博客
10-31 1139
Hadoop是什么？ Hadoop是分布式系统基础架构 主要解决海量数据的存储与计算 单纯来讲Hadoop没多大作用，一般指的都是Hadoop生态圈 Hadoop组成 hdfs 存储 mapreduce 计算 yarn 资源调度 common 公共模块 hdfs架构概述 1）NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性(生成时间，副本数，文件权限)，以及每个...
DataNode与Namenode的互动
weixin_33802505的博客
11-01 443
2019独角兽企业重金招聘Python工程师标准>>> ...
《Hadoop 2.X HDFS源码剖析》读书笔记（NameNode）
梓纾的专栏
10-30 2055
1. 文件系统目录树FSDirectoryHDFS文件系统的命名空间是以“/”为根的整个目录树，是通过FSDirectory类来管理的。FSNamesystem也提供了管理目录树结构的方法，当FSNamesystem中的方法也是调用FSDirectory类的实现，FSNamesystem在FSDirectory类方法的基础上添加了editlog日志记录的功能。HDFS引入FSDirectory是为了
HDFS 源码阅读（NameNode，DataNode）
乔的博客
11-23 503
NameNode FSNamesystem // 包括三个守护线程 private void initialize(NameNode nn, Configuration conf){ // 心跳监控 this.hbthread = new Daemon(new HeartbeatMonitor()); // 租约管理 this.lmthread = new Daemon(leaseMa...
HDFS NameNode源码分析
weixin_30907523的博客
05-11 152
NameNode代码调用逻辑 hdfs的目录和文件的创建，删除，还有文件的读写，追加，都是客户端通过rpc，调用namenode的接口。 接着namenode调用成员FSNamesystem namesystem完成文件的操作，namesystem会做租约的管理，网络拓扑的控制，文件权限的控制等。 接着namesystem调用成员FSDirectory dir操作，dir会做文件名到文件块的...
DataNode启动流程源码分析
happy19870612's blog
11-23 1020
DataNode启动流程源码分析
模仿NameNode和ＤataNode之间通信
南弥陀的博客
10-19 633
供自己查看。。。。。。。。。。。。。。。。。。。。。。。 //这是NameNoｄe节点package scalaimport akka.actor.{Actor, ActorSystem, Props} import com.typesafe.config.{Config, ConfigFactory}import scala.collection.mutable import scala.con
NameNode和DataNode之间的交互
Xlucas的博客
10-09 3064
简介 HDFS的设计核心是提高处理数据的吞吐量而不是低延迟，因此更适合数据的批处理，而非交互式处理，HDFS弱化了一些POSIX语义以获求吞吐量提升。HDFS对存储在其上的数据使用了一次写入多次读取的文件控制模型，一旦一个文件被写入并且存储到HDFS系统上，只可以追加写入该文件而不能修改，从而达到提高吞吐量的目标 NameNode可以执行以下HDFS功能 1、执行所有的HDFS操作，如打开/关闭文...
Hadoop核心源码NameNode启动源码-尚硅谷大数据培训
zjjcchina的博客
07-27 351
/dfs.namenode.resource.du.reserved默认值1024*1024*100=》100m。//检查是否有足够的磁盘存储元数据（fsimage（默认100m）editLog（默认100m））//检查是否有足够的磁盘存储元数据（fsimage（默认100m）editLog（默认100m））//获取所有的块-正在构建的block=可以正常使用的block。//已经正常注册的块数》=块的最小阈值》=最小可用DataNode。//创建NameNode。...
hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍
jiaaq2008的博客
04-03 975
  1）NameNode、DataNode和Client         NameNode可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。DataNode是文件存储的基本单元，它将Bl...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值