四、HDFS中NameNode的启动过程

一、HDFS中NameNode的启动过程

1、在hdfs-site.xml中设置文件存储路径并指向data路径,在hadoop安装路径中新建data目录。

2、进行namenode格式化,在data目前中生成各类目录,并生成fsimage文件。

3、第一次启动namenode硬盘中将fsimage加载到内存中,hdfs文件如果修改,将写edits文件作为log,并将最新修改内容加载到内容中。同时secondarynamenode,将不断的从namenode中下载并合并相应的fsimage+edits,并上传到namenodenamenode修改原fsimage,替换为新的fsimage

4datanodenamenode进行注册。每隔3秒,datanodenamenode注册心跳的间隔时间。

5、每小时datanode默认向namenode发送block report。汇报datanode的数据节点情况。

6、第二次启动,namenode硬盘中将新的fsimage加载到内存中,并进行改写edits,其他的与第一次启动相似。见下图


二、HDFSNameNode元数据本地磁盘存储目录如何配置以及DataNode存储数据的本地磁盘目录配置

core-site.xml中配置

<property>

<name>hadoop.tmp.dir</name>

<value>/home/jit/app/hadoop-2.5.2/data</value>

</property>

hdfs-site.xml中配置

<property>

<name>dfs.namenode.name.dir</name>

<value>file://${hadoop.tmp.dir}/dfs/name</value>

</property>

 

<property>

<name>dfs.datanode.data.dir</name>

<value>file://${hadoop.tmp.dir}/dfs/data</value>

</property>

三、 存储在 HDFS 上的文件,存储机制及数据安全性保证。

可以在hdfs-site.xml中设置hdfs的副本数量

如果设置3副本,一定有两个副本不在同一个机架,并且3个副本不在同的机器上。


HDFS(Hadoop Distributed File System)的名称节点(NameNode)是HDFS的核心组件,负责管理文件系统的命名空间和客户端对文件的访问。名称节点启动过程主要包括以下几个步骤: 1. 配置加载:名称节点启动时首先会加载Hadoop配置文件的相关设置,比如`hdfs-site.xml`定义的文件系统元数据存储位置、副本数等参数。 2. 磁盘检查:在启动过程,名称节点会检查其元数据存储目录(通常是磁盘上的一个目录)是否存在。如果存在,它会读取存储在那里的`fsimage`文件和编辑日志(`edits`文件)。`fsimage`是HDFS命名空间的持久化快照,而编辑日志包含自上次`fsimage`创建以来所有文件系统的变化。 3. 滚动编辑日志:为了避免在启动过程处理大量未持久化的编辑操作,名称节点会将当前的编辑日志滚动到一个新的日志文件,并开始一个新的编辑日志文件。 4. 系统恢复:名称节点会从`fsimage`和滚动后的编辑日志恢复文件系统的状态。这个过程包括将编辑日志的操作应用到`fsimage`,以重建内存的文件系统元数据结构(即FsImage)。 5. 节点报告:在这个阶段,数据节点(DataNode)会启动并连接到名称节点,向名称节点报告它们的数据块信息。名称节点使用这些报告来验证数据节点的报告与自己的记录是否一致,并更新元数据。 6. 准备就绪:名称节点完成了上述步骤后,会进入正常运行状态,并开始接受客户端的请求,比如读写文件操作。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值