HDFS HA机制 及 Secondary NameNode详解

​1 Secondary NameNode

  

 

Secondary namenode的职责是合并namenode的edit logs到fsimage文件中。

每隔一段时间，会由secondary namenode将namenode上积累的所有edits和一个最新的fsimage下载到本地，并加载到内存进行merge（这个过程称为checkpoint）

 

namenode和secondary namenode的工作目录存储结构完全相同，所以，当namenode故障退出需要重新恢复时，可以从secondary namenode的工作目录中将fsimage拷贝到namenode的工作目录，以恢复namenode的元数据

 

但是只能恢复大部分数据,并不能恢复全部数据,因为有些数据可能还没做checkpoint

 

Checkpoint参数

 

 

dfs.namenode.checkpoint.check.period=60  #检查触发条件是否满足的频率，60秒 dfs.namenode.checkpoint.dir=file://${hadoop.tmp.dir}/dfs/namesecondary #以上两个参数做checkpoint操作时，secondary namenode的本地工作目录 dfs.namenode.checkpoint.edits.dir=${dfs.namenode.checkpoint.dir} dfs.namenode.checkpoint.max-retries=3  #最大重试次数 dfs.namenode.checkpoint.period