hdfs高可用与高拓展机制分析

最新推荐文章于 2023-07-23 08:29:47 发布
最新推荐文章于 2023-07-23 08:29:47 发布
阅读量848 收藏
点赞数
分类专栏： go语言分布式开发 大数据 文章标签： hdfs hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaicheng55/article/details/126292912
版权

一、元数据服务高可用

1.1高可用的需求

故障类型：

  • 软件故障
  • 硬件故障
  • 人为故障

灾难：数据中心级别不可用

故障不可避免，灾难有时发生

如果HDFS不可用，业务停止的损失极大，所以高可用就至关重要

1.2高可用形式

服务高可用有

  • 热备份：有另一个备份节点，发生故障时可直接切换
  • 冷备份：将关键性文件切换到另外位置，发生故障时通过备份数据进行恢复。

故障恢复操作：

  • 人工切换
  • 自动切换

人工的反应、决策时间都更长，高可用需要让系统自动决策。
HDFS的设计中，采用了中心化的元数据管理节点NameNode。NameNode容易成为故障中的单点(single point of failure)。

1.3HDFS NameNode高可用架构

在这里插入图片描述

组件介绍：

  • ActiveNamenode:主节点，提供服务，生产日志
  • StandbyNamenode:备节点，消费日志
  • ZooKeeper:为自动选主提供统一协调服务
  • BookKeeper:提供日志存储服务
  • ZKFC: NameNode探活、触发主备切换
  • HA Client:提供了自动切换的客户端
  • edit log:操作的日志

1.4理论基础：状态机复制和日志

状态机复制是实现容错的常用方法

组件：状态机以及其副本、变更日志、共识协议

在这里插入图片描述

1.5NameNode状态持久化

在这里插入图片描述

FSImage：是保存文件目录树的日志

EditLog：是保存对文件操作的日志

checkpoint机制会合并两者生成一个新的目录树日志
在这里插入图片描述

1.6NameNode操作日志的生产消费

Active生产，Standby (可能有多个)消费

在这里插入图片描述

1.7NameNode块维护

区别

  • Active即接收，也发起变更·
  • Standby只接收，不发起变更

在这里插入图片描述

1.8自动主备切换–server

ZKFailoverController：作为外部组件，驱动HDFS NameNode的主备切换

HA核心机制:Watch

在这里插入图片描述

1.9自动主备切换–client

核心机制-standbyexception

client自动处理

1.10BookKeeper架构

在这里插入图片描述

1.11Quorum机制：多副本一致性读写

场景:多副本对象存储，用版本号标识数据新旧

在这里插入图片描述

1.12BookKeeper Quorum

日志场景:顺序追加、只写

Write Quorum:写入副本数

Ack Quorum:响应副本数

在这里插入图片描述

1.13BookKeeper Ensemble

均衡加载数据

Round-Robin Load Balancer·

  • 第一轮: 1,2,3

  • 第二轮: 2,3,4

  • 第三轮: 3,4,1

  • 第四轮: 4,1,2

二、数据存储高可用

2.1单机存储–RAID

Redundant Array of Independent Disks
图:提供RAID功能的NAS设备

在这里插入图片描述

2.2RAID方案讲解

RAID 0：条带化-把数据按顺序依次分配在每个储存空间里

在这里插入图片描述

RAID 1: 冗余-把一份数据复制两份存储在每个储存空间里

RAID 3:容错校验

把数据分成多个“块”，按照一定的容错算法，存放在N+1个硬盘上，实际数据占用的有效空间为N个硬盘的空间总和，而第N+1个硬盘上存储的数据是校验容错信息，当这N+1个硬盘中的其中一个硬盘出现故障时，从其它N个硬盘中的数据也可以恢复原始数据，这样，仅使用这N个硬盘也可以带伤继续工作（如采集和回放素材），当更换一个新硬盘后，系统可以重新恢复完整的校验容错信息。

在这里插入图片描述

2.3HDFS多副本

HDFS版本的RAID1多副本
在这里插入图片描述

优点
陵与路径简单
副本修复简单高可用

Erasure Coding原理

HDFS版本的RAID2/3，常用Reed Solomon算法

算法原理

在这里插入图片描述

HDFS Erasure Coding

HDFS版本的RAID2

图:直接保存的EC和Stripe(条带化)后保存的EC

在这里插入图片描述

2.4网络架构

机架(Rack):放服务器的架子。
TOR(Top of Rack):机架顶部的交换机。
数据中心(Data Center):集中部署服务器的场所

在这里插入图片描述

2.5副本放置策略-机架感知

一个TOR故障导致整个机架不可用vs
降低跨rack流量

trade-off:一个本地、一个远端

三、元数据可拓展性

HDFS NameNode是个集中式服务，部署在单个机器上，内存和磁盘的容量、CPU的计算力都不能无限扩展。

拓展方法：

  • 扩容单个服务器的能力

  • 部署多个服务器来扩容

在这里插入图片描述

挑战：

  • 名字空间分裂
  • DataNode分裂
  • 目录树结构复杂

3.1常见的Scale Out方案

在这里插入图片描述

图:三种数据路由方式

  • 服务端侧
  • 路由层
  • 客户端侧

3.2社区解决方案 BlockPool

解决datenode同时服务多组NameNode的问题

文件服务分层

  • Namespace
  • Block Storage

用BlockPool来区分datenode的服务

  • 数据块存储
  • 心跳和块上报

3.3社区解决方案 viewsf

Federation架构:将多个不同集群组合起来，对外表现像一个集群一样。
图: viewfs通过在client-side的配置，指定不同的目录访问不同的NameNode。

在这里插入图片描述

3.4字节跳动的NNProxy

NNProxy是ByteDance自研的HDFS代理层，提供了路由服务。

NNProxy主要实现了路由管理和RPC转发·以及鉴权、限流、查询缓存等额外能力
图:NNProxy所在系统上下游

在这里插入图片描述

NNProxy的路由规则保存

![在这里插入图片描述](https://img-blog.csdnimg.cn/34fc748acbe14e4ea8d50377226dc2f9.png)

NNProxy路由转发实现

目录树视图

在这里插入图片描述

四、存储数据高拓展性

4.1延迟的分布与长尾延迟

延迟的分布:用百分数来表示访问的延迟的统计特征例如p95延迟为1ms，代表95%的请求延迟要低于1ms,但后5%的请求延迟会大于1ms

长尾延迟:尾部(p99/p999/p999)的延迟，衡量系统最差的请求的情况。会显著的要差于平均值

在这里插入图片描述

在这里插入图片描述

木桶原理使尾部延迟放大:访问的服务变多，尾部的请求就会越发的慢。

在这里插入图片描述

尾部延迟放大，整个服务被Backend 6拖累

4.2长尾问题的表现-慢节点

慢节点:读取速度过慢，导致客户端阻塞。

慢节点的发生难以避免和预测

  • 共享资源、后台维护活动、请求多级排队、功率限制。
  • 固定的损耗:机器损坏率
  • 混沌现象

离线任务也会遇到长尾问题

  • 全部任务完成时间取决于最慢的任务什么时候完成。
  • 集群规模变大，任务的数据量变大。
  • 只要任何数据块的读取受到长尾影响，整个任务就会因此停滞.

集群扩大10倍，问题扩大N(>10)倍

4.3超大集群下的数据可靠性

条件一:超大集群下，有一部分机器是损坏来不及修理的。

条件二:副本放置策略完全随机。

条件三:DN的容量足够大
推论:必然有部分数据全部副本在损坏的机器上，发生数据丢失。

解决方法：Copyset

将DataNode分为若干个Copyset选块在copyset内部选择
原理:减少了副本放置的组合数，从而降低副本丢失的概率。

在这里插入图片描述

4.4超大集群的负载均衡和数据迁移

在这里插入图片描述

新加入的DataNode会成为一个数据写入的热点，而老的datenode数据写入量就少了

数据的不均匀

  • 节点容量不均匀
  • 数据新日不均匀
  • 访问类型不均匀

资源负载不均匀

在这里插入图片描述

典型场景

在这里插入图片描述

4.5数据迁移工具-跨NN迁移

DistCopy

  • 基于MapReduce，通过一个个任务，将数据从一个NameNode拷
  • 贝到另一个 NameNode。
  • 需要拷贝数据，流量较大，速度较慢。

FastCopy

  • 开源社区的无需拷贝数据的快速元数据迁移方案√前提条件:新旧集群的DN列表吻合

  • 对于元数据，直接复制目录树的结构和块信息。

  • 对于数据块，直接要求DataNode从源 BlockPool hardlink 到目标

    BlookPool，没有数据拷贝。

  • hardlink:直接让两个路径指向同一块数据。

balancer

工具向DataNode 发起迁移命令，平衡各个DataNode的容量。

在这里插入图片描述

场景

  • 单机房使用、多机房使用限流措施

评价标准

  • 稳定性成本
  • 可运维性
    eNode。
  • 需要拷贝数据，流量较大，速度较慢。

FastCopy

  • 开源社区的无需拷贝数据的快速元数据迁移方案√前提条件:新旧集群的DN列表吻合

  • 对于元数据，直接复制目录树的结构和块信息。

  • 对于数据块，直接要求DataNode从源 BlockPool hardlink 到目标

    BlookPool，没有数据拷贝。

  • hardlink:直接让两个路径指向同一块数据。

balancer

工具向DataNode 发起迁移命令，平衡各个DataNode的容量。

[外链图片转存中…(img-UrAfd3Lb-1660221746580)]

场景

  • 单机房使用、多机房使用限流措施

评价标准

  • 稳定性成本
  • 可运维性
  • 执行效率

要实现，一个分布式文件系统要考虑的太多了，毕竟hdfs是个代码量十多万的项目。但是要是想搭建基本框架的人可以参考这个项目
还有一个用go语言写的简易gfs

背帆
关注
专栏目录
Hadoop10：HDFS的高可用和高扩展介绍
weixin_40612128的博客
03-02 1857
一、HDFS的高可用和高扩展 针对目前这个一主两从的集群 我们前面分析了NameNode负责接收用户的操作请求，所有的读写请求都会经过它，如果它挂了怎么办？ 这个时候集群是不是就无法正常提供服务了？是的，那现在我们这个集群就太不稳定了，因为NameNode只有一个，是存在单点故障的，咱们在现实生活中，例如，县长，是有正的和副的，这样就是为了解决当正县长遇到出差的时候，副县长可以顶上去。 所以在HDFS的设计中，NameNode也是可以支持多个的，一个主的 多个备用的，，当主的挂掉了，备用的可以顶上去，这样就
【HDFS】EC里的几个类：StripingCell、StripeRange、VerticalRange、StripingChunk、AlignedStripe
Badme
04-17 211
【HDFS】EC里的几个类：StripingCell、StripeRange、VerticalRange、StripingChunk、AlignedStripe
Hadoop分布式文件系统：HDFS（拓展）
m0_67448168的博客
05-31 102
Hadoop分布式文件系统：HDFS（拓展）
HDFS高扩展机制
cblock1的博客
08-07 586
故障类型：硬件故障、软件故障、人为操作不当、机房断电、机房空调停机、机房网络拥塞 可用性：99.9%，全年8.76小时不可用；99.99%，全年52.6分钟不可用；99.999%，全年5.26分钟不可用（难度高）
HDFS的集群扩展和故障切换策略
最新发布
互联网知识分享
07-23 188
HDFS_URI：HDFS的地址，包括主机名和端口号。conf：Hadoop配置对象，用于配置HDFS的参数。cluster：MiniDFSCluster对象，用于启动和关闭HDFS集群。filePath：测试文件的路径。isActive：判断NameNode是否处于Active状态。HDFS的集群扩展和故障切换策略是提高HDFS性能和可用性的重要手段。通过集群扩展可以增加存储容量和处理能力，通过故障切换策略可以实现高可用性和容错能力。以上给出了基于Java代码的示例，展示了如何实现。
Hadoop HDFS原理分析，技术详解
12-01
HDFS的高可用集群配置是指在NameNode和DataNode之间实现高可用的配置，通过设置多个NameNode和DataNode来实现高可用性和可扩展性。 HDFS是Hadoop项目的一部分，是一个分布式文件管理系统，具有高容错性、可扩展性和...
HDFS集群搭建，高可用双机热备模式(HA)自动切换，hdfs+zookeeper+journalnode，步骤分步原理详解(适合初学者)
CAM的博客
07-01 7523
前 言 作者也是初学hadoop，了解各组件的用途，并且项目中有些东西用不到，所以作者用最简化的组件搭建，避免多余资源的浪费，作者最初构想是zookeeper+hdfs搭建一个分布式文件系统，不用yarn和mapReduce，但是由于双机热备需要一个共享资源的目录，所以还是用到了yarn的journalnode。后续会进行详细说明。 作者会针对每一步进行详细说明以及原理解释，还有作者踩过的
2-3+HBase+应用与高可用实践.pdf
03-18
【标题】：“2-3+HBase+应用与高可用实践.pdf” 【描述】：这份文档探讨了HBase在实际应用中的使用情况以及如何实现高可用性，特别关注了平安科技在HBase上的实践。 【标签】：HBase, 高可用性, 数据存储, 性能...
【大数据Hadoop】HDFS-HA模式下ZKFC(DFSZKFailoverController)高可用主备切换机制
如切如磋，如琢如磨，臻于至善。
03-26 2631
当一个NameNode被成功切换为Active状态时，它会在ZK内部创建一个临时的znode，在znode中将会保留当前Active NameNode的一些信息，比如主机名等等。当Active NameNode出现失败或连接超时的情况下，监控程序会将ZK上对应的临时znode进行删除，znode的删除事件会主动触发到下一次的Active NamNode的选择。根据检测出的不同状态之后，会调用enterState方法，在这个方法内部会触发相应状态的回调事件。这2个方法会在HDFS HA自动切换最后被调用。
字节跳动10万节点HDFS集群多机房架构演进之路
字节跳动技术团队官方博客
07-02 8095
背景现状HDFS 全称是 Hadoop Distributed File System，其本身是 Apache Hadoop 项目的一个模块，作为大数据存储的基石提供高吞吐的海量数据存储能...
HDFS：从RAID到HDFS，看大数据存储王者的诞生
BoringError的博客
08-15 803
从RAID到HDFS：垂直拓展定有终点，但水平拓展没有尽头。
加速HDFS集群 RaidNode数据 退役的方法
呼吸
03-13 333
加速集群退役的方法，结合以往的经验和当前的信息看，阻碍集群退役的block都是RaidNode数据。
NProxy安装和使用详解
再见理想
05-05 3046
1.首先要先安装node.js 可在cmd下使用node --version查看版本 2.使用npm安装nproxy npm install -g nproxy 3.建立replace_rule.js 例如在盘 nproxy文件夹下新建replace_rule.js 里面的代码如下所示： module.exports = [ // 1
学习·Apache Doris元数据管理
xd1753762376的博客
02-28 3501
记·Apache Doris元数据管理一、 关键词二、 整体架构三、 元数据内容四、 高可用元数据五、 元数据镜像存储 一、 关键词 FE、BE、bdbje FE Frontend，即 Doris 的前端节点。主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作。 BE Backend，即 Doris 的后端节点。主要负责数据存储与管理、查询计划执行等工作。 bdbje 全称Oracle Berkeley DB Java Edition，在Doris 中，使用 bdbje 存放Dori
通过命令来查看NameNode的状态（是Active还是Standby）
快乐的风男
08-12 2万+
hadoop2.2.0（HA）中HDFS的高可靠指的是可以同时启动2个NameNode。其中一个处于工作状态，另一个处于随时待命状态。这样，当一个NameNode所在的服务器宕机时，可以在数据不丢失的情况下，手工或者自动切换到另一个NameNode提供服务。  这些NameNode之间通过共享数据，保证数据的状态一致。多个NameNode之间共享数据，可以通过Nnetwork File Syst...
Hadoop之HDFS---浅谈DN、NN、SNN
linhao
10-08 1万+
Hadoop浅谈         在了解HDFS之前必须介绍一下hadoop以及hadoop和HDFS之前的关系：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。那么它们之间的关系可以通过下面几点了解： 1、Hadoop是google的集群系统的开源实现：   Google集群系统
Hadoop硬件合理配置及raid方面的调研
qq_32656561的博客
12-08 3270
文章目录前言一、Hadoop硬件合理配置二、Hadoo架构配置 三、raid方面 前言 最近公司在Hadoop服务器未来规划，所以调研了各个方面，有点杂乱，这里记录一下。
HDFS读写文件流程
热门推荐
allen的博客
11-24 2万+
1.HDFS写流程： 客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block传递给相应datanode，并由接收到block的datanode负责向其他datanode复制block的副本如图： 写详细步骤：1、根namenode通信请求上传文件，namenode检查目标文件是否已存在，父目录是否存在
HDFS RAID实现方案
weixin_30778805的博客
04-19 137
分布式文件系统主要用于解决海量数据存储的问题，如Goolge、Facebook等大型互联网企业都使用分布式文件系统作为数据存储的基础设施，并在其上构建很多服务，分布式文件系统通常采用三副本的策略来保证数据的可靠性，但随着应用数据量的不断膨胀，三副本策略为可靠性牺牲的存储空间也越来越大，如何在不降低数据可靠性的基础上，进一步降低存储空间成本？ Facebook将erasure code应用到内部HD...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值