【大数据】HBase集群断电文件坏块导致集群无法启动处理

最新推荐文章于 2024-10-10 17:12:11 发布
最新推荐文章于 2024-10-10 17:12:11 发布
阅读量104 收藏
点赞数 1
文章标签： 大数据 hbase 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zxln007/article/details/142821254
版权

hfile文件有坏块

Corrupt文件目录：/hbase/data/…
HBase异常：region无法在正常上线，http://master:16010页面看region
一直处于transition状态

wal文件损坏

Corrupt文件目录：/hbase/oldWALs/…或/hbase/WALs/…
HBase异常：回放hlog失败，http://master:16010页面异常信息如下

解决办法：

  1. 检测datanode是否都正常上线，没损坏的磁盘都正常挂载，防止非磁
    盘损坏问题导致HBase丢数据。
  2. 把坏块文件备份到HDFS上的临时目录（/user/hbase/backup/）下如果是wal文件损坏：文件目录/hbase/oldWALs或者/hbase/WALs，备
    份后等待自动恢复
    如果是HFile文件，文件目录/hbase/data，备份后执行hbase hbck -
    fixAssignments，重新分配region 上线
Jaeger1024
关注
机房断电导致HBase集群region offline故障解决
weixin_42340179的博客
12-03 3264
环境描述：ambari集群+hdfs+zookeeper+hbase 错误描述：hdfs 存在部分 corrupt replica blocks/missing blocks/under replicated blockes Block Errors 31  corrupt replica / 30  missing / 31 under replicated hbase存在大量的o...
hbase集群断电数据被破坏无法启动
xx7330842的专栏
10-26 3762
集群机器意外断电重启，导致hbase 无法正常启动，抛出reflect invocation异常，可能是正在执行的插入或合并等操作进行到一半时中断，导致部分数据文件不完整格式不正确或在hdfs上block块不完整。 在网上查了一下相关资料，怀疑有可能是关闭前一些未提交的修改所存放的log文件数据写入一半文件不完整，故把hbase.hlog.split.skip.errors改成true进
集群机器意外断电重启，导致hbase 无法正常启动
人的大脑是cpu，而不是硬盘
07-09 515
集群机器意外断电重启，导致hbase无法正常启动，抛出reflect invocation异常，可能是正在执行的插入或合并等操作进行到一半时中断，导致部分数据文件不完整格式不正确或在hdfs上block块不完整。 在网上查了一下相关资料，怀疑有可能是关闭前一些未提交的修改所存放的log文件数据写入一半文件不完整，故把hbase.hlog.split.skip.errors改成true进行尝试。 关于这个参数作用的解释： 当服务器奔溃，重启的时候，会有个回放的过程，把/hbase/WAL/下面记录的l.
hadoop hbase集群断电数据块被破坏无法启动
weixin_33919950的博客
06-26 137
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop-- HBase集群机房断电导致region offline故障解决
envinfo2012的博客
09-04 631
环境描述：hdfs+zookeeper+hbase 错误描述：hdfs 存在部分 corrupt replica blocks/missing blocks/under replicated blockes Block Errors 31corrupt replica / 30missing / 31 under replicated hbase存在大量的offline regi...
异常断电导致HDFS文件块丢失，影响HBASE数据的问题处理
Turk的专栏
04-06 4188
这几天一直看到HDFS提示文件块丢失的异常信息，也一直没有去关注，认为其他都正常。但是翻查HBASE入库日志的时候，发现了HBASE在提示入库的异常信息。联想到HDFS的块丢失问题，所以决定仔细检查一下，一查不得了，果然文件块丢失的问题影响还很大。很多数据都无法入库了。 通过命令检查HDFS的丢失文件块 hdfs fsck / -list-corruptfileblocks 发现
大数据之Hbase介绍
zhangboboshuai的博客
12-13 384
Hbase 基本介绍 ​ hbase 建立在HDFS之上的bigtable java版本。 ​ hbase是一个数据库。 ​ 不支持join等复杂sql操作， ​ 不支持复杂的事务（行级的事务） ​ Hbase中支持的数据类型：byte[] ​ 一个表可以有上十亿行，上百万列 ​ 面向列(族)的存储 ​ 使用key-value操作数据 ​ 对于为空(null)的列，并不占用存储空间, 表可以设...
hdfs文件损坏 现象：安装完 hbase之后，进入16010界面后发现 regionserver只有一个
weixin_53589204的博客
03-28 369
hbase 会依赖 hdfs ，hbase在启动regionserver的时候会看对应节点 hdfs 的服务 datanode是否是健康的，如果datanode未启动，或者是进入了安全模式，hbase 的regionserver就不会启动。3 使用这条命令完成 坏块的清理，重启hbase ，hbase会对hdfs的状态进行重新检查，发现是健康的，就会启动regionserver了。挂起恢复： 静态的先读进来，内存的信息文件，直接都会内存中，运行起来。关闭服务：越上层的 服务，先关闭，最后在关闭底层服务。
Hbase集群掉电后，重启出错,但是进程都已经启动成功
lll0101的博客
08-06 257
如下图所示，这个奇葩错误就是在实验室停电后我重启Hadoop和hbase集群后出现的，Hbase启动后有个自检的过程，过了一段时间才正常启动成功。 Hbase报错的原因还是因为，Hadoop一直处于安全模式下， 手动退出安全模式：hadoop dfsadmin -safemode leave 后又显示数据块丢失（都是与hbase相关的），执行命令hdfs fsck / -delete 将丢失的块...
hbase和hadoop数据块损坏处理
11-05
HDFS 坏块数据的处理通常是由挂了两台以上的机器导致的。因此，需要检查集群机器是否挂了多台，然后检查 HDFS 状态。如果不健康，需要确定有损坏的块，列出损坏块，然后删除全部的损坏块。最后，需要重启 HBase 集群...
记录一次大数据HBase问题的排查经过
爱码士的博客
05-19 775
背景 最近的一次断电开关机后，网站的信息无法浏览了。 代码查源 我们代码会有连接的有以下的组件： Solr cloud MySQL Oracle HBase 一个一个检查，首先排除了MySQL和Oracle，不然我们都无法登录了。 检查Solr 登录solr admin的网站，查看节点是否全是绿色的。 http://xxx:8983/solr/#/~cloud 发现全部断线，虽然服务已经在运行，但是需要重启。 # 1. 开启各个服务器上的zookeeper # 2. 关闭solr 后再重启 /data/
hadoop,hbase三台集群环境，其中有一台突然中断，如何重启。
jinger_000的博客
09-30 1124
由于网关的原因，一台服务器连接失败，造成hadoop的namenode均挂掉了。 查看hbase时，发现如下找到master错误： ERROR: Can't get master address from ZooKeeper; znode data == null 那么问题来了，如何重启？ [hadoop@hadoop001 ~]$ stop-hbase.sh stopping hba...
大数据分析入门概述
m0_47498690的博客
10-04 2678
本文旨在为有意向学习数据分析、数据开发等大数据方向的初学者提供一个学习指南，当然如果你希望通过视频课程的方式快速入门，B站UP主戴戴戴师兄的课程质量很高，并且适合初学者快速入门。本文的目的旨在为想要了解大数据但不知道该学习什么内容的初学者介绍大数据相关的各类工具以及各项技能。后续会按照本文提到的关键字逐条更新更详细的内容以及具体案例。SQL（Structured Query Language）是一种标准化的编程语言，用于管理关系数据库管理系统（RDBMS），如MySQL、PostgreSQL、Oracle、
大数据行业应用实训室建设方案
whwzzc的博客
10-08 1131
大数据项目实训平台确实是一个功能强大的工具，它不仅能够满足学校各种形式的实训教学活动需求，如实训周、小学期、综合课程设计等，还能提供小组分工协作的支持，为每个项目小组分配一套虚拟服务器集群，确保实训的顺利进行。唯众大数据教学云平台是一个开放式的课程平台，除了唯众的课程体系之外，老师可自主开发在线课程，支持Word、PPT、PDF、视频等常见课件直接转换成在线课程，从而让老师很方便的将专业基础课程迁移到平台上，便于构建完整的大数据、云计算、人工智能专业课程体系。此外，实训资源的不足严重阻碍了学生技能的培养。
netty之SpringBoot+Netty+Elasticsearch收集日志信息数据存储
CSDN_LiMingfly的博客
10-04 802
将大量的业务以及用户行为数据存储起来用于分析处理，但是由于数据量较大且需要具备可分析功能所以将数据存储到文件系统更为合理。尤其是一些互联网高并发级应用，往往数据库都采用分库分表设计，那么将这些分散的数据通过binlog汇总到一个统一的文件系统就显得非常有必要。#开发环境环境准备windows安装包 下载注意 es是以来java环境 所以需要安装jdk 支持1.7以上es-hander下载可视化操作插件@Id//姓名//年龄//级别//时间//电话//邮箱//地址。
消息队列介绍
weixin_38703379的博客
10-09 262
优点：性能单台（12000+），性能较好，管理界面较丰富。在互联网公司也有较多应用，有多个语言的成熟客户端。优点：性能单台（10万级），模型简单，接口易用。在阿里巴巴大规模应用。优点：性能单台（6000+）成熟，已经在很多公司得到应用。各种协议支持好，有多个语言的成熟客户端。缺点：运维难度大，对ZooKeeper强依赖。缺点：内部机制很难了解，也意味很难定制和掌控。缺点：性能较弱，缺乏大规模吞吐的场景的应用，有江河日下之感。优点：天生分布式性能最好，所以常见大数据领域。缺点：文档少，支持的语言较少。
【尚硅谷】RocketMQ 消息队列学习笔记
qq_43539664的博客
10-02 534
Topic -> Queue -> 消息Queue 太多不好管理，将Queue划分成不同的分片，Broker 存储分片Broker 是按照分片存储的。
打破常规，BD仓储物流的效能提升！
最新发布
RFIDyixin的博客
10-10 804
当前，随着国家战略的推进，JS与民用领域的融合不断加深，物流业也步入了军民融合的新时代。在智能仓储物流方面，JS物流的智能化进展受到了BD系统的高度关注和重视。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Jaeger1024

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值