hdfs一次一直处于安全模式检查与修复

最新推荐文章于 2024-08-01 11:58:45 发布
最新推荐文章于 2024-08-01 11:58:45 发布
阅读量1.3k 收藏 4
点赞数 2
分类专栏： 大数据 Hadoop 文章标签： hdfs hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhazhagu/article/details/110941808
版权

hdfs一次一直处于安全模式检查与修复


进入cm界面发现两个服务出现了异常

在这里插入图片描述

查找问题

  1. 二话不说，重启
    本地的服务哈，如果是线上的请跳过…
    反馈结果：问题依旧
  2. 查看相关信息吧
    我们知道hive依赖hdfs，所以hive的问题有可能是hdfs导致
    在这里插入图片描述
    两条信息
    在这里插入图片描述
    在这里插入图片描述
    HDFS Canary这个要读写hdfs验证hdfs的可用性。
    NameNode 当前处于 safe mode。所以是第二个问题导致的前面的验证不通过。所以我们需要排查一下namenode的sofemode

命令行查询一下

hdfs dfsadmin -safemode get

在这里插入图片描述

思考

想必大家都知道hdfs的启动过程
1.启动服务，datenode向namenode汇报自己的block信息，最初处于安全模式，如果每个最小的block满足设置的阈值，namenode离开安全模式，补充block副本数不足的，进行补充。
既然我们一直处于安全模式，说明我的block数不对，难道我集群有问题？
我去看了一下主机状态
在这里插入图片描述
这些节点都是正常的，我们还有一个命令,可以验证block是不是正常的

hadoop fsck /

排查解决

[gugu@slave1 ~]$ hadoop fsck /
WARNING: Use of this script to execute fsck is deprecated.
WARNING: Attempting to execute replacement "hdfs fsck" instead.
Connecting to namenode via http://master.com:9870/fsck?ugi=gugu&path=%2F
FSCK started by gugu (auth:SIMPLE) from /192.168.2.101 for path / at Wed Dec 09 22:07:50 CST 2020
/tmp/logs/gugu/logs/application_1607435161095_0001/slave1.com_8041: MISSING 1 blocks of total size 3                                                                                                            7242 B.
/tmp/logs/gugu/logs/application_1607435161095_0001/slave2.com_8041: CORRUPT blockpool BP-572917739-1                                                                                                            92.168.2.100-1601750079728 block blk_1073745376
/tmp/logs/gugu/logs/application_1607435161095_0001/slave2.com_8041: CORRUPT 1 blocks of total size 1                                                                                                            2697 B.
Status: CORRUPT
 Number of data-nodes:  3
 Number of racks:               1
 Total dirs:                    325
 Total symlinks:                0

Replicated Blocks:
 Total size:    4994301 B
 Total files:   76 (Files currently being written: 3)
 Total blocks (validated):      71 (avg. block size 70342 B) (Total open file blocks (not validated)                                                                                                            : 3)
  ********************************
  UNDER MIN REPL'D BLOCKS:      2 (2.8169014 %)
  dfs.namenode.replication.min: 1
  CORRUPT FILES:        2
  MISSING BLOCKS:       1
  MISSING SIZE:         37242 B
  CORRUPT BLOCKS:       1
  CORRUPT SIZE:         12697 B
  ********************************
 Minimally replicated blocks:   69 (97.1831 %)
 Over-replicated blocks:        0 (0.0 %)
 Under-replicated blocks:       0 (0.0 %)
 Mis-replicated blocks:         0 (0.0 %)
 Default replication factor:    1
 Average block replication:     0.97183096
 Missing blocks:                1
 Corrupt blocks:                1
 Missing replicas:              0 (0.0 %)
 Blocks queued for replication: 0

Erasure Coded Block Groups:
 Total size:    0 B
 Total files:   0
 Total block groups (validated):        0
 Minimally erasure-coded block groups:  0
 Over-erasure-coded block groups:       0
 Under-erasure-coded block groups:      0
 Unsatisfactory placement block groups: 0
 Average block group size:      0.0
 Missing block groups:          0
 Corrupt block groups:          0
 Missing internal blocks:       0
 Blocks queued for replication: 0
FSCK ended at Wed Dec 09 22:07:50 CST 2020 in 16 milliseconds
The filesystem under path '/' is CORRUPT

我们可以看到

The filesystem under path '/' is CORRUPT

说明我们的根路径是没有通过检查的，我们在上面可以看到健康检查的蛛丝马迹

FSCK started by gugu (auth:SIMPLE) from /192.168.2.101 for path / at Wed Dec 09 22:07:50 CST 2020
/tmp/logs/gugu/logs/application_1607435161095_0001/slave1.com_8041: MISSING 1 blocks of total size 3                                                                                                            7242 B.
/tmp/logs/gugu/logs/application_1607435161095_0001/slave2.com_8041: CORRUPT blockpool BP-572917739-1                                                                                                            92.168.2.100-1601750079728 block blk_1073745376
/tmp/logs/gugu/logs/application_1607435161095_0001/slave2.com_8041: CORRUPT 1 blocks of total size 1                                                                                                            2697 B.

是这几个文件的问题
一看是我spark日志的文件
不如，嘿嘿嘿删掉可好（仅供参考）

解决方案1

文件修复

  1. 离开安全模式
hdfs dfsadmin -safemode leave

在这里插入图片描述
2. 尝试修复文件

hdfs debug recoverLease -path /hbase/oldWALs/slave1.com%2C16020%2C1608213311522.meta.1608216920810.meta -retries 2

说明：-path 修复文件路径
-retries 尝试次数
在这里插入图片描述
所有文件修复后再次检查状态并且重新启动

hdfs fsck /

hdfs检查正常

集群所有角色都正常

解决方案2

首先我们要离开安全模式，否则我们是无法上传,更新，删除文件的

hdfs dfsadmin -safemode leave

在这里插入图片描述
所以我就去愉快地删除我的文件了

hdfs dfs -rmr /tmp/logs/gugu/logs/application_1607435161095_0001

在这里插入图片描述
重启服务
在这里插入图片描述
啊哈怎么还是有异常
点开让我康康
在这里插入图片描述
我去hdfsui康康
在这里插入图片描述
ok i know
删除文件进入了垃圾箱
so 我们清理下垃圾箱（但是先要离开安全模式），或者我们删除的时候跳过垃圾箱即可

hdfs dfsadmin -safemode leave
hdfs dfs -expunge

在这里插入图片描述
这次我记住了，清理完重新检查一下
在这里插入图片描述
然后重启服务，可以了哈哈哈
在这里插入图片描述

删除的时候跳过垃圾箱

hdfs dfs -rmr -f -skipTrash /tmp/logs/gugu/logs/application_1607435161095_0001

反思

hdfs安全模式一直没有正常离开说明我们的文件有损坏，后来我想到我的hdfs副本之前为了节约资源设置成了1，还是恢复成默认值3吧，这样也可以减少出现问题的概率，虽说我的虚拟机已经备份了镜像，但是所有的备份都是最后的保障，我们一般不会动用这个手段

谷新龙001
关注
专栏目录
【Hadoop】HDFS block丢失过多进入安全模式（safe mode）的解决方法
九师兄
11-18 1206
hdfs 重启hdfs，发现HA集群总是nameNode 主备挂掉，然后报错原因导致dataNode丢失超过设置的丢失百分比，说明我们的损坏的文件比例超过了阈值, 这个阈值配置在hdfs中, 也就是说不允许任何一个块损坏掉. 如果我们配置成99%应该就不会触发safemode了.
Hadoop启动后一直处于SafeMode
weixin_33696106的博客
03-04 820
2019独角兽企业重金招聘Python工程师标准>>> ...
HDFS 频繁进入安全模式的原因及解决方案
一个8年大数据开发工程师的碎碎念
08-01 568
HDFS安全模式频繁触发影响Hadoop集群稳定性？本文深入剖析HDFS安全模式机制，提供全面优化方案。从基础调整到高级系统调优，包括数据块修复、NameNode配置、网络优化、JVM调优、自动化监控等。学习如何提升DataNode性能，实现智能数据平衡，优化元数据管理。掌握这些技巧，显著减少安全模式触发，提高HDFS可靠性和效率。大数据工程师、Hadoop管理员必读的HDFS性能调优指南，助你构建高性能、稳定的大数据平台。#HDFS #Hadoop #大数据优化 #性能调优
hdfs一直处于safemode模式
weixin_30732825的博客
11-18 187
目前来看，导致hdfs一直处于safemode模式最直接的原因是已成功复制的块的比例没有达到默认值，块的损坏也会造成一直处于安全模式。 1)文件系统中有损坏的文件，使用fsck命令来查看 hadoop fsck / 以上是查看hdfs的根目录下的所有文件健康状况，如果有损坏的文件，就会提示： The filesystem under path '/' is CORRUPT(损...
hdfs一直处于安全模式问题排查
qq_31275419的博客
08-08 1272
hdfs由于异常，一直处于安全模式，排查异常问题
hdfs 安全模式
wanghui_gytj的博客
07-19 383
1.在HDFS配置文件中修改安全模式阀值 在hdfs-site.xml中设置安全阀值属性，属性值默认为0.999f，如果设为1则不进行安全检查<property> <name>dfs.safemode.threshold.pct</name> <value>0.999f</value> <description> Specifies the percentage of bloc
一篇文章彻底理解 HDFS 的安全模式
明哥的IT随笔
11-19 3366
一篇文章彻底理解 HDFS 的安全模式
HDFS block丢失，导致hadoop进入安全模式的解决方案
08-29
可以通过执行以下命令来检查当前Hadoop是否处于安全模式： ```bash hadoop dfsadmin -safemode get ``` 如果系统返回“safemode is ON”，则表示当前Hadoop正处于安全模式。 #### 四、强制退出安全模式的方法 1....
hdfs-安全模式的介绍
一亩三分地
02-03 770
官网介绍: 在启动期间，NameNode从fsimage和edits日志文件加载文件系统状态。然后，它等待DataNodes报告其块，以便尽管群集中已存在足够的副本，但它不会过早地开始复制块。在此期间，NameNode保持在Safemode中。NameNode的安全模式本质上是HDFS集群的只读模式，它不允许对文件系统或块进行任何修改。通常，在DataNode报告大多数文件系统...
hadoop 是否处于安全模式命令
06-09
Hadoop的安全模式（Safe Mode）是一个特殊的启动阶段，当Hadoop集群在某些情况下需要进行初始化配置或者修复问题时，会进入这个模式。在安全模式下，Hadoop集群只允许最小数量的服务运行，并且不会接受新的任务，...
HDFS安全模式
pengpengsays
01-01 1610
HDFS集群进入了安全模式？原因是什么？如何解决？来一起解读安全模式这种特殊的HDFS状态 什么是安全模式 安全模式是HDFS的一种特殊状态，在这种状态下，HDFS只接收读数据请求，而不接收写入、删除、修改等变更请求。它是HDFS确保集群安全的一种保护机制， NameNode如果检测到任何异常，便会进入到安全模式，直到问题解决。 触发安全模式的原因 Block上报率缺失 DataNode主动向NameNode汇报可用Block列表等信息，当Block上报率 <= 阈值时（默认阈值为0.999）， 会处
HDFS块丢失集群一直处于安全模式解决办法
weixin_42796403的博客
03-09 843
HDFS块丢失集群一直处于安全模式解决办法 今天在集群运行的时候突然断电了，服务器重启后，发现提交yarn任务一直报hdfs处于安全模式的错，然后查看hdfs状态，果真丢失两个数据块，导致块数量达不到99.9%。 解决方法 首先退出hdfs namenode safe mode hadoop dfsadmin -safemode leave 查看集群块状态 hadoop fsck / 将丢失的块全部删除（必须退出安全模式才能执行） hdfs fsck / -delete
Hadoop 集群一直处于安全模式，强制退出后出现数据丢失警告。解决方法_hadoop强制退出安全模式(1)
04-03 1653
ty3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算**
Hadoop 集群一直处于安全模式，强制退出后出现数据丢失警告。解决方法
JIE的博客 --- moon_coder
08-29 2331
也就是说，我们其实已经实际删除了某些数据块，但是记录的元数据因为一些故障导致没有进行同步，就会出现这种情况。通俗来说就是，当前系统中元数据与记录数据块前后不一致，而 Hadoop 默认要求最大的误差阀值为。此时，我们就会发现那些数据块丢失的文件，将这些文件按照路径在 HDFS 中全部删除即可。如果你想要对文件进行恢复，那么则需要请教相关专业人士，使用磁盘修复工具进行处理。等待安全模式，通常情况下在脚本中使用，当集群退出安全模式后，立马执行相关操作。添加完成后，分发同步该文件，重启集群后生效。
HDFS错误Name node is in safe mode的解决方法
为了忘却的纪念
07-03 4058
将本地文件上传到HDSF ,结果文件传输到半截，报了一个错误： Name node is in safe mode root@node3> hdfs dfs -put cdh5.11.1-centos7.tar.gz /user/hadoop_logs/ 17/07/03 11:19:11 WARN util.NativeCodeLoader: Unable to load nat
Ambari重启集群时页面NameNode起不来，页面日志报错：进去安全模式，需要退出NameNode安全模式
qq_44620475的博客
10-20 758
退出NameNode安全模式关闭问题 解决方法： 需要切换到hdfs用户 使用命令：hdfs dfsadmin -safemode leave 即可退出安全模式
hadoop：hdfs：Name node is in safe mode 安全模式问题
不花的花和尚的博客
06-11 1146
将本地文件拷贝到hdfs上去，结果上错误：Name node is in safe mode [root@sparkproject1 hadoop-mapreduce1-secure]# hadoop dfsadmin -safemode get DEPRECATED: Use of this script to execute hdfs command is deprecated. Inst...
HDFS安全模式（NameNode安全模式）实验
weixin_43636211的博客
11-28 406
实验目的： 实验一：验证NameNode启动时确实会进入安全模式，检查数据块的完整性，如果数据块是完整的，会退出安全模式，正常响应读写请求 实验二：验证NameNode启动时确实会进入安全模式，如果未达到配置文件规定个数的DataNode启动，会一直处于安全模式，直到达到规定个数的DataNode都启动后，才会退出安全模式 实验三：验证在NameNode进程运行过程中，如果突然出现了datanod...
虚拟机HDFS怎么向文本里面写数据
最新发布
09-15
虚拟机Hadoop Distributed File System (HDFS) 是Hadoop生态系统中的分布式文件系统，主要用于存储大规模数据集。向HDFS写入文本数据通常涉及以下几个步骤： 1. **配置环境**： 首先，你需要有一个运行Hadoop集群的环境，并确保HDFS服务已经启动。在本地开发环境中，你可以使用如Hadoop的伪分布式模式(Daemon mode) 或者Hadoop Docker镜像。 2. **创建客户端**： 使用Java、Python或其他支持Hadoop API的语言编写程序。例如，如果你选择的是Java，那么需要导入`org.apache.hadoop.conf.Configuration` 和 `org.apache.hadoop.fs.FileSystem` 类。 3. **初始化配置**： 创建一个`Configuration`实例，并设置必要的属性，比如`fs.defaultFS`，它指向你的HDFS名称节点的地址。 ```java Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://your_cluster_address:port"); ``` 4. **创建FileSystem实例**： 使用`Configuration`实例来创建`FileSystem`对象。 5. **创建文件或目录**： 在HDFS上指定路径，如果不存在则创建一个目录，然后创建一个文件用于写入文本。 ```java Path outputPath = new Path("/path/to/your/textfile.txt"); FileSystem fs = FileSystem.get(conf); if (!fs.exists(outputPath)) { fs.mkdirs(outputPath.getParent()); } ``` 6. **写入文本**： 使用`DataOutputStream`将文本写入到文件中，记得关闭流。 ```java BufferedWriter writer = new BufferedWriter(new OutputStreamWriter(fs.create(outputPath))); writer.write("你的文本内容"); writer.close(); ``` 7. **提交任务**： 如果是在MapReduce环境下，这一步骤通常是不需要的，因为文件会自动保存。但在非MR场景下，可能需要通过`fs.close()`关闭整个文件系统连接。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值