dfs.client.block.write.replace-datanode-on-failure

最新推荐文章于 2021-12-08 19:20:48 发布
最新推荐文章于 2021-12-08 19:20:48 发布
阅读量1k 收藏 2
点赞数
分类专栏： 大数据 文章标签： hdfs 阿里云
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhan13253807836/article/details/121303337
版权

  1. 问题描述
    在使用hdfs api追加内容操作，从windows电脑上的idea对aliyun服务器上的hdfs中的文件追加内容时，出现错误，如下：

    java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes: current=[DatanodeInfoWithStorage[172.25.55.228:9866,DS-6ba619cf-5189-45c7-8dbc-56afa381ab0b,DISK]], original=[DatanodeInfoWithStorage[172.25.55.228:9866,DS-6ba619cf-5189-45c7-8dbc-56afa381ab0b,DISK]]). The current failed datanode replacement policy is DEFAULT, and a client may configure this via ‘dfs.client.block.write.replace-datanode-on-failure.policy’ in its configuration.
    at org.apache.hadoop.hdfs.DFSOutputStream D a t a S t r e a m e r . f i n d N e w D a t a n o d e ( D F S O u t p u t S t r e a m . j a v a : 918 ) a t o r g . a p a c h e . h a d o o p . h d f s . D F S O u t p u t S t r e a m DataStreamer.findNewDatanode(DFSOutputStream.java:918) at org.apache.hadoop.hdfs.DFSOutputStream DataStreamer.findNewDatanode(DFSOutputStream.java:918)atorg.apache.hadoop.hdfs.DFSOutputStreamDataStreamer.addDatanode2ExistingPipeline(DFSOutputStream.java:984)
    at org.apache.hadoop.hdfs.DFSOutputStream D a t a S t r e a m e r . s e t u p P i p e l i n e F o r A p p e n d O r R e c o v e r y ( D F S O u t p u t S t r e a m . j a v a : 1131 ) a t o r g . a p a c h e . h a d o o p . h d f s . D F S O u t p u t S t r e a m DataStreamer.setupPipelineForAppendOrRecovery(DFSOutputStream.java:1131) at org.apache.hadoop.hdfs.DFSOutputStream DataStreamer.setupPipelineForAppendOrRecovery(DFSOutputStream.java:1131)atorg.apache.hadoop.hdfs.DFSOutputStreamDataStreamer.run(DFSOutputStream.java:455)

    截图：
    在这里插入图片描述

  2. 问题解决
    在idea代码中添加

configuration.set("dfs.client.block.write.replace-datanode-on-failure.policy", "NEVER");
学习是一种信仰_zdy
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop学习笔记—3.HadoopRPC机制的使用
02-24
RPC，即RemoteProcdureCall，中文名：远程过程调用；（1）它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节，对我们来说是透明的。因此，它经常用于分布式网络通信中。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。（2）Hadoop的进程间交互都是通过RPC来进行的，比如Namenode与Datanode直接，Jobtracker与Tasktracker之间等。因此，可以说：Hadoop的运行就是建立在RP
大数据面试题-.docx
12-24
单项选择题 1. 下面哪个程序负责 HDFS 数据存储。 　　a)NameNode 　　b)Jobtracker 　　c)Datanode 　　d)secondaryNameNode 　　e)tasktracker 2. HDfS 中的 block 默认保存几份? 　　a)3 份 　　b)2 份 　　c)1 份 　　d)不确定 3. 下列哪个程序通常与 NameNode 在一个节点启动? 　　a)SecondaryNameNode 　　b)DataNode 　　c)TaskTracker 　　d)Jobtracker 4. Hadoop 作者 大数据面试题-全文共15页，当前为第1页。　　a)Martin Fowler 大数据面试题-全文共15页，当前为第1页。 　　b)Kent Beck 　　c)Doug cutting 5. HDFS 默认 Block Size 　　a)32MB 　　b)64MB 　　c)128MB 6. 下列哪项通常是集群的最主要瓶颈 　　a)CPU 　　b)网络 　　c)磁盘 　　d)内存 7. 关于 SecondaryNameNode 哪项是正确的? 　　a)它是 NameNode 的热备 　　b)它对内存没有要求 　　c)它的目的是帮助 NameNode 合并编辑日志，减少 NameNode 启动时间 　　d)SecondaryNameNode 应与 NameNode 部署到一个节点 多选题 8. 下列哪项可以作为集群的管理工具 大数据面试题-全文共15页，当前为第2页。　　a)Puppet 大数据面试题-全文共15页，当前为第2页。 　　b)Pdsh 　　c)Cloudera Manager 　　d)d)Zookeeper 9. 配置机架感知的下面哪项正确 　　a)如果一个机架出问题，不会影响数据读写 　　b)写入数据的时候会写到不同机架的 DataNode 中 　　c)MapReduce 会根据机架获取离自己比较近的网络数据 10. Client 端上传文件的时候下列哪项正确 　　a)数据经过 NameNode 传递给 DataNode 　　b)Client 端将文件切分为 Block，依次上传 　　c)Client 只上传数据到一台 DataNode，然后由 NameNode 负责 Block 复制工作 11. 下列哪个是 Hadoop 运行的模式 　　a)单机版 　　b)伪分布式 　　c)分布式 12. Cloudera 提供哪几种安装 CDH 的方法 　　a)Cloudera manager 　　b)Tar ball 大数据面试题-全文共15页，当前为第3页。　　c)Yum d)Rpm 大数据面试题-全文共15页，当前为第3页。 判断题 13. Ganglia 不仅可以进行监控，也可以进行告警。( ) 14. Block Size 是不可以修改的。( ) 15. Nagios 不可以监控 Hadoop 集群，因为它不提供 Hadoop 支持。( ) 16. 如果 NameNode 意外终止，SecondaryNameNode 会接替它使集群继续工作。( ) 17. Cloudera CDH 是需要付费使用的。( ) 18. Hadoop 是 Java 开发的，所以 MapReduce 只支持 Java 语言编写。( ) 19. Hadoop 支持数据的随机读写。( ) 20. NameNode 负责管理 metadata，client 端每次读写请求，它都会从磁盘中读取或则会写入 metadata 信息并反馈 client 端。( ) 21. NameNode 本地磁盘保存了 Block 的位置信息。( ) 22. DataNode 通过长连接与 NameNode 保持通信。( ) 23. Hadoop 自身具有严格的权限管理和安全措施保障集群正常运行。( ) 24. Slave 节点要存储数据，所以它的磁盘越大越好。( ) 25. hadoop dfsadmin –report 命令用于检测 HDFS 损坏块。( ) 26. Hadoop 默认调度器策略为 FIFO( ) 大数据面试题-全文共15页，当前为第4页。27. 集群内每个节点都应该配 RAID，这样避免单磁盘损坏，影响整个节点运行。( ) 大数据面试题-全文共15页，当前为第4页。 28. 因为 HDFS 有多个副本，所以 NameNode 是不存在单点问题的。( ) 29. 每个 map 槽就是一个线程。( ) 30. Mapreduce 的 input split 就是一个 block。( ) 31. NameNode 的 Web UI 端口是 50030，它通过 jetty 启动的 Web 服务。( ) 32. Ha
docker-hdfs-datanode:用于运行 hdfs 数据节点的 Docker 容器
06-23
在 docker 容器中运行 hdfs 数据节点 暴露端口 TCP 50010 dfs.datanode.address 数据传输端口 TCP 50020 dfs.datanode.ipc.address ipc 服务器 TCP 50075 dfs.datanode.http.address http 服务器 TCP 50475 dfs.datanode.https.address https 服务器 例子 docker run -d --link namenode:namenode hauptmedia/hdfs-datanode
HDFS的概念-namenode和datanode.pdf
07-11
HDFS的概念-namenode和datanode.pdf 学习资料 复习资料 教学资源
Hadoop常见错误及解决办法汇总
s646575997的博客
05-01 2274
错误一：Java.io.IOException: Incompatible clusterIDs 时常出现在namenode重新格式化之后原因：每次namenode format会重新创建一个namenodeId,而data目录包含了上次format时的id,namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所要做的就是每次fotma
HDFS——写文件中的异常处理
hncscwc的博客
08-11 2283
记得看过一本书，里面是这么写的，软件开发中的二八原则，80%的时间运行的是正常流程，20%的时间是异常流程。而实际代码中，80%的代码是在处理异常逻辑，而正常流程只占20%。由此可见，异常...
【异常】Spark写入HBase时写入DataNode失败：dfs.client.block.write.replace-datanode-on-failure.policy
活的洒脱怪我咯的专栏
12-25 6475
问题描述： 在SparkStreaming长时间写入HBase的时候，会下面的异常问题： 2017-12-24 23:20:34 [ SparkListenerBus:540107357 ] - [ ERROR ] Listener EventLoggingListener threw an exception java.io.IOException: Failed to replace
flume 集群datanode节点失败导致hdfs写失败(转)
weixin_34050005的博客
09-05 155
来自：http://www.geedoo.info/dfs-client-block-write-replace-datanode-on-failure-enable.html   这几天由于杭州集群处于升级过度时期，任务量大，集群节点少（4个DN），集群不断出现问题，导致flume收集数据出现错误，以致数据丢失。 出现数据丢失，最先拿来开刀的就是数据收集，好嘛，先看看flume的错误日志:...
hadoop错误java.io.IOException Failed to replace a bad datanode on the existing pipeline due to no more...
10-08 838
错误： java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try 原因： 无法写入；我的环境中有3个datanode，备份数量设置的是3。在写操作时，它会在pip...
Hadoop参数汇总
01-04 1800
Hadoop参数汇总 @(hadoop)[配置] linux参数 以下参数最好优化一下： 文件描述符ulimit -n 用户最大进程 nproc （hbase需要 hbse book） 关闭swap分区 设置合理的预读取缓冲区 Linux的内核的IO调度器 JVM参数 JVM方面的优化项Hadoop Performance Tuning Guide Hadoop参数大全 适用
(转)hadoop 常规错误问题(一)
weixin_34261739的博客
03-19 2255
转至：http://www.freeoa.net/osuport/db/my-hbase-usage-problem-sets_2979.html 本文是我在使用Hbase的过程碰到的一些问题和相应的解决方法，现将这些经过总结分析，以免日后忘记。hadoop新增节点hadoop集群要增加3个节点。在3台主机分别配置了host、与集群内所有机器的ssh登录互信、jdk1.7 等。所有配置、目录...
将文件内容追加到HDFS文件中报错：Failed to APPEND_FILE /user/huangyx/huangyx.txt for DFSClient_NONMAPREDUCE_1450897
hedgehog678的博客
10-22 3654
报错： 追加文件失败。 Failed to APPEND_FILE /user/huangyx/huangyx.txt for DFSClient_NONMAPREDUCE_1450897 网上普遍方法： 修改hdfs-core.xml文件，如果修改了仍不成功则在代码中添加两行： conf.set("dfs.client.block.write.replace-datanode-on-failure.policy","NEVER"); conf.set("dfs.client.block.write.re
he current failed datanode replacement policy is DEFAULT报错
weixin_43376061的博客
05-17 959
hadoop The current failed datanode replacement policy is DEFAULT, and a client may configure this via ‘dfs.client.block.write.replace-datanode-on-failure.policy’ in its configuration报错 解决办法：修改hdfs-site.xml文件 添加 <property> <name>dfs.client.blo
The current failed datanode replacement policy is DEFAULT
qq_48959845的博客
12-08 578
The current failed datanode replacement policy is DEFAULT, and a client may configure this via ‘dfs.client.block.write.replace-datanode-on-failure.policy’ in its configuration. 在向hive动态分区表中加载数据时报错 解决方法 <property> <name>dfs.client.block.write.
HDFS使用appendToFile报错WARN hdfs.DFSClient: DataStreamer Exception java.io.IOException: Failed
master_hunter的博客
09-29 1935
报错提示说原文件已经被视为bad datanode了，具体不知道怎么被视作的。参考hadoop错误解决方案： 先看看文件是否有写权限。 解决方法： 修改hdfs-site.xml文件，添加或者修改如下两项： < property> < name> dfs.client.block.write.replace-datanode-on-failure.enable </ name> < value>true</ value> <...
CDH集群配置
DCHAO的博客
08-22 1420
原理 目前的CDH集群安装的配置主要考虑的是内存和CPU核数的分配，因为内存和CPU的配置直接影响集群的性能。其他的配置则跟集群整体规划有关，如NameNode，ResourceManager，zookeeper等安装在哪；block块的大小；以及是否需要开启CDH本身提供的一些功能等等。所以以下会分两个部分描述集群的配置文件：内存和CPU参数部分，其他常用配置部分。最后给出整个集群的详细配置参数...
HDFS JAVA API APPEND操作异常
pyxiea
03-03 3211
java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try.
java 连接hadoop集群_在MyEclipse连接Hadoop集群时，编写语句后，run执行报错
weixin_35422771的博客
02-25 444
在MyEclipse连接Hadoop集群时，编写语句后，run执行之后出现的Errors!!!其中，出现以下几点：执行语句后出现的问题：1)java.lang.IllegalArgumentException: Wrong FS: hdfs://master:9000/test.txt, expected: file:/// at org.apache.hadoop.fs.FileSystem...
配置 'dfs.client.block.write.replace-datanode-on-failure.policy' 来修改故障替换策略。
最新发布
05-25
`dfs.client.block.write.replace-datanode-on-failure.policy` 是一个 Hadoop 配置项，用于指定在数据节点故障时，客户端写入数据块时使用的故障替换策略。它有以下三个可选值： - NEVER：永远不会替换故障的数据节点。 - ALWAYS：总是替换故障的数据节点。 - DEFAULT：使用 Hadoop 集群配置中的默认故障替换策略，通常为默认值。 如果你想修改故障替换策略，可以在 Hadoop 配置文件（如 `hdfs-site.xml`）中添加以下配置项： ```xml <property> <name>dfs.client.block.write.replace-datanode-on-failure.policy</name> <value>NEW_POLICY</value> </property> ``` 其中，`NEW_POLICY` 是你想要使用的故障替换策略，可选值为 NEVER、ALWAYS 或 DEFAULT。修改完成后，需要重启 Hadoop 服务才能生效。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值