Flink学习15---容错机制(五)checkpoints保存报错 Could not flush and close the file system output stream to hdfs

本文解决了一个在使用Flink进行大数据处理时,保存Checkpoint至HDFS时遇到的错误。错误提示为无法刷新并关闭文件系统输出流到HDFS,只能复制到0个节点而不是最小复制数(=1),尽管有2个数据节点运行且没有节点被排除。问题根源在于flink-conf.yaml配置文件在单节点上配置不一致,通过统一所有节点上的配置文件设置,问题得以解决。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在保存checkpints的时候,可能会出现保存失败的情况。我遇到的报错如下:

Could not flush and close the file system output stream to hdfs:....

could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running and no node(s) are excluded in this operation.

我的原因是flink-conf.yaml配置文件配置错误。

我只在一个节点上的flink-conf.yaml进行了如下配置,将所有节点上的配置文件都按如下修改,问题解决。

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值