在大并发写时，HBase的HDFS DFSClient端报SocketTimeoutException的问题分析和解决

最新推荐文章于 2022-05-09 12:54:47 发布

伍涛

最新推荐文章于 2022-05-09 12:54:47 发布

阅读量2w

点赞数

分类专栏： hbase DFSClient HDFS SocketTimeout Sync DataNode Pipeline 文章标签： hbase socket 2010 exception thread c

本文链接：https://blog.csdn.net/zhaokunwu/article/details/7336892

版权

这篇博客分析了在大并发写操作中，HBase与HDFS交互时出现SocketTimeoutException的问题。异常发生在DFSOutputStream的ResponseProcessor中，由于等待通道准备读取超时导致。日志显示了错误恢复过程，包括尝试关闭故障的datanode。正常情况下，DFSClient写block数据的超时时间设置为180000毫秒，但在这个场景下出现了异常。博客讨论了可能的原因和潜在的解决策略。

摘要由CSDN通过智能技术生成

异常日志：

2012-03-02 12:11:21,983 WARN org.apache.hadoop.hdfs.DFSClient: DFSOutputStream ResponseProcessor exception for block blk_1439491087566691588_6207java.net.SocketTimeoutException: 69000 millis timeout while waiting for channel to be ready for read. ch : java.nio.channels.SocketChannel[connected local=/dw1:54889 remote=/dw2:62010]
        at org.apache.hadoop.net.SocketIOWithTimeout.doIO(SocketIOWithTimeout.java:164)
        at org.apache.hadoop.net.SocketInputStream.read(SocketInputStream.java:150)
        at org.apache.hadoop.net.SocketInputStream.read(SocketInputStream.java:123)
        at java.io.DataInputStream.readFully(DataInputStream.java:178)
        at java.io.DataInputStream.readLong(DataInputStream.java:399