hadoop之优化
文章平均质量分 78
润蛋
这个作者很懒,什么都没留下…
展开
-
hadoop优化调整
io.file.buffer.size hadoop访问文件的IO操作都需要通过代码库。因此,在很多情况下,io.file.buffer.size都被用来设置缓存的大小。不论是对硬盘或者是网络操作来讲,较大的缓存都可以提供更高的数据传输,但这也就意味着更大的内存消耗和延迟。这个参数要设置为系统页面大小的倍数,以byte为单位,默认值是4KB,一般情况下,可以设置为64KB(65536byte原创 2015-05-10 16:43:20 · 1863 阅读 · 0 评论 -
优化小计
1. 网络带宽Hadoop集群的服务器在规划时就在统一的交换机下,这是在官方文档中建议的部署方式。但是我们的这台交换机和其他交换机的互联带宽有限,所以在客户端遇到了HDFS访问速度慢的问题。把操作集群的客户端也联入DataNode的交换机内部,解决了这个问题。2. 系统参数对ulimit -c的修改也是官方文档建议的修改,在集群只有10台服务器时,并没有遇到问题。随着机器增原创 2015-05-10 17:17:38 · 448 阅读 · 0 评论