赵英超的博客

相互学习,共同进步

Hadoop MapReduce性能调优

对于非Hadoop自身方面的性能调优,比如硬件、操作系统(IOScheduler、启用预读取机制、关闭Swap等)、Java虚拟机。本文将重点介绍如何通过调整Hadoop自带的一些参数使作业运行效率达到最优。总体来说,提高作业运行效率需要Hadoop管理员和作业拥有者共同的努力。其中,管理员负责为...

2017-12-24 19:09:34

阅读数:98

评论数:0

hadoop性能调优

2. Linux系统层面上的配置调优 2.1. 文件系统的配置 a) 关闭文件在被操作时会记下时间戳:noatime和nodiratime b) 选择I/O性能较好的文件系统(Hadoop比较依赖本地的文件系统) 2.2. Linux文件系统预读缓冲区大小 命令blockdev ...

2017-12-24 19:04:16

阅读数:101

评论数:0

HDFS性能压测工具

转载地址:http://www.taobaotest.com/blogs/2517 引言 Hadoop生态圈的基石有两个,一个是HDFS文件系统,一个是MR编程框架。第一弹中提到应用MR编程框架实现大规模多机联合负载压测场景的方案,则突出了MR的能力,实际上HDFS作为这一切的基础,所...

2017-12-24 18:32:15

阅读数:260

评论数:0

Mapreduce的性能调优

这里主要针对Mapreduce的性能调优。 这里主要涉及的参数包括: HDFS: dfs.block.size Mapredure: io.sort.mb io.sort.spill.percent mapred.local.dir...

2017-11-21 09:44:37

阅读数:77

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭