MapReduce
ZhaoYingChao88
学而不思则罔,思而不学则殆!
展开
-
Mapreduce的性能调优
这里主要针对Mapreduce的性能调优。这里主要涉及的参数包括:HDFS:dfs.block.sizeMapredure:io.sort.mbio.sort.spill.percentmapred.local.dirmapred.map.tasks & mapred.tasktracker.map.tas原创 2017-11-21 09:44:37 · 710 阅读 · 0 评论 -
HDFS性能压测工具
转载地址:http://www.taobaotest.com/blogs/2517引言Hadoop生态圈的基石有两个,一个是HDFS文件系统,一个是MR编程框架。第一弹中提到应用MR编程框架实现大规模多机联合负载压测场景的方案,则突出了MR的能力,实际上HDFS作为这一切的基础,所起的作用是不容忽视的。HDFS分布式文件系统与一般的文件系统,从本质构成上来说并没有太大的区别原创 2017-12-24 18:32:15 · 4315 阅读 · 1 评论 -
hadoop性能调优
2. Linux系统层面上的配置调优2.1. 文件系统的配置a) 关闭文件在被操作时会记下时间戳:noatime和nodiratimeb) 选择I/O性能较好的文件系统(Hadoop比较依赖本地的文件系统)2.2. Linux文件系统预读缓冲区大小命令blockdev2.3. 去除RAID和LVM2.4. 增大同时打开的文件数和网络连接数ulimit原创 2017-12-24 19:04:16 · 697 阅读 · 0 评论 -
Hadoop MapReduce性能调优
对于非Hadoop自身方面的性能调优,比如硬件、操作系统(IOScheduler、启用预读取机制、关闭Swap等)、Java虚拟机。本文将重点介绍如何通过调整Hadoop自带的一些参数使作业运行效率达到最优。总体来说,提高作业运行效率需要Hadoop管理员和作业拥有者共同的努力。其中,管理员负责为用户提供一个高效的作业环境,而用户则负责根据自己作业的特点让它尽可能的运行完成。 在撰写原创 2017-12-24 19:09:34 · 1042 阅读 · 0 评论