赵英超的博客

相互学习,共同进步

Linux文件系统性能优化

由于各种的I/O负载情形各异,Linux系统中文件系统的缺省配置一般来说都比较中庸,强调普遍适用性。然而在特定应用下,这种配置往往在I/O性能方面不能达到最优。因此,如果应用对I/O性能要求较高,除了采用性能更高的硬件(如磁盘、HBA卡、CPU、MEM等)外,我们还可以通过对文件系统进行性能调优,...

2017-12-28 17:41:37

阅读数 165

评论数 0

neo4j介绍

Neo4j 在介绍Neo4j是如何实现全球性架构扩展能力之前,让我们先了解一下这个功能是构建在之前版本的哪一个模块之上,还是一个全新的功能呢? 在Neo4j 3.1版本时代,曾经推出的一个全新的高可用集群功能叫做因果集群,因果集群是基于Raft算法的一个分布式计算集群。因果集群...

2017-12-25 14:34:50

阅读数 695

评论数 0

Hadoop MapReduce性能调优

对于非Hadoop自身方面的性能调优,比如硬件、操作系统(IOScheduler、启用预读取机制、关闭Swap等)、Java虚拟机。本文将重点介绍如何通过调整Hadoop自带的一些参数使作业运行效率达到最优。总体来说,提高作业运行效率需要Hadoop管理员和作业拥有者共同的努力。其中,管理员负责为...

2017-12-24 19:09:34

阅读数 141

评论数 0

hadoop性能调优

2. Linux系统层面上的配置调优 2.1. 文件系统的配置 a) 关闭文件在被操作时会记下时间戳:noatime和nodiratime b) 选择I/O性能较好的文件系统(Hadoop比较依赖本地的文件系统) 2.2. Linux文件系统预读缓冲区大小 命令blockdev ...

2017-12-24 19:04:16

阅读数 142

评论数 0

HDFS性能压测工具

转载地址:http://www.taobaotest.com/blogs/2517 引言 Hadoop生态圈的基石有两个,一个是HDFS文件系统,一个是MR编程框架。第一弹中提到应用MR编程框架实现大规模多机联合负载压测场景的方案,则突出了MR的能力,实际上HDFS作为这一切的基础,所...

2017-12-24 18:32:15

阅读数 1095

评论数 0

提示
确定要删除当前文章?
取消 删除