2017年12月_ZhaoYingChao88

12月 11月 10月 06月 05月 04月 03月 01月

原创 Linux文件系统性能优化

由于各种的I/O负载情形各异，Linux系统中文件系统的缺省配置一般来说都比较中庸，强调普遍适用性。然而在特定应用下，这种配置往往在I/O性能方面不能达到最优。因此，如果应用对I/O性能要求较高，除了采用性能更高的硬件（如磁盘、HBA卡、CPU、MEM等）外，我们还可以通过对文件系统进行性能调优，来获得更高的I/O性能提升。总的来说，主要可以从三个方面来做工作：1、Disk相关参数调优

2017-12-28 17:41:37 1014

原创 neo4j介绍

Neo4j在介绍Neo4j是如何实现全球性架构扩展能力之前，让我们先了解一下这个功能是构建在之前版本的哪一个模块之上，还是一个全新的功能呢？在Neo4j 3.1版本时代，曾经推出的一个全新的高可用集群功能叫做因果集群，因果集群是基于Raft算法的一个分布式计算集群。因果集群使Neo4j可以在集群内的不同角色（核心服务器和读取副本）之间分离读/写数据库活动，从而实现对巨量吞吐

2017-12-25 14:34:50 2559

原创 Hadoop MapReduce性能调优

对于非Hadoop自身方面的性能调优，比如硬件、操作系统（IOScheduler、启用预读取机制、关闭Swap等）、Java虚拟机。本文将重点介绍如何通过调整Hadoop自带的一些参数使作业运行效率达到最优。总体来说，提高作业运行效率需要Hadoop管理员和作业拥有者共同的努力。其中，管理员负责为用户提供一个高效的作业环境，而用户则负责根据自己作业的特点让它尽可能的运行完成。在撰写

2017-12-24 19:09:34 1040

原创 hadoop性能调优

2. Linux系统层面上的配置调优2.1. 文件系统的配置a) 关闭文件在被操作时会记下时间戳:noatime和nodiratimeb) 选择I/O性能较好的文件系统（Hadoop比较依赖本地的文件系统）2.2. Linux文件系统预读缓冲区大小命令blockdev2.3. 去除RAID和LVM2.4. 增大同时打开的文件数和网络连接数ulimit

2017-12-24 19:04:16 696

原创 HDFS性能压测工具

转载地址：http://www.taobaotest.com/blogs/2517引言Hadoop生态圈的基石有两个，一个是HDFS文件系统，一个是MR编程框架。第一弹中提到应用MR编程框架实现大规模多机联合负载压测场景的方案，则突出了MR的能力，实际上HDFS作为这一切的基础，所起的作用是不容忽视的。HDFS分布式文件系统与一般的文件系统，从本质构成上来说并没有太大的区别

2017-12-24 18:32:15 4315 1