HDFS的基准测试

           实际生产环境当中，hadoop的环境搭建完成之后，第一件事情就是进行压力测试，测试我们的集群的读取和写入速度，测试我们网络带宽是否足够等一些基准测试

测试写入速度：

 

向HDFS文件系统中写入数据，10个文件，每个文件10MB，文件存放到/benchmarks/TestDFSIO中

hadoop jar /export/servers/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.5.jar TestDFSIO  -write  -nrFiles 10 -fileSize  10MB

完成之后查看写入速度结果：

hdfs dfs -text /benchmarks/TestDFSIO/io_write/part-00000
 

测试读取结果：

测试hdfs的读取文件性能

在HDFS文件系统中读入10个文件，每个文件10M

hadoop jar /export/servers/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.5.jar TestDFSIO  -read -nrFiles 10 -fileSize  10MB

查看读取结果：

hdfs dfs -text /benchmarks/TestDFSIO/io_read/part-00000

 

清除测试数据：

hadoop jar /export/servers/hadoop-2.7.5/share/hadoop/mapreduce/hadoopmapreduce-client-jobclient-2.7.5.jar TestDFSIO -clean