这篇博客通过实验详细分析了在一个由3台老机器组成的Hadoop集群上的文件传输性能。硬件环境包括Intel Pentium和Core 2 Duo CPU，2GB内存，100Mbit/s网络接口和160GB硬盘。软件环境为Fedora 15，Hadoop 1.0.0。测试内容包括HDFS与SCP的上传、下载速度对比，以及单点和跨节点的文件传输效率。结果显示，单个大文件传输效率接近本地磁盘复制，但小文件传输受到严重影响。NameNode节点的上传和下载速度显著慢于DataNodes，表明网络和硬件可能是性能瓶颈。
实验室的3台老机器组成的集群，配置：
NameNode：
CPU:
Intel(R) Pentium(R) Dual CPU E2160 @ 1.80GHz
size: 1800MHz
capacity: 1800MHz
width: 64 bits
clock: 200MHz
Memory:
size: 2GiB
width: 64 bits
Network:
description: Ethernet interface
product: RTL-8139/8139C/8139C+
endor: Realtek Semiconductor Co., Ltd.
size: 100Mbit/s
capacity: 100Mbit/s
width: 32 bits
clock: 33MHz
DISK:
description: ATA Disk
product: ST3160815AS
vendor: Seagate
size: 149GiB (160GB)
Slave1：
CPU:
product:Intel(R)Core(TM)2DuoCPUE7300@2.66GHz
vendor:IntelCorp.
physicalid:1
businfo:cpu@0
version:6.7.6
size:2650MHz
width:64bits Fedorarelease15(Lovelock)32bit
Memory:
description:SystemMemory
size:2GiB
width:64bits
clock:800MHz(1.2ns)
Network:
description:Ethernetinterface
product:88E8056PCI-EGigabitEthernetController
vendor:MarvellTechnologyGroupLtd.
size:100Mbit/s
capacity:1Gbit/s
width:64bits
clock:33MHz
DIsk:
description:ATADisk
product:HitachiHDP72501
size:149GiB(160GB)
capabilities:partitionedpartitioned:dos
Slave2：
CPU:
description: CPU
product: Intel(R) Core(TM)2 CPU 6300 @ 1.86GHz
vendor: Intel Corp.
slot: Socket 775
size: 1600MHz
capacity: 4GHz
width: 64 bits
clock: 266MHz
MEMORY:
description: System Memory
size: 2GiB
description: DIMM 800 MHz (1.2 ns)
size: 2GiB
width: 64 bits
clock: 800MHz (1.2ns)
Network:
description: Ethernet interface
product: RTL8111/8168B PCI Express Gigabit Ethernet controller
vendor: Realtek Semiconductor Co., Ltd.
size: 100Mbit/s
capacity: 1Gbit/s
width: 64 bits
clock: 33MHz
Disk:
description: ATA Disk
product: Hitachi HDS72103
vendor: Hitachi
size: 298GiB (320GB)
3台机器用5类线接到一台FAST FR516交换机上。
路由器型号：FAST FR516
网络标准：IEEE 802.3，IEEE 802.3u，IEEE 802.3x，IEEE 802.1X
网络协议：TCP/IP，DHCP，ICMP，
最低0.47元/天 解锁文章
1373
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
