hadoop生产实践
1 机器选项,廉价机器,普通PC,普通硬盘。尽量不使用虚拟化(可用性,没必要)。
2 不同node不能共用一个物理硬盘,
3 内存,namenode 32g datanode 4g
4 cpu,内存较高的服务器作为datanode可以考虑虚拟机,需做cpu能力/内存 测试 .但是不同的虚拟节点依然不能共用同一个物理硬盘,防止IO冲突。
5 用dns代替hosts,linux下dns搭建,bind安装
6 镜像 ghost 安装集群,自动化脚本编写awk
1 机器选项,廉价机器,普通PC,普通硬盘。尽量不使用虚拟化(可用性,没必要)。
2 不同node不能共用一个物理硬盘,
3 内存,namenode 32g datanode 4g
4 cpu,内存较高的服务器作为datanode可以考虑虚拟机,需做cpu能力/内存 测试 .但是不同的虚拟节点依然不能共用同一个物理硬盘,防止IO冲突。
5 用dns代替hosts,linux下dns搭建,bind安装
6 镜像 ghost 安装集群,自动化脚本编写awk