之前学期的大数据内容都是在伪分布式下完成的,若想了解伪分布式,可以找前几天的内容,今天主要是针对与分布式部署。
安装方式
在Linux上手动将配置好的Hadoop分发给其他机器。不使用工具。
Linux环境的配置:
ip(几台虚拟机都在一个网段中)
主机名(主机名最好一样,后面跟个数字)
本地映射,DNS,防火墙,selinux(/etc/selinux/config)
扩展:Hadoop启动的过程方式:
之前的启动都是一个一个启动:
sbin/hadoop-daemon.sh start XX
现在分别启动hdfs和yarn: sbin/start-dfs.sh————sbin/start-yarn.sh
一次性启动所有: sbin/start-all.sh
ssh免密钥登入
我们开的几台虚拟机之间互相可以登入,但是登入时需要输入密码,互相操作时也需要密码,所以我们首先 设置一个面密钥登入,使不同虚拟机之间可以直接访问。
如何登入其他虚拟机?
ssh XXX(要登入的虚拟机hostname)
查看ssh命令:/home/huadian/.ssh
设置免密钥登入有两步:
第一步:为每台机器生产自己的公私钥
ssh-keygen -t rsa
第二步:把公私钥分发给每台机器,包括自己
ssh-copy-id XXX(分发的虚拟机hostname)
第三步:测试(使用ssh登入到其他机器,包括自己)
NTP时间同步
同步方式:同步的方式很多,但是我用的是一种比较通俗易懂的方法。
若有A,B,C三台虚拟机同步,这里选择A与外网进行同步,B,C则与A同步。
配置A:sudo vi /etc/ntp.conf
删除:
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
restrict 127.0.0.1
restrict -6 ::1
server 0.centos.pool.ntp.org
server 1.centos.pool.ntp.org
server 2.centos.pool.ntp.org
restrict -6 default kod nomodify notrap nopeer noquery
restrict 127.0.0.1
restrict -6 ::1
server 0.centos.pool.ntp.org
server 1.centos.pool.ntp.org
server 2.centos.pool.ntp.org
添加:可以直接添加,也可从下面的注释中修改
A可以跟谁同步:server 202.112.10.36(北京教育网IP)
允许谁可以跟A同步:restrict 192.168.59.0 mask 255.255.255.0 nomodify notrap
配置本地同步: