hadoop集群安装和配置(详细)

hadoop安装包3.3.6版本

链接:https://pan.baidu.com/s/1_afgDWVBhcU4QW_QokupQQ?pwd=0910 
提取码:0910

jdk包1.8_212版本

链接:https://pan.baidu.com/s/18unrZ1FH_B4H6jHbn09Vhg?pwd=wqkh 
提取码:wqkh

liunx虚拟机安装iso文件

链接:https://pan.baidu.com/s/1176bZCpz1LQvcVfERSWCdQ?pwd=kx2z 
提取码:kx2z

第一步

  1. 安装三台虚拟机
  2. Ping www.baidu.com测试网络
  3. service network restart打开网络
  4. cd /etc/sysconfig/network-scripts
  5. vi ifcfg-ens33修改ip地址
  6. Ping www.baidu.com测试网络
  7. service network restart打开网络
  8. Systemctl stop firewall关闭防火墙
  9. Systemctl disable firewall 彻底关闭

第二步

  1. hostnamectl set-hostname 主机名
  2. reboot重启
  3. vi /etc/hosts配置host文件(三台虚拟机同样操作)
  4. ping 另一台主机名

第三步

  1. 连接xshell
  2. yum install lrzsz安装上传工具
  3. rz 传文件

第四步

免密登录

  1. ssh-keygen -b 1024 -t rsa(三台虚拟机都要操作)
  2. cd .ssh进入ssh中
  3. vi id_rsa.pub
  4. ssh-copy-id 主机名(root目录下)
  5. 输入免密的祝你明密码

cd .ssh

  1. vi authorized_keys
  2. Ssh 主机名(测试免密登录)

第五步

  1. cd  .ssh
  2. Ls
  3. Chmod 600 authorized_keys改权限(三台虚拟机都要操作)
  4. 时间同步配置
  5. Cd . ssh
  6. Crontab -e
  7. 0 1 * * * /usr/sbin/ntpdata cn.pool.ntp.org
  8. Clock

第六步

  1. tar -xzvf 文件压塑包(解压压塑包,仅在主虚拟机操作,最后复制到其他虚拟机)
  2. Yum install vim
  3. vi .bash_profile
  4. Source 。Bas_profile重新加载
  5. Java -version检查java是否安装
  6. Scp -r jdk文件 root@另一虚拟机名:~/(传jdk到指定的虚拟机)

第七步

  1. ‌cd /hadoop-3.3.6/etc/hadoop
  2. ‌vi hadoop-env.sh‌配置java环境(三台虚拟机都要配置)
  3. vi ‌配置java环境
  4. ‌vi core-site.xml

  <property>

<name>fs.default.name</name>

<value>hdfs://hadoop10:9000</value>

 </property>

<property>

<name>hadoop.tmp.dir</name>

<value>/root/hadoopdata</value>

  </property>

  1. ‌vi hdfs-site.xml

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

  1. Vi mapred-site.xml

<property>

<name> mapreduce.framework.name </name>

<value>yarn</value>

</property>

  1. vi yarn-site.xml

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop10</value>

</property>

<property>

<name> yarnnodemanager.aux-services</name>

<value>mapreduce shuffle</value>

</property>

  1. vi slaves

第八步

  1. cd(到root下)
  2.  Scp -r hadoop-3.3.6 另一个主机名:~/(把hadoop文件copy到其他虚拟机下)
  3. 配置系统变量(三台虚拟机都要配置)
  4.  Vi .bash_profile
  5. mkdir /root/hadoopdata(创建文件夹)

第九步

  1. hdfs namenode -format(格式化hadoop)

第十步

  1. start-all.sh(启动hadoop)
  2. Jps(检查是否全部启动)
  3. Cd /hadoop-3.3.6etc/hadoop(进入到hadoop目录下)
  4. hadoop jar -/hadoop-3.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar pi 10 10
  5. 在hadoopmaster上启动Firefox, 输入http://主机名:50070/检查
  6. 代表Hadoop安装成功

第十一步

  1. 重启
  2. 修改这个问题
  3. 输入Vi /etc/ssh/sshd_config,修改页面上的选项,去掉前边的#
  4. Yum install xorg-x11-xauth(root目录下)
  5. Yum install xclock
  6. Systemctl restart sshd (重启sshd)
  7. 关闭,重新启动连接
  8. Clock(测试clock是否可以使用)(显示时间)
  9. Start-all.sh启动hadoop
  10. 在Firefox浏览器输入 主机名:50070(hadoop3.x.x.x输入9870端口)
  11. Ip:8088(查看hadoop运行状态)

第十一步

解决hadoop网页上传不了文件问题

  1. 状态栏打开记事本,以管理员身份运行,
  2. 在文件中点击打开,进入到c/window/system32/drivers/etc
  3. 点击右下角进入所有文件
  4. 点击hosts进入,编辑输入自己创建的虚拟机名称和ip,
  5. 保存退出
  6. 重启hadoop,在浏览器输入虚拟机的ip:9870进入浏览器(hadoop是3.x.x版本的使用9870端口,hadoop是2.xxx版本的使用50070端口,如果不能用这俩端口都试试)
  7. 输入ip:8088进入yarn调度页面
  8. 到这hadoop就安装完毕了,
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值