由于现在网上大多是一些centos 6.5或者6.0的hadoop配置方式,所以特别准备了一篇centos7.0配置hadoop的方式,本文只讲配置,不讲具体原因,想要知道一些参数含义的可以去官网查看。
环境平台:centos 7.0虚拟机(采用的桥接方式连接,这样可以用固定ip地址访问虚拟机)
JDK版本:java 1.8
第一步 配置SSH 无密码登录
打开控制台,输入ssh -keygen -t rsa生成ssh密钥
进入.ssh目录,输入cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys将公钥拷贝
输入ssh localhost进行测试
第二步 更改主机名(可能你不需要)
如果想用主机名从外部进行访问,可以修改自己的主机名,首先在控制台输入
hostnamectl set-hostname myhadoop
然后vi /etc/hosts
在最后追加:
ip地址 myhadoop
重启后生效
第三步:配置hdfs
官网下载hadoop-2.6.0-cdh5.7.0.tar.gz后本地解压
进入hadoop-2.6.0-cdh5.7.0/etc/hadoop
编辑hadoop-env.sh 将jdk路径进行配置
编辑core-site.xml 添加:
<property>
<name>fs.defaultFS</name>
<value>hdfs://myhadoop:8020</value> //myhadoop应为自己的主机名
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/software/tmp</value>
</property>
编辑hdfs-site.xml 添加
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
4 这里有一个大坑,centos7.0的防火墙关闭方式改变了,你必须关闭或者在防火墙添加相应端口,才能从宿主机的浏览器访问
命令为
systemctl stop firewalld.service #关闭防火墙
如果不成功,可以禁止防火墙自动启动,命令为
systemctl disable firewalld.service#禁止开机启动
然后重启
5 启动HDFS
初次使用时 格式化文件系统 hadoop namenode -format
进入sbin目录 输入./start.dfs.sh 启动hdfs
这时候用jps命令可以看到
DataNode
SecondaryNameNode
NameNode
在本机或者虚拟机浏览器输入myhadoop:50070会进入HDFS界面