Hadoop学习笔记 （1）HDFS的搭建

由于现在网上大多是一些centos 6.5或者6.0的hadoop配置方式，所以特别准备了一篇centos7.0配置hadoop的方式，本文只讲配置，不讲具体原因，想要知道一些参数含义的可以去官网查看。

环境平台：centos 7.0虚拟机（采用的桥接方式连接，这样可以用固定ip地址访问虚拟机）

JDK版本：java 1.8

第一步 配置SSH 无密码登录

打开控制台，输入ssh -keygen -t rsa生成ssh密钥

进入.ssh目录，输入cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys将公钥拷贝

输入ssh localhost进行测试

第二步 更改主机名（可能你不需要）

如果想用主机名从外部进行访问，可以修改自己的主机名，首先在控制台输入

hostnamectl set-hostname myhadoop

然后vi /etc/hosts

在最后追加：

ip地址 myhadoop

重启后生效

第三步：配置hdfs

官网下载hadoop-2.6.0-cdh5.7.0.tar.gz后本地解压

进入hadoop-2.6.0-cdh5.7.0/etc/hadoop

编辑hadoop-env.sh 将jdk路径进行配置

编辑core-site.xml 添加：

<property>

    <name>fs.defaultFS</name>

    <value>hdfs://myhadoop:8020</value>   //myhadoop应为自己的主机名

</property>

<property>

    <name>hadoop.tmp.dir</name>

   <value>/root/software/tmp</value>

</property>

编辑hdfs-site.xml 添加

<property>

    <name>dfs.replication</name>

    <value>3</value>

</property>

4 这里有一个大坑，centos7.0的防火墙关闭方式改变了，你必须关闭或者在防火墙添加相应端口，才能从宿主机的浏览器访问

命令为

systemctl stop firewalld.service #关闭防火墙

如果不成功，可以禁止防火墙自动启动，命令为

systemctl disable firewalld.service#禁止开机启动

然后重启

5 启动HDFS

 初次使用时 格式化文件系统  hadoop namenode -format

进入sbin目录 输入./start.dfs.sh 启动hdfs

这时候用jps命令可以看到

DataNode

SecondaryNameNode

NameNode

在本机或者虚拟机浏览器输入myhadoop:50070会进入HDFS界面