hadoop 安装步骤

1、环境准备
hadoop 安装：
centos 6.5 、jdk 1.8 、hadoop 2.6.5
百度云：链接：https://pan.baidu.com/s/190ukas0YPmJbtbM9P6eUkA 提取码：tpsh
2、基础设置：
修改IP：
vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
#HWADDR=00:0C:29:42:15:C2
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.38.11
NETMASK=255.255.255.0
GATEWAY=192.168.38.1
DNS1=223.5.5.5
DNS2=114.114.114.114
设置主机名
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node01
设置本机的ip到主机名的映射关系
vi /etc/hosts
192.168.38.11 node01
192.168.38.12 node02

关闭防火墙
service iptables stop
chkconfig iptables off
关闭 selinux
vi /etc/selinux/config
SELINUX=disabled

做时间同步
yum install ntp -y
vi /etc/ntp.conf
server ntp1.aliyun.com
service ntpd start
chkconfig ntpd on

安装JDK：
rpm -i jdk-8u181-linux-x64.rpm
vi /etc/profile
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile | . /etc/profile

3、Hadoop的配置（应用的搭建过程）
规划路径：
mkdir /opt/bigdata
tar xf hadoop-2.6.5.tar.gz
mv hadoop-2.6.5 /opt/bigdata/
pwd
/opt/bigdata/hadoop-2.6.5
vi /etc/profile
export JAVA_HOME=/usr/java/default
export HADOOP_HOME=/opt/bigdata/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin
source /etc/profile

配置hadoop的角色：
cd   $HADOOP_HOME/etc/hadoop
	必须给hadoop配置javahome要不ssh过去找不到
vi hadoop-env.sh
	export JAVA_HOME=/usr/java/default
	给出NN角色在哪里启动
vi core-site.xml
	    <property>
			<name>fs.defaultFS</name>
			<value>hdfs://node01:9000</value>
		</property>
	配置hdfs  副本数为1.
vi hdfs-site.xml
	    <property>
			<name>dfs.replication</name>
			<value>1</value>
		</property>
		<property>
			<name>dfs.namenode.name.dir</name>
			<value>/var/bigdata/hadoop/local/dfs/name</value>
		</property>
		<property>
			<name>dfs.datanode.data.dir</name>
			<value>/var/bigdata/hadoop/local/dfs/data</value>
		</property>
		<property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
		</property>
		<property>
			<name>dfs.namenode.checkpoint.dir</name>
			<value>/var/bigdata/hadoop/local/dfs/secondary</value>
		</property>
	配置DN这个角色再那里启动
vi slaves
	node01

4、初始化&启动：
hdfs namenode -format
创建目录
并初始化一个空的fsimage
VERSION
CID
start-dfs.sh
第一次：datanode和secondary角色会初始化创建自己的数据目录
http://node01:50070
修改windows： C:\Windows\System32\drivers\etc\hosts
192.168.38.11 node01
192.168.38.12 node02