hadoop HA配置

1、zookeeper集群搭建

a) 将zookeeper.tar.gz上传到node2、node3、node4

b) 解压到/opt

	tar -zxf zookeeper-3.4.6.tar.gz -C /opt

c) 配置环境变量：

	export ZOOKEEPER_PREFIX=/opt/zookeeper-3.4.6

	export PATH=$PATH:$ZOOKEEPER_PREFIX/bin

	. /etc/profile让配置生效

d) 到$ZOOKEEPER_PREFIX/conf下

	复制zoo_sample.cfg为zoo.cfg

		cp zoo_sample.cfg  zoo.cfg

e) 编辑zoo.cfg

	添加如下行：

		server.1=node2:2881:3881

		server.2=node3:2881:3881

		server.3=node4:2881:3881

	修改

		dataDir=/var/bjsxt/zookeeper/data

f) 创建/var/bjsxt/zookeeper/data目录，并在该目录下放一个文件：myid，在myid中写下当前zookeeper的编号

	mkdir -p /var/bjsxt/zookeeper/data

	echo 3 > /var/bjsxt/zookeeper/data/myid

g) 将/opt/zookeeper-3.4.6通过网络拷贝到node2、node3上

	scp -r zookeeper-3.4.6/ node2:/opt

	scp -r zookeeper-3.4.6/ node3:/opt

h) 在node2和node3上分别创建/var/bjsxt/zookeeper/data目录，并在该目录下放一个文件：myid

	node2:

		mkdir -p /var/bjsxt/zookeeper/data

		echo 1 > /var/bjsxt/zookeeper/data/myid

	node3:

		mkdir -p /var/bjsxt/zookeeper/data

		echo 2 > /var/bjsxt/zookeeper/data/myid

i) 启动zookeeper

	zkServer.sh start

	zkServer.sh start|stop|status

j) 关闭zookeeper

	zkServer.sh stop

l) 连接zookeeper

	zkCli.sh

m) 退出zkCli.sh命令

	quit

2、hadoop配置

core-site.xml

	<configuration>

		<property>

    		<name>fs.defaultFS</name>

    		<value>hdfs://mycluster</value>

		</property>

		<property>

    		<name>hadoop.tmp.dir</name>

    		<value>/var/bjsxt/hadoop/ha</value>

		</property>

		<!-- 指定每个zookeeper服务器的位置和客户端端口号 -->

		<property>

    		<name>ha.zookeeper.quorum</name>

    		<value>node2:2181,node3:2181,node4:2181</value>

		</property>

	</configuration>

hdfs-site.xml

	<configuration>

		<!-- 指定block默认副本个数 -->

		<property>

    		<name>dfs.replication</name>

    		<value>2</value>

		</property>

		<!-- 用于解析fs.defaultFS中hdfs://mycluster中的mycluster地址 -->

 		<property>

    		<name>dfs.nameservices</name>

        	<value>mycluster</value>

		 </property>

		<!-- mycluster下面由两个namenode服务支撑 -->

		<property>

    		<name>dfs.ha.namenodes.mycluster</name>

    		<value>nn1,nn2</value>

		</property>

		  <!--指定nn1的地址和端口号，发布的是一个hdfs://的服务-->

		<property>

    		<name>dfs.namenode.rpc-address.mycluster.nn1</name>

	        <value>node1:8020</value>

		</property>

		<property>

    		<name>dfs.namenode.rpc-address.mycluster.nn2</name>

    		<value>node2:8020</value>

		</property>

		<!--指定三台journal服务器的地址-->

		<property>

    		<name>dfs.namenode.shared.edits.dir</name>

         	<value>qjournal://node1:8485;node2:8485;node3:8485/mycluster</value>

		</property>

		<!-- 指定客户端查找active的namenode的策略：会给所有namenode发请求，以决定哪个是active的 -->

		<property>

    		<name>dfs.client.failover.proxy.provider.mycluster</name>

    		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

		</property>

		<!--在发生故障切换的时候，ssh到对方服务器，将namenode进程kill掉  kill -9  55767-->

	    <property>

      		<name>dfs.ha.fencing.methods</name>

      		<value>sshfence</value>

		</property>

		<property>

      		<name>dfs.ha.fencing.ssh.private-key-files</name>

      		<value>/root/.ssh/id_dsa</value>

		</property>

	 	<!-- 指定journalnode在哪个目录存放edits log文件 -->

		<property>

    		<name>dfs.journalnode.edits.dir</name>

    		<value>/var/bjsxt/hadoop/ha/jnn</value>

		</property>

		<!--启用自动故障切换-->

		<property>

  			<name>dfs.ha.automatic-failover.enabled</name>

   			<value>true</value>

		</property>

	</configuration>

3、启动ha的hadoop

	a) 在node1\node2\node3上启动三台journalnode

		hdfs --daemon start journalnode

	b) 任意选择node1或者node2，格式化HDFS

		hdfs namenode -format

		格式化后，启动namenode进程

		hadoop-daemon.sh start namenode

	c) 在另一台node2或者node1上同步元数据

		hdfs namenode -bootstrapStandby

	d) 初始化zookeeper上的内容

		hdfs zkfc -formatZK

	e) 启动hadoop集群，可在node1到node4这四台服务器上任意位置执行

		start-dfs.sh

	4、zookeeper操作

		在node2或者node3或者node4上运行

			zkCli.sh

		ls /hadoop-ha/mycluster 查看临时文件

		get /hadoop-ha/mycluster/ActiveStandbyElectorLock 查看临时文件的内容

		退出zkCli.sh

			quit

5、停止集群：

首先，停止hadoop：
	stop-dfs.sh

其次，停止zookeeper集群
	node2、node3、node4上执行：zkServer.sh stop