Centos7 搭建Hadoop3.0.3 +Zookeeper3.4.12+HBase2.1.0

安装包资源

JDK1.8

Hadoop3.0.3

Zookeeper3.4.12

HBase2.1.0

服务器资源

IP地址	hostname	是否NameNode	是否DataNode
192.168.60.204	master	是	否
192.168.60.205	node1	否	是

 

 

 

 

1、CentOS7 搭建Hadoop 3.0.3 环境

                  参考文章地址：https://blog.csdn.net/zhouzhiwengang/article/details/94549964

2、CentOS7 搭建Zookeeper3.4.12 环境

                  参考文章地址：https://blog.csdn.net/zhouzhiwengang/article/details/94564102，说明：此文章是CentOS7 单机版安装zookeeper.如果是搭建完整zookeeper 的集群环境，还有补充以下相关指令文件。

第一步：调整zookeeper 的配置文件（zoo.cfg）,添加如下指令文件

# 修改存储快照文件snapshot的目录
dataDir=/usr/local/zookeeper/zookeeper-3.4.12/data
# server.x中的x是一个数字，与myid文件中的id是一致的
server.1=master:2888:3888
server.2=node1:2888:3888

保存退出

第二步：创建一个data文件夹，存放myid

mkdir /usr/local/zookeeper/zookeeper-3.4.12/data
echo 1 > /usr/local/zookeeper/zookeeper-3.4.12/data/myid

第三步：分发安装包
将配置好的zookeeper拷贝到其他节点(首先在note1服务器根目录下创建一个zookeeper目录：mkdir /usr/local/zookeeper)

scp -r /usr/local/zookeeper/zookeeper-3.4.12/ note2:/usr/local/zookeeper/

注意：修改note1服务器对应/usr/local/zookeeper/zookeeper-3.4.12/data/myid内容
note1：

echo 2 > /usr/local/zookeeper/zookeeper-3.4.12/data/myid

第四步：启动Zookeeper集群（分别在每台服务器启动Zookeeper）

启动Zookeeper命令如下：

cd /usr/local/zookeeper/zookeeper-3.4.12/bin/
./zkServer.sh start

查看状态：一个leader，一个follower，命令如下：

./zkServer.sh status

注意：分别一定要在master、note1执行启动命令来启动Zookeeper.

 

3、CentOS7 搭建HBase-2.1.0

HBase 官网地址：http://hbase.apache.org

1、[官网][1]下载HBase，我这里选择的是2.1.0版本

2、通过FTP（WinSCP,FileZilla等）工具上传到指令目录 /usr/local/hadoop

3、使用解压命令解压到当前目录并对文件夹重新命令:

tar zxvf hbase-2.1.0-bin.tar.gz #解压
mv hbase-2.1.0-bin hbase-2.1.0 #文件夹重命名

4、HBase 配置全局环境变量

     在 /etc/profile 配置文件中添加 HBase 环境变量，内容如下：

export HBASE_HOME=/usr/local/hadoop/hbase-2.1.0
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$SQOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin

执行source /etc/profile,使配置的全局环境变量生效。

5、修改HBase的环境变量配置文件(hbase-env.xml)

cd /usr/local/hadoop/hbase-2.1.0/conf #切换至hbase 安装目录

vi hbase-env.sh  #编辑hbase 环境变量文件，添加如下内容：

export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64 #jdk 安装目录
export HBASE_LOG_DIR=/usr/local/hadoop/hbase-2.1.0/logs  #hbase 日志文件地址
export HBASE_MANAGES_ZK=false   #是否启用hbase 自带的zookeeper

6、修改HBase的配置文件(hbase-site.xml)

vi hbase-site.xml  #修改HBase 的站点文件，在properties新增内容如下：

<!--hbase 在hadfs 存储的根路径地址-->
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://master:9000/hbase</value>
</property>
<property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>
<!--zookeeper 监控hbase 服务器-->
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>master:2181,node1:2181</value>
</property>
<!--zookeeper 数据目录文件夹-->
<property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/usr/local/zookeeper/zookeeper-3.4.12/data</value>
</property>
<property>
    <name>hbase.master</name>
    <value>hdfs://master:60000</value>
</property>
<!--hbase 系统文件异常-->
<property>
<name>hbase.unsafe.stream.capability.enforce</name>
<value>false</value>
</property>

8、修改HBase的配置文件(regionservers)

vi regionservers #修改HBase 站点服务器地址，添加内容如下：

master
node1

9、复制hbase到node1中,执行如下指令：

 scp -r /usr/local/hadoop/hbase-2.1.0 node1:/usr/local/hadoop

10、启动hbase

cd /usr/local/hadoop/hbase-2.1.0/bin/
./start-hbase.sh 

第四步：集群环境启动和关闭流程说明：

Hadoop3.0.3 + ZooKeeper3.4.12 +HBase2.1.0 集群环境启动顺序：

启动：

       先zookeeper, zkServer.sh start,这个所有机器上都要做

       然后启动hadoop, start-all.sh, 只启动首机就行

       然后启动hbase, start-hbase.sh,只启动首机

      然后在每台机器上执行下jps看看是不是都启动了。

      node1 jps 结果展示：

      

      master jps 结果展示：   

      
 

停止：

      首机执行stop-hbase.sh  

      每台执行zkServer.sh stop 

      首机执行stop-all.sh 

      然后在每台机器上执行下jps查看进程