Centos7 + Hadoop-2.6.0 + hive-2.3.3 + sqoop-1.4.7.bin_hadoop-2.6.0

一、环境准备

1.服务器选择

本地虚拟机
操作系统:linux CentOS 7
Cpu：2核
内存：2G
硬盘:40G

具体教程和使用可参考一下博文。
地址: http://blog.csdn.net/qazwsxpcm/article/details/78816230。

2.配置选择

JDK:1.8 （jdk-8u144-linux-x64.tar.gz）
Hadoop:2.6.0 (hadoop-2.6.0.tar.gz)
Hive： 2.3.3 (apache-hive-2.3.3-bin.tar.gz)

3.下载地址

JDK：http://www.oracle.com/technetwork/java/javase/downloads
Hadopp:http://www.apache.org/dyn/closer.cgi/hadoop/common
Hivehttp://mirror.bit.edu.cn/apache/hive/

二、服务器的相关配置

在配置之前，应该先做一下配置。

做这些配置为了方便，使用root权限。

1.更改主机名

首先更改主机名，目的是为了方便管理。
输入:

hostname

查看本机的名称
然后更改主机名为master
输入:

hostnamectl set-hostname master

注:主机名称更改之后，要重启(reboot)才会生效。

2.做IP和主机名的映射

修改hosts文件，做关系映射

输入：

vim /etc/hosts

添加主机的ip 和 主机名称 ：192.168.135.110 master

3.关闭防火墙

关闭防火墙，方便访问。

CentOS 7版本以下输入:

关闭防火墙：

service iptables stop

CentOS 7 以上的版本输入：

systemctl stop firewalld.service

4．时间设置

查看当前时间输入:

date

查看服务器时间是否一致，若不一致则更改

更改时间命令：

date -s ‘MMDDhhmmYYYY.ss’

三、Hadoop安装和配置

1.环境变量设置

解压文件

tar -zxvf hadoop-2.6.0.tar.gz -C /opt/hadoop/

配置环境变量 编辑 /etc/profile 文件 :

vim /etc/profile

配置文件:

#java
export JAVA_HOME=/usr/local/solr/jdk1.8.0_191

#hadoop
export HADOOP_HOME=/opt/hadoop/hadoop-2.6
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

2．配置文件更改

先切换到/opt/hadoop/hadoop-2.6/etc/hadoop目录下

3.2.1 修改 core-site.xml

输入:

vim core-site.xml

在文件中添加:

<configuration>
   <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>
   <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
   </property>
   <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
   </property>
</configuration>

3.2.2修改 hadoop-env.sh

输入:

vim hadoop-env.sh

将${JAVA_HOME} 修改为自己的JDK路径

export JAVA_HOME=${JAVA_HOME}

修改为：

export JAVA_HOME=/home/java/jdk1.8

3.2.3修改 hdfs-site.xml

输入:

vim hdfs-site.xml

在添加:

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
   <name>dfs.permissions</name>
   <value>false</value>
   <description>need not permissions</description>
</property>

3.2.4 修改mapred-site.xml

如果没有 mapred-site.xml 该文件，就复制mapred-site.xml.template文件并重命名为mapred-site.xml。
输入:

vim mapred-site.xml

修改这个新建的mapred-site.xml文件，在节点内加入配置:

<property>
    <name>mapred.job.tracker</name>
    <value>master:9001</value>
</property>
<property>
    <name>mapred.local.dir</name>
    <value>/root/hadoop/var</value>
</property>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

3.2.5 修改yanr-site.xml

<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>${yarn.resourcemanager.hostname}:8099</value>
</property>

3．Hadoop启动

启动之前需要先格式化
切换到/opt/hadoop/hadoop-2.6/bin目录下
输入:

./hadoop  namenode  -format

格式化成功后，再切换到/opt/hadoop/hadoop-2.6/sbin目录下
启动hdfs和yarn
输入:

start -dfs.sh

start -yarn.sh

启动成功后，输入jsp查看是否启动成功
在浏览器输入 ip+8088 和ip +50070 界面查看是否能访问
能正确访问则启动成功

四、Mysql安装

因为Hive的默认元数据是Mysql，所以先要安装Mysql。

Mysql有两种安装模式，可自行选择。所有操作都切换到root用户下

1.yum安装

首先查看mysql 是否已经安装
输入：

rpm  -qa | grep mysql   

如果已经安装，想删除的话，有两种方式
普通删除命令:

rpm -e mysql

强力删除命令:

rpm -e --nodeps mysql 

依赖文件也会删除 
安装mysql
输入:

yum list mysql-server 

如果没有，则通过wget命令下载该包
安装MySQL官方的Yum Repository。输入:

wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

下载rpm包：

yum -y install mysql57-community-release-el7-10.noarch.rpm

下载成功之后，安装mysql服务

yum -y install mysql-community-server

在安装过程中遇到选择输入y就行了

安装成功后，输入

systemctl start  mysqld.service

启动服务

查看mysql运行状态：

systemctl status mysqld.service

安装完成后默认有一个root用户，初始密码已经设置好，我们需要获得这个初始密码登录后再对其进行修改。为了加强安全性，MySQL5.7为root用户随机生成了一个密码，在error log中，关于error log的位置，如果安装的是RPM包，则默认是/var/log/mysqld.log。 只有启动过一次mysql才可以查看临时密码

通过下面的命令查看初始密码，冒号后面的字符就是密码

grep 'temporary password' /var/log/mysqld.log

登录root用户

mysql -u root -p

提示输入密码，输入初始密码，使用该密码之后需要设置自己的密码，但是mysql对密码有要求，我们想要设置简单的密码必须要修改约束，修改两个全局参数：

• validate_password_policy代表密码策略，默认是1：符合长度，且必须含有数字，小写或大写字母，特殊字符。设置为0判断密码的标准就基于密码的长度了。一定要先修改两个参数再修改密码

mysql> set global validate_password_policy=0;

• validate_password_length代表密码长度，最小值为4

mysql> set global validate_password_length=4;

修改密码为root，之后就可以使用该密码登录了

mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'root';

通过授权法更改远程连接权限
输入:

mysql> grant all privileges  on *.* to root@'%' identified by "root";

注: 第一个’%’是所有的ip都可以远程访问,第一个’root’是用户名,第二个’root表示 用户密码 如果不常用 就关闭掉
输入:

mysql> flush privileges;

//刷新

在防火墙关闭之后，使用连接工具测试是否能正确连接

2.编译包安装

4.2.1 Mysql文件准备

将下载好的mysql安装包上传到linux服务器
解压mysql解压包，并移动到/usr/local目录下，重命名为mysql。
命令:

tar -xvf mysql-5.6.21-linux-glibc2.5-x86_64.tar.gz

mv mysql-5.6.21-linux-glibc2.5-x86_64 /usr/local

cd /usr/local

mv mysql-5.6.21-linux-glibc2.5-x86_64 mysql

注: mysql默认的路径是就是/usr/local/mysql ，如果安装的地方更改，需要更改相应的配置文件。

4.2.2 安装mysql

切换到mysql的目录 /usr/local/mysql
输入：

 ./scripts/mysql_install_db  --user=mysql

成功安装mysql之后，输入

service mysql start 或 /etc/init.d/mysql start

查看是否启动成功
输入:

ps -ef|grep mysql

切换到 /usr/local/mysql/bin 目录下
设置密码

mysqladmin -u root password 'root'

进入mysql，输入:

mysql -u root -p

设置远程连接权限
输入:

grant all privileges  on *.* to root@'%' identified by "root";

然后输入:

flush privileges;

使用本地连接工具连接测试。

五、Hive环境安装和配置

1.文件准备

将下载下来的Hive 的配置文件进行解压
在linux上输入:

tar -zxvf apache-hive-2.3.3-bin.tar.gz -C /opt/hive

然后移动到/opt/hive 里面，将文件夹重命名为 hive-2.3
输入

mv apache-hive-2.3.3-bin hive-2.3

2.环境配置

编辑 /etc/profile 文件
输入:

vim /etc/profile

添加:

export HIVE_HOME=/opt/hive/hive-2.3
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HIVE_HOME}/bin:$PATH

输入:

source /etc/profile

使配置生效

3.配置更改

5.3.1新建文件夹

在修改配置文件之前，需要先在root目录下建立一些文件夹。

mkdir /root/hive

mkdir /root/hive/warehouse

新建完该文件之后，需要让hadoop新建/root/hive/warehouse 和 /root/hive/ 目录。
执行命令：

$HADOOP_HOME/bin/hadoop fs -mkdir -p /root/hive/

$HADOOP_HOME/bin/hadoop fs -mkdir -p /root/hive/warehouse

给刚才新建的目录赋予读写权限，执行命令：

$HADOOP_HOME/bin/hadoop fs -chmod 777 /root/hive/

$HADOOP_HOME/bin/hadoop fs -chmod 777 /root/hive/warehouse 

检查这两个目录是否成功创建

输入:

$HADOOP_HOME/bin/hadoop fs -ls /root/

$HADOOP_HOME/bin/hadoop fs -ls /root/hive/

可以看到已经成功创建

5.3.2 修改hive-site.xml

切换到/opt/hive/hive-2.3/conf目录下
将hive-default.xml.template 拷贝一份，并重命名为hive-site.xml
然后编辑hive-site.xml文件

cp hive-default.xml.template hive-site.xml
vim hive-site.xml

编辑hive-site.xml文件，在 中添加:

<!-- 指定HDFS中的hive仓库地址 -->
<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/root/hive/warehouse</value>
</property>
<property>
   <name>hive.exec.scratchdir</name>
   <value>/root/hive</value>
</property>
<!-- 该属性为空表示嵌入模式或本地模式，否则为远程模式 -->
<property>
  <name>hive.metastore.uris</name>
  <value></value>
</property>
<!-- 指定mysql的连接 -->
<property>
   <name>javax.jdo.option.ConnectionURL</name>
   <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<!-- 指定驱动类 -->
<property>
   <name>javax.jdo.option.ConnectionDriverName</name>
   <value>com.mysql.jdbc.Driver</value>
</property>
<!-- 指定用户名 -->
<property>
   <name>javax.jdo.option.ConnectionUserName</name>
   <value>root</value>
</property>
<!-- 指定密码 -->
<property>
   <name>javax.jdo.option.ConnectionPassword</name>
   <value>123456</value>
</property>
<property>
   <name>hive.metastore.schema.verification</name>
   <value>false</value>
   <description></description>
</property>

然后将配置文件中所有的

${system:java.io.tmpdir}更改为 /opt/hive/tmp

(如果没有该文件则创建)，
并将此文件夹赋予读写权限，将

${system:user.name} 更改为 root

注: 由于hive-site.xml 文件中的配置过多，可以通过FTP将它下载下来进行编辑。也可以直接配置自己所需的，其他的可以删除。 MySQL的连接地址中的master是主机的别名，可以换成ip。

5.3.3 修改 hive-env.sh

修改hive-env.sh 文件，没有就复制 hive-env.sh.template ，并重命名为hive-env.sh

在这个配置文件中添加

export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HIVE_CONF_DIR=/opt/hive/hive2.1/conf
export HIVE_AUX_JARS_PATH=/opt/hive/hive2.1/lib

5.3.4 添加mysql数据驱动包

由于Hive 默认自带的数据库是使用mysql，所以这块就是用mysql
将mysql 的驱动包 上传到 /opt/hive/hive-2.3/lib

cp mysql-connector-java-6.0.6.jar /opt/hive/hive-2.3/lib/

六、Hive Shell 测试

在成功启动Hadoop之后
切换到Hive目录下
输入:

cd /opt/hive/hive-2.3/bin

首先初始化数据库
初始化的时候注意要将mysql启动
输入:

 

schematool  -initSchema -dbType mysql

执行成功之后，可以看到hive数据库和一堆表已经创建成功了

切换到 cd /opt/hive/hive2.1/bin
进入hive (确保hadoop以及成功启动)输入:

hive

进入hive 之后
做一些简单的操作
新建一个库，然后在建一张表
基本操作和普通的关系型数据库差不多
创建库:

create database db_hiveTest;

创建表:

create table db_hiveTest.student(
	id int,
	name string
)  
row format delimited fields terminated by '\t';

说明: terminated by '\t' 表示文本分隔符要使用Tab，行与行直接不能有空格。

加载数据
新打开一个窗口
因为hive 不支持写，所以添加数据使用load加载文本获取。
新建一个文本

touch /opt/hive/student.txt

编辑该文本添加数据
输入:

vim /opt/hive/student.txt

添加数据:
中间的空格符使用Tab建

1001	zhangsan
1002	lisi
1003	wangwu

说明: 文本可以在Windows上面新建，然后通过ftp上传到linux中，需要注意文本的格式为unix 格式。

切换到hive shell

加载数据

输入:

load data local inpath '/opt/hive/student.txt' into table db_hivetest.student;

然后查询该数据
输入：

select * from db_hiveTest.student;

以服务方式启动

$HIVE_HOME/bin/hive --service hiveserver2

连接测试

beeline

!connect jdbc:hive2://master:10000

或

$HIVE_HOME/bin/beeline -u jdbc:hive2//localhost:10000

七、sqoop安装

1.安装sqoop

下载sqoop https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/

解压到指定目录

 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/hive

重命名

mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop-1.4.7

添加环境变量

vim /etc/profile

export SQOOP_HOME=/opt/sqoop/sqoop-1.4.7
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HIVE_HOME}/bin:${SQOOP_HOME}/bin:$PATH

使配置生效

source /etc/profile

2.添加mysql驱动包

cp mysql-connector-java-6.0.6.jar /opt/sqoop/sqoop-1.4.7/lib/

3.修改配置文件

7.3.1修改sqoop-env.sh

cd /opt/sqoop/sqoop-1.4.7/conf/

在sqoop的conf目录下，添加配置文件，从模板复制就好

cp sqoop-env-template.sh sqoop-env.sh

vi sqoop-env.sh

配置

export HADOOP_COMMON_HOME= /opt/hadoop/hadoop-2.6
export HADOOP_MAPRED_HOME= /opt/hadoop/hadoop-2.6
export HIVE_HOME= /opt/hive/hive-2.3

检验是否正确安装

sqoop version

8、故障解决

1.问题：

The server time zone value '�й���׼ʱ��' is unrecognized

解决：必须配置服务器或JDBC驱动程序(通过serverTimezone配置属性)使用一个更具体的时区值如果你想利用时区支持。

在通过在数据库连接URL后，加上?serverTimezone=UTC 

2.问题：

ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.

解决：往/etc/profile最后加入

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*

然后刷新配置，source /etc/profile

3.问题：

ERROR Could not register mbeans java.security.AccessControlException: access denied ("javax.management.MBeanTrustPermission" "register")

解决：%JAVA_HOME%\jre\lib\security\java.policy  添加如下内容：  

permission javax.management.MBeanTrustPermission "register";

 

4.问题：

ERROR exec.DDLTask: java.lang.NoSuchMethodError: com.fasterxml.jackson.databind.ObjectMapper.readerFor(Ljava/lang/Class;)Lcom/fasterxml/jackson/databind/ObjectReader;

解决：因sqoop与hive版本不一致导致，将$SQOOP_HOME/lib/jackson*.jar 文件bak，再把$HIVE_HOME/lib/jackson*.jar 拷贝至 $SQOOP_HOME/lib 目录中，重新运行sqoop 作业，导入成功。

5.问题：

ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Hive exited with status 1

解决：找到HIVE_HOME下的lib文件夹，将文件夹中的libthrift-0.9.3.jar 拷贝到SQOOP_HOME路径下的lib文件夹下面

6.问题：

Could not establish connection to jdbc:hive2://192.168.135.110:10000/default: Requiredfield 'serverProtocolVersion' is unset!
Struct:TOpenSessionResp(status:TStatus(statusCode:ERROR_STATUS,infoMessages[*org.apache.hie.service.cli.HiveSQLException:Failed to open new session: java.lang.RuntimeException:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.securit.authorize.AuthorizationException): User: root is not allowed to impersonate anonymous

解决：修改hadoop的配置文件core-site.xml

cd /opt/hadoop/hadoop-2.6/etc/Hadoop

vi core-site.xml添加以下配置

<property>
	<name>hadoop.proxyuser.root.hosts</name>
	<value>*</value>
</property>
<property>
	<name>hadoop.proxyuser.root.groups</name>
	<value>*</value>
</property>