Hive详细的安装流程

安装准备：
安装hive之前保证hadoop（zk） jdk
安装版本：
主流
1.2
2.3
https://mirrors.tuna.tsinghua.edu.cn/apache/ 镜像
安装 2.3.2
安装节点：
一个节点就可以
hdp03
安装模式：
1）使用自带的元数据库
1）上传
2）解压
tar -xvzf apache-hive-2.3.2-bin.tar.gz
3）配置环境变量
ln -s apache-hive-2.3.2-bin hive
export HIVE_HOME=/home/hadoop/apps/hive
export PATH=$PATH:$HIVE_HOME/bin
source /etc/profile

4)元数据库初始化
schematool -dbType derby -initSchema

初始化过程 创建元数据库的
默认创建的元数据库的名字  metastore_db
jdbc:derby:;databaseName=metastore_db;create=true
schemaTool completed  成功标志 
初始化成功后 初始化的当前目录：
derby.log  数据库的日志信息 metastore_db 元数据库 derby库中的数据存在这个目录下的
schemaTool failed 失败 

5)启动 
hive 
启动hive之前 一定保证hadoop启动的
否则报错：Caused by: java.net.ConnectException: Connection refused

启动过程中  日志信息如下：
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
hive>
直接3）跳到5）执行命令 报错
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
原因：元数据初始化没有做好

格式化成功后 在格式化的目录下 启动hive 
正常可以使用的

换隔目录  启动hive 
运行命令 报错
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
元数据格式化问题 

derby数据库的缺陷：
	1）单用户的数据库
	
	只能在哪一个目录格式化 格式化的时候当前目录下生成derby的数据库文件 在哪一个目录启动 启动hive的时候 只会找当前目录下的元数据库 一旦启动的目录和格式化的目录不同 这个时候启动运行命令仍然会报元数据没有初始化 启动目录的下没有元数据库格式化的文件的
	2）不同目录下的元数据 不能共用的
	
	不适用生产

2）使用mysql作为元数据库

hive 依赖 hadoop zookeeper jdk mysql

1. 上传
   2）解压
   3）修改配置文件

4）先安装mysql
rpm包
yum方式安装
1）安装mysql并配置好mysql的用户名密码
yum安装mysql
1）配置yum源
在/mnt创建目录cdrom
mkdir cdrom
挂载
sudo mount -t iso9660 -o ro /dev/cdrom /mnt/cdrom/
配置本地的yum源
sudo rename .repo .repo.bak *
sudo cp CentOS-Media.repo.bak CentOS-Media.repo

	 sudo yum clean all
	 yum repolist
	 
	2)安装mysql
	sudo yum install -y mysql-server
	sudo service mysqld start
	3)修改mysql的用户名  密码
	use mysql;
	delete from user where user='';
	update user set host='%' where host='localhost';
	update user set password=PASSWORD('123456') where user='root';
	flush privileges;
	
	退出mysql
	重启mysql服务

5）修改hive的配置文件
/home/hadoop/apps/hive/conf
换掉默认的元数据库
jdbc–mysql
驱动类 com.mysql.jdbc.Driver
连接url jdbc:mysql://localhost:3306/。。？
用户名 root
密码 123456
touch hive-site.xml

<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/bd1901?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
<!-- hive连接mysql的连接url 如果 mysql 和 hive 在同一个服务器节点，连接的主机名最好为 localhost bd1901 hive的元数据库 -->
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
<description>password to use against metastore database</description>
</property>
</configuration>

6）将hadoop的 hdfs-site core-site 添加到hive的conf目录下
cp /home/hadoop/apps/hadoop/etc/hadoop/core-site.xml /home/hadoop/apps/hadoop/etc/hadoop/hdfs-site.xml /home/hadoop/apps/hive/conf/
7）初始化hive的元数据库
1）将mysql的驱动放在hive安装目录的lib下
2）格式化
生成mysql中hive对应的元数据库 bd1901 生成了一些列的表（存储元数据用的）
schematool -dbType mysql -initSchema

8）启动
hive
使用过程中：
一般启动hive的本地模式 在hive的客户端执行
set hive.exec.mode.local.auto=true; 只对当前客户端生效