hive 安装过程:
1.修改主机名
hostnamectl set-hostname master
2,做IP和主机名的映射
vim /etc/hosts
192.168.31.27 master
3,关闭防火墙
systemctl stop firewalld.service
3,时间设置
查看当前时间
输入:
date
查看服务器时间是否一致,若不一致则更改
更改时间命令
date -s ‘MMDDhhmmYYYY.ss’
三、Hadoop安装和配置
Hadoop的具体配置在大数据学习系列之一 ----- Hadoop环境搭建(单机) 中介绍得很详细了。所以本文就大体介绍一下。
注:具体配置以自己的为准。
1,环境变量设置
编辑 /etc/profile 文件 :
vim /etc/profile
配置文件:
export JAVA_HOME=/opt/hadoop/jdk1.8.0_191
export HADOOP_HOME=/opt/hadoop/hadoop-3.1.1
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH
cd /opt/hadoop/hadoop-3.1.1/etc/hadoop/
vim core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
vim hadoop-env.sh
export JAVA_HOME=/opt/hadoop/jdk1.8.0_191
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native/"
vim hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>/root/hadoop/dfs/name</value>
<description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/root/hadoop/dfs/data</value>
<description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
<description>need not permissions</description>
</property>
vim mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/root/hadoop/var</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
3,Hadoop启动
启动之前需要先格式化
切换到/home/hadoop/hadoop-3.1.1/bin目录下
输入:
cd /opt/hadoop/hadoop-3.1.1/bin
./hadoop namenode -format
格式化成功后,再切换到/home/hadoop/hadoop-3.1.1/sbin目录下
启动hdfs和yarn
输入:
cd /opt/hadoop/hadoop-3.1.1/sbin
解决1:
是因为缺少用户定义造成的,所以分别编辑开始和关闭脚本
$ vim sbin/start-dfs.sh
$ vim sbin/stop-dfs.sh
在顶部空白处添加内容:
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
start-dfs.sh
//这里的启动其实是有问题的
1、查看日志信息,找寻报错原因;
$ export HADOOP_ROOT_LOGGER=DEBUG,console # 输出日志
$ hadoop fs ls /
java.lang.UnsatisfiedLinkError: no hadoop in java.library.path
no hadoop in java.library.path
从日志中可以看出hadoop库不在java.library.path所配置的目录下,应该是java.library.path配置的路径有问题。在hadoop-env.sh中重新配置:
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native/"
执行start-dfs.sh,告警信息不再显示。经测试,其实只需export HADOOP_OPTS即可解决问题。
hadoop checknative
Cannot load libcrypto.so (libcrypto.so: 无法打开共享对象文件: 没有那个文件或目录)!
ln -s libcrypto.so.1.0.2k libcrypto.so
问题解决完了
$ vim sbin/start-yarn.sh
$ vim sbin/stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
2.打通SSH,设置ssh无密码登陆(所有节点)
在主节点上执行ssh-keygen -t rsa一路回车,生成无密码的密钥对。
将公钥添加到认证文件中:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys,并设置authorized_keys的访问权限:chmod 600 ~/.ssh/authorized_keys。
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
scp文件到所有datenode节点:
scp ~/.ssh/authorized_keys root@n2:~/.ssh/
scp ~/.ssh/authorized_keys root@n3:~/.ssh/
测试:在主节点上ssh n2,正常情况下,不需要密码就能直接登陆进去了。 注意:另外两台机器也要执行下ssh-keygen -t rsa 不然提示没有那个目录
systemctl stop firewalld.service
start-yarn.sh
启动成功后,输入jsp查看是否启动成功
在浏览器输入 ip+8088 和ip +50070 界面查看是否能访问
能正确访问则启动成功
http://192.168.31.27:8088/cluster
安装mysql:
rpm -qa|grep mariadb
rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64
rpm -e --nodeps mariadb-server-5.5.56-2.el7.x86_64
rpm -e --nodeps mariadb-5.5.56-2.el7.x86_64
tar -xvf mysql-5.7.24-1.el7.x86_64.rpm-bundle.tar
rpm -ivh mysql-community-common-5.7.24-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.24-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.24-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.24-1.el7.x86_64.rpm
service mysqld start
chkconfig mysqld on
rpm -ivh mysql-community-libs-compat-5.7.24-1.el7.x86_64.rpm
rpm -ivh mysql-community-devel-5.7.24-1.el7.x86_64.rpm
rpm -ivh mysql-community-embedded-5.7.24-1.el7.x86_64.rpm
rpm -ivh mysql-community-embedded-compat-5.7.24-1.el7.x86_64.rpm
rpm -ivh mysql-community-embedded-devel-5.7.24-1.el7.x86_64.rpm
rpm -ivh mysql-community-minimal-debuginfo-5.7.24-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-minimal-5.7.24-1.el7.x86_64.rpm
rpm -ivh mysql-community-test-5.7.24-1.el7.x86_64.rpm
启动mysql
查看mysql是否启动
service mysqld status
# 启动mysql
service mysqld start
# 停止mysql
service mysqld stop
# 重启mysql
service mysqld restart
开机后启动服务器
chkconfig mysqld on
1、关闭firewall:
#停止firewall
#禁止firewall开机启动
systemctl stop firewalld.service
systemctl disable firewalld.service
关闭防火墙
service iptables stop (临时关闭)
chkconfig iptables off (重启后生效)
查看临时密码
登陆mysql,输入上面的临时密码
grep password /var/log/mysqld.log
mysql -p
重置密码:
set password = password("123456");
use mysql;
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
flush privileges;
五、Hive环境安装和配置
1,文件准备
将下载下来的Hive 的配置文件进行解压
在linux上输入:
tar -xvf apache-hive-3.1.1-bin.tar.gz
mkdir /opt/hive
mv apache-hive-3.1.1-bin /opt/hive/hive3.1
2,环境配置
编辑 /etc/profile 文件
输入:
vim /etc/profile
export HIVE_HOME=/opt/hive/hive3.1
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${HADOOP_HOME}/bin:${ZK_HOME}/bin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:$PATH
使配置生效
source /etc/profile
3,配置更改
5.3.1新建文件夹
在修改配置文件之前,需要先在root目录下建立一些文件夹。
mkdir /root/hive
mkdir /root/hive/warehouse
新建完该文件之后,需要让hadoop新建/root/hive/warehouse 和 /root/hive/ 目录。
执行命令:
$HADOOP_HOME/bin/hadoop fs -mkdir -p /root/hive/
$HADOOP_HOME/bin/hadoop fs -mkdir -p /root/hive/warehouse
给刚才新建的目录赋予读写权限,执行命令:
$HADOOP_HOME/bin/hadoop fs -chmod 777 /root/hive/
$HADOOP_HOME/bin/hadoop fs -chmod 777 /root/hive/warehouse
检查这两个目录是否成功创建
输入:
$HADOOP_HOME/bin/hadoop fs -ls /root/
$HADOOP_HOME/bin/hadoop fs -ls /root/hive/
这里写图片描述
可以看到已经成功创建
5.3.2 修改hive-site.xml
切换到 /opt/hive/hive3.1/conf 目录下
将hive-default.xml.template 拷贝一份,并重命名为hive-site.xml
然后编辑hive-site.xml文件
cd /opt/hive/hive3.1/conf
cp hive-default.xml.template hive-site.xml
vim hive-site.xml
编辑hive-site.xml文件,在 中添加:
<!-- 指定HDFS中的hive仓库地址 -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/root/hive/warehouse</value>
</property>
<property>
<name>hive.exec.scratchdir</name>
<value>/root/hive</value>
</property>
<!-- 该属性为空表示嵌入模式或本地模式,否则为远程模式 -->
<property>
<name>hive.metastore.uris</name>
<value></value>
</property>
<!-- 指定mysql的连接 -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<!-- 指定驱动类 -->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!-- 指定用户名 -->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!-- 指定密码 -->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
<description>
</description>
</property>
然后将配置文件中所有的
${system:java.io.tmpdir}
更改为 /opt/hive/tmp (如果没有该文件则创建),
并将此文件夹赋予读写权限,将
${system:user.name}
更改为 root
例如:
更改之前的:
这里写图片描述
更改之后:
这里写图片描述
配置图:
这里写图片描述
注: 由于hive-site.xml 文件中的配置过多,可以通过FTP将它下载下来进行编辑。也可以直接配置自己所需的,其他的可以删除。 MySQL的连接地址中的master是主机的别名,可以换成ip。
[root@master ~]# mkdir -p /root/hive/repl/
[root@master ~]# mkdir -p /root/hive/cmroot/
[root@master ~]# mkdir -p /root/hive/repl/functions/
[root@master ~]#
5.3.3 修改 hive-env.sh
修改hive-env.sh 文件,没有就复制 hive-env.sh.template ,并重命名为hive-env.sh
这里写图片描述
在这个配置文件中添加
export HADOOP_HOME=/opt/hadoop/hadoop-3.1.1
export HIVE_CONF_DIR=/opt/hive/hive3.1/conf
export HIVE_AUX_JARS_PATH=/opt/hive/hive3.1/lib
这里写图片描述
5.3.4 添加 数据驱动包
由于Hive 默认自带的数据库是使用mysql,所以这块就是用mysql
将mysql 的驱动包 上传到 /opt/hive/hive3.1/lib
这里写图片描述
六、Hive Shell 测试
在成功启动Hadoop之后
切换到Hive目录下
输入:
cd /opt/hive/hive3.1/bin
首先初始化数据库
初始化的时候注意要将mysql启动
输入:
先手工把数据库创建出来
create database metastore_db DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
schematool -initSchema -dbType mysql
这里写图片描述
执行成功之后,可以看到hive数据库和一堆表已经创建成功了
这里写图片描述
切换到
cd /opt/hive/hive3.1/bin
进入hive (确保hadoop以及成功启动)
输入:
hive
这里写图片描述
进入hive 之后
做一些简单的操作
新建一个库,然后在建一张表
基本操作和普通的关系型数据库差不多
创建库:
create database db_hiveTest;
创建表:
create table test(id int,name string) row format delimited fields terminated by '\t';
这里写图片描述
说明: terminated by '\t' 表示文本分隔符要使用Tab,行与行直接不能有空格。
加载数据
新打开一个窗口
因为hive 不支持写,所以添加数据使用load加载文本获取。
新建一个文本
touch /opt/hive/student.txt
编辑该文本添加数据
输入:
vim /opt/hive/student.txt
添加数据:
中间的空格符使用Tab建
1001 zhangsan
1002 lisi
1003 wangwu
这里写图片描述
说明: 文本可以在Windows上面新建,然后通过ftp上传到linux中,需要注意文本的格式为unix 格式。
切换到hive shell
加载数据
输入:
load data local inpath '/root/student.txt' into table test;
然后查询该数据
输入:
select * from db_hiveTest.student;
启动远程访问:
hive --service metastore &
hive --service hiveserver2 &
hadoop@bdi:~$ hive --service hiveserver2 >/dev/null &
远程服务对外的端口是10000,启动成功后,使用netstat命令验证:
hadoop@bdi:~$ netstat -antpl|grep 10000
如果再启动的过程中报错,可以使用下面的命令进行调试:
hadoop@bdi:~$ hive --hiveconf hive.root.logger=DEBUG,console
/opt/hadoop/hadoop-3.1.1/etc/hadoop
解决 :在hdfs 的配置文件core-site.xml中加入如下配置,root 为位置填入 User:* ,etc hadoop.proxyuser.eamon.hosts
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
还需要给目录写权限
cd /opt/hadoop/hadoop-3.1.1/bin
hadoop fs -chmod -R 777 /tmp
参考了:
https://www.cnblogs.com/xuwujing/p/8045821.html
启动用到命令如下:
查看mysql是否启动
service mysqld status
# 启动mysql
service mysqld start
cd /opt/hadoop/hadoop-3.1.1/sbin
./start-dfs.sh
./start-yarn.sh
cd /opt/hive/hive3.1/bin
hive --service metastore &
hive --service hiveserver2 &
beeline -u jdbc:hive2://127.0.0.1:10000
驱动包使用cdh的