Hadoop之Hive的安装部署

最新推荐文章于 2023-10-17 14:36:20 发布
最新推荐文章于 2023-10-17 14:36:20 发布
阅读量213 收藏 1
点赞数 1
分类专栏： hive haddoop 文章标签： hive hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangboboshuai/article/details/103152089
版权

前提
以制作本地资源库完成

安装mysql

[root@node01 ~]# yum install -y mysql mysql-server mysql-devel

已加载插件：fastestmirror, security
设置安装进程
Determining fastest mirrors
c6-media                                                    | 4.0 kB     00:00     
解决依赖关系
--> 执行事务检查
---> Package mysql.x86_64 0:5.1.73-8.el6_8 will be 安装
---> Package mysql-devel.x86_64 0:5.1.73-8.el6_8 will be 安装
--> 处理依赖关系 openssl-devel，它被软件包 mysql-devel-5.1.73-8.el6_8.x86_64 需要
---> Package mysql-server.x86_64 0:5.1.73-8.el6_8 will be 安装
--> 处理依赖关系 perl-DBD-MySQL，它被软件包 mysql-server-5.1.73-8.el6_8.x86_64 需要
--> 执行事务检查
---> Package openssl-devel.x86_64 0:1.0.1e-57.el6 will be 安装
--> 处理依赖关系 zlib-devel，它被软件包 openssl-devel-1.0.1e-57.el6.x86_64 需要
--> 处理依赖关系 krb5-devel，它被软件包 openssl-devel-1.0.1e-57.el6.x86_64 需要
---> Package perl-DBD-MySQL.x86_64 0:4.013-3.el6 will be 安装
--> 执行事务检查
---> Package krb5-devel.x86_64 0:1.10.3-65.el6 will be 安装
--> 处理依赖关系 libselinux-devel，它被软件包 krb5-devel-1.10.3-65.el6.x86_64 需要
--> 处理依赖关系 libcom_err-devel，它被软件包 krb5-devel-1.10.3-65.el6.x86_64 需要
--> 处理依赖关系 keyutils-libs-devel，它被软件包 krb5-devel-1.10.3-65.el6.x86_64 需要
---> Package zlib-devel.x86_64 0:1.2.3-29.el6 will be 安装
--> 执行事务检查
---> Package keyutils-libs-devel.x86_64 0:1.4-5.el6 will be 安装
---> Package libcom_err-devel.x86_64 0:1.41.12-23.el6 will be 安装
---> Package libselinux-devel.x86_64 0:2.0.94-7.el6 will be 安装
--> 处理依赖关系 libsepol-devel >= 2.0.32-1，它被软件包 libselinux-devel-2.0.94-7.el6.x86_64 需要
--> 处理依赖关系 pkgconfig(libsepol)，它被软件包 libselinux-devel-2.0.94-7.el6.x86_64 需要
--> 执行事务检查
---> Package libsepol-devel.x86_64 0:2.0.41-4.el6 will be 安装
--> 完成依赖关系计算

依赖关系解决

===================================================================================
 软件包                    架构         版本                  仓库            大小
===================================================================================
正在安装:
 mysql                     x86_64       5.1.73-8.el6_8        c6-media       895 k
 mysql-devel               x86_64       5.1.73-8.el6_8        c6-media       130 k
 mysql-server              x86_64       5.1.73-8.el6_8        c6-media       8.6 M
为依赖而安装:
 keyutils-libs-devel       x86_64       1.4-5.el6             c6-media        29 k
 krb5-devel                x86_64       1.10.3-65.el6         c6-media       504 k
 libcom_err-devel          x86_64       1.41.12-23.el6        c6-media        33 k
 libselinux-devel          x86_64       2.0.94-7.el6          c6-media       137 k
 libsepol-devel            x86_64       2.0.41-4.el6          c6-media        64 k
 openssl-devel             x86_64       1.0.1e-57.el6         c6-media       1.2 M
 perl-DBD-MySQL            x86_64       4.013-3.el6           c6-media       134 k
 zlib-devel                x86_64       1.2.3-29.el6          c6-media        44 k

事务概要
===================================================================================
Install      11 Package(s)

总下载量：12 M
Installed size: 33 M
下载软件包：
(1/11): keyutils-libs-devel-1.4-5.el6.x86_64.rpm            |  29 kB     00:00     
(2/11): libsepol-devel-2.0.41-4.el6.x86_64.rpm              |  64 kB     00:00     
(3/11): openssl-devel-1.0.1e-57.el6.x86_64.rpm              | 1.2 MB     00:00     
(4/11): perl-DBD-MySQL-4.013-3.el6.x86_64.rpm               | 134 kB     00:00     
(5/11): mysql-server-5.1.73-8.el6_8.x86_64.rpm              | 8.6 MB     00:00     
(6/11): krb5-devel-1.10.3-65.el6.x86_64.rpm                 | 504 kB     00:00     
(7/11): libcom_err-devel-1.41.12-23.el6.x86_64.rpm          |  33 kB     00:00     
(8/11): libselinux-devel-2.0.94-7.el6.x86_64.rpm            | 137 kB     00:00     
(9/11): mysql-devel-5.1.73-8.el6_8.x86_64.rpm               | 130 kB     00:00     
(10/11): zlib-devel-1.2.3-29.el6.x86_64.rpm                 |  44 kB     00:00     
(11/11): mysql-5.1.73-8.el6_8.x86_64.rpm                    | 895 kB     00:00     
-----------------------------------------------------------------------------------
总计                                                40 MB/s |  12 MB     00:00     
运行 rpm_check_debug 
执行事务测试
事务测试成功
执行事务
  正在安装   : mysql-5.1.73-8.el6_8.x86_64                                    1/11 
  正在安装   : zlib-devel-1.2.3-29.el6.x86_64                                 2/11 
  正在安装   : libcom_err-devel-1.41.12-23.el6.x86_64                         3/11 
  正在安装   : perl-DBD-MySQL-4.013-3.el6.x86_64                              4/11 
  正在安装   : libsepol-devel-2.0.41-4.el6.x86_64                             5/11 
  正在安装   : libselinux-devel-2.0.94-7.el6.x86_64                           6/11 
  正在安装   : keyutils-libs-devel-1.4-5.el6.x86_64                           7/11 
  正在安装   : krb5-devel-1.10.3-65.el6.x86_64                                8/11 
  正在安装   : openssl-devel-1.0.1e-57.el6.x86_64                             9/11 
  正在安装   : mysql-devel-5.1.73-8.el6_8.x86_64                             10/11 
  正在安装   : mysql-server-5.1.73-8.el6_8.x86_64                            11/11 
  Verifying  : keyutils-libs-devel-1.4-5.el6.x86_64                           1/11 
  Verifying  : libsepol-devel-2.0.41-4.el6.x86_64                             2/11 
  Verifying  : openssl-devel-1.0.1e-57.el6.x86_64                             3/11 
  Verifying  : perl-DBD-MySQL-4.013-3.el6.x86_64                              4/11 
  Verifying  : mysql-server-5.1.73-8.el6_8.x86_64                             5/11 
  Verifying  : krb5-devel-1.10.3-65.el6.x86_64                                6/11 
  Verifying  : libcom_err-devel-1.41.12-23.el6.x86_64                         7/11 
  Verifying  : libselinux-devel-2.0.94-7.el6.x86_64                           8/11 
  Verifying  : mysql-devel-5.1.73-8.el6_8.x86_64                              9/11 
  Verifying  : zlib-devel-1.2.3-29.el6.x86_64                                10/11 
  Verifying  : mysql-5.1.73-8.el6_8.x86_64                                   11/11 

已安装:
  mysql.x86_64 0:5.1.73-8.el6_8            mysql-devel.x86_64 0:5.1.73-8.el6_8    
  mysql-server.x86_64 0:5.1.73-8.el6_8    

作为依赖被安装:
  keyutils-libs-devel.x86_64 0:1.4-5.el6    krb5-devel.x86_64 0:1.10.3-65.el6      
  libcom_err-devel.x86_64 0:1.41.12-23.el6  libselinux-devel.x86_64 0:2.0.94-7.el6 
  libsepol-devel.x86_64 0:2.0.41-4.el6      openssl-devel.x86_64 0:1.0.1e-57.el6   
  perl-DBD-MySQL.x86_64 0:4.013-3.el6       zlib-devel.x86_64 0:1.2.3-29.el6       



完毕！

启动mysql的服务

[root@node01 ~]# service  mysqld  start

查看mysql的服务

[root@node02 ~]# service  mysqld  status
mysqld (pid  13273) 正在运行...

进入mysql的客户端然后进行授权

use mysql;

配置远程连接

grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;

刷新

 flush privileges;

设置root用户链接mysql的密码

update user set password=password('123456') where user='root';

刷新

 flush privileges;

安装hive

[root@node01 ~]# tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C /export/servers/

修改hive的配置文件

修改hive-env.sh

cd  /export/servers/hive-1.1.0-cdh5.14.0/conf
cp hive-env.sh.template hive-env.sh
vim hive-env.sh

在这里插入图片描述
修改hive-env.sh

cd /export/servers/hive-1.1.0-cdh5.14.0/conf
vim hive-site.xml

在这里插入图片描述

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>123456</value>
        </property>
        <property>
                <name>hive.cli.print.current.db</name>
                <value>true</value>
        </property>
        <property>
                <name>hive.cli.print.header</name>
                <value>true</value>
        </property>
        <property>
                <name>hive.server2.thrift.bind.host</name>
                <value>node02</value>
        </property>
<!--
             <property>
                <name>hive.metastore.uris</name>
                <value>thrift://node02:9083</value>
        </property>
-->
</configuration>

上传mysql的lib驱动包
将mysql-connector-java-5.1.38.jar 上传到这个目录下

最后修改环境变量

[root@node01 conf]# cat /etc/profile.d/hive.sh 
export HIVE_HOME=/export/servers/hive-1.1.0-cdh5.14.0
export PATH=:$HIVE_HOME/bin:$PATH
[root@node01 conf]# source /etc/profile

把hive目录和hive环境变量上传各个节点

hive目录

[root@node01 conf]# scp -r /export/servers/hive-1.1.0-cdh5.14.0 node02:/export/servers/

hive环境变量

scp -r /etc/profile.d/hive.sh node02:/etc/profile.d/

使用HIVE的方式
1、安装Hive后配置系统环境变量的前提下，在节点的任意位置直接数据如Hive+ 回车
hive (default)> > > 2、
启动hiveserver2
hive --service hiveserver2
beeline连接hiveserver2
执行beeline + 回车
beeline> beeline> beeline>
连接服务
!conncet jdbc:hive2://node01:10000
输入用户名和密码（自己定义）

小博和小新
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop3.2.4+Hive3.1.2+sqoop1.4.7安装部署
alicely07的博客
02-04 3590
Hive：Hadoop3.2.4+Hive3.1.2+sqoop1.4.7安装部署
hive安装和部署
m0_53400772的博客
05-18 625
将资料中的mysql-connector-java-5.1.47.jar 上传到 /opt/apps/hive-3.1.2/lib。而高版本的的hadoop的/opt/apps/hadoop-3.1.1/share/hadoop/common/lib。1>/dev/null：首先表示标准输出重定向到空设备文件，也就是不输出任何信息到终端，说白了就是不显示任何信息。1 ：表示stdout标准输出，系统默认值是1，所以">/dev/null"等同于"1>/dev/null"包括分布式存储、分布式计算。
[Hadoop高可用集群]数仓工具之Hive的安装部署（超级详细，适用于初学者）
喜欢水星记的博客
05-15 4692
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。最初，Hive是由Facebook开发，后来由Apache软件基金会开发，并作为进一步将它作为名义下Apache Hive为一个开源项目。Hive 建立在Hadoop 基础之上,Hive 与 Hadoop 紧密集成，其设计可快速对 PB 级数据进行操作。
安装部署 Hive
qq_61203814的博客
03-29 265
解压并安装 Hive安装配置 MySQL配置 Hive启动 Hive验证 Hive 环境。
大数据Hadoop之——部署hadoop+hive+Mysql环境（window11）
qq_41946216的博客
10-17 5831
win环境下大数据Hadoop的部署hadoop+hive环境
使用 docker 完成hadoop hbase hive集群部署，hbase+hive 数据同步.zip
最新发布
04-30
docker安装 docker安装方法有多种，下面列举在Windows和Linux系统中的安装步骤：12 Windows系统中的安装方法： 对于Windows Server系统，可以使用Microsoft发布的PowerShell模块DockerMicrosoftProvider来安装...
部署Hadoop Hive
05-10
最近在研究Hadoop Hive，在度娘找了几百几千份文档，拼凑起来才勉强部署好，太耗时，太耗时，太耗时 现在我整理好我过程中的每一个步骤，供大家一起学习共勉。
Hadoop+Hive集群搭建步骤
03-13
VM虚拟机上，安装ubantu搭建hadoop+Hive集群，步骤详细。
大数据离线分析系统，基于hadoop的hive以及sqoop的安装和配置
03-01
大数据离线分析系统，基于hadoop的hive以及sqoop的安装和配置
【Hadoop部署】Hadoop环境部署3-HIVE安装
01-07
安装mysql（mariadb） yum安装 yum install mariadb-server yum install -y mysql-connector-java 设置开机启动并配置 systemctl start mariadb # 开启服务 systemctl enable mariadb # 设置为开机自启动服务 mysql_...
hadoop集群配置之———hive安装与配置（超详细）
07-23
hadoop集群配置之———hive安装与配置（超详细）
Hive大数据项目环境搭建：安装部署Hive（超详细）
qq_58476985的博客
11-03 2008
（先保存一下hive3.1.2的路径：/home/hadoop/software/hive3.1.2，和hadoop-3.3.0的路径：/home/hadoop/software/hadoop-3.3.0。进入目录：/home/hadoop/software/hive3.1.2/conf，修改hive-env.sh.template名称为 hive-env.sh。把apache-hive-3.1.2-bin.tar.gz上传到linux的/home/hadoop/software目录下。
Hadoop------Hive数据仓库安装&部署
yidianyidei的博客
08-10 295
文章目录Hadoop------Hive安装&部署一 Hive安装地址二 Hive安装部署Hadoop集群配置（1）必须启动hdfs和yarn（2）在HDFS上创建/tmp和/user/hive/warehouse两个目录并修改他们的同组权限可写三 Hive基本操作（1）启动hive（2）查看数据库（3）打开默认数据库（4）显示default数据库中的表（5）创建一张表（6）显示数据库中有几张表（7）查看表的结构（8）向表中插入数据（9）查询表中数据（10）退出hive四 将本地文件导入Hive案例
【Hive总结一入门及安装部署】
Tonystark_lz的博客
09-06 624
Hive入门 Hive搭建 Hive的安装部署
hadoop集群搭建+hive安装
WHY的博客
07-10 4248
hadoop集群搭建及hive安装
Hadoop之Hive的安装配置（详细步骤）
大数据
11-23 7552
配置前准备 下载apache-hive-2.1.1-bin.tar.gz安装包并上传到XShell 在XShell上解压
大数据Hadoop之——部署hadoop+hive环境（window10）
匠人精神，持之以恒！
02-13 5040
文章目录一、安装JDK81）JDK下载地址2）验证二、Hadoop安装1）下载Hadoop3.1.32）配置环境变量3）配置相关配置文件 一、安装JDK8 1）JDK下载地址 http://www.oracle.com/technetwork/java/javase/downloads/index.html 按正常下载是需要先登录的，这里提供一个不用登录下载的方法 连接如下：https://www.oracle.com/webapps/redirect/signon?nexturl=https://d
Hadoop 大数据Hive仓库组件部署超详细
m0_52271180的博客
03-28 2834
1.数据仓库 1.1概念 构建面向分析的集成化数据环境 面向分析的存储数据 1.2主要特征 数据仓库是面向主题的集成的非易失的和时变的数据集合，用以支持管理决策 1.2.3 非易失性 开启三台虚拟机 上传压缩包到software 解压到src下 改名 修改环境变量 生效环境变量 查询卸载Maeidb文件包 上传MySQL安装包 安装MySQL软件包 修改my文件 注意错误 .
Linux中基于hadoop安装hive(CentOS7+hadoop2.8.0+hive2.1.1)
热门推荐
pucao_cug的专栏
05-12 3万+
Linux中基于hadoop安装hive(CentOS7+hadoop2.8.0+hive2.1.1) 关键字：Linux Java CentOS Hadoop Hive
hadoop集群安装hive
05-19
安装 Hive 需要先安装 Hadoop，因为 Hive 需要依赖于 Hadoop 文件系统和 MapReduce。下面是基于 Hadoop 2.x 版本的 Hive 安装步骤： 1. 下载 Hive 安装包并解压缩到指定目录： ``` tar -zxf apache-hive-x.x.x-bin....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值