Hive配置Spark计算引擎，速度快！

最新推荐文章于 2024-02-22 16:41:48 发布
最新推荐文章于 2024-02-22 16:41:48 发布
阅读量6.5k 收藏 35
点赞数 4
分类专栏： # Hive 文章标签： 大数据 spark hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zmzdmx/article/details/113762493
版权

1.1 Hive引擎简介

​ Hive引擎包括：默认MR、tez、spark

Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。

Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用RDD执行。

1.2 Hive on Spark配置

1）兼容性说明

注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive3.1.2支持的Spark版本是2.4.5，所以需要我们重新编译Hive3.1.2版本。

编译步骤：官网下载Hive3.1.2源码，修改pom文件中引用的Spark版本为3.0.0，如果编译通过，直接打包获取jar包。如果报错，就根据提示，修改相关方法，直到不报错，打包获取jar包。

这里打包好的jar包：

链接: https://pan.baidu.com/s/17P9aMotyvbBk5IR5Fw56lg 提取码: e997 复制这段内容后打开百度网盘手机App，操作更方便哦

2）在Hive所在节点部署Spark

如果之前已经部署了Spark，则该步骤可以跳过，但要检查SPARK_HOME的环境变量配置是否正确。

（1）Spark官网下载jar包地址：

http://spark.apache.org/downloads.html

（2）上传并解压解压spark-3.0.0-bin-hadoop3.2.tgz

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/ 

mv /opt/module/spark-3.0.0-bin-hadoop3.2 /opt/module/spark

（3）配置SPARK_HOME环境变量

vim /etc/profile.d/my_env.sh

添加如下内容

# SPARK_HOME
export SPARK_HOME=/opt/module/spark
export PATH=$PATH:$SPARK_HOME/bin

source 使其生效

source /etc/profile.d/my_env.sh

３）在hive中创建spark配置文件

vim /opt/module/hive/conf/spark-defaults.conf

添加如下内容（在执行任务时，会根据如下参数执行）

spark.master                               yarn
spark.eventLog.enabled                   true
spark.eventLog.dir                        hdfs://hadoop102:9820/spark-history
spark.executor.memory                    1g
spark.driver.memory					   1g

在HDFS创建如下路径，用于存储历史日志

hadoop fs -mkdir /spark-history

４）向HDFS上传Spark纯净版jar包

​ 说明1：由于Spark3.0.0非纯净版默认支持的是hive2.3.7版本，直接使用会和安装的Hive3.1.2出现兼容性问题。所以采用Spark纯净版jar包，不包含hadoop和hive相关依赖，避免冲突。

​ 说明2：Hive任务最终由Spark来执行，Spark任务资源分配由Yarn来调度，该任务有可能被分配到集群的任何一个节点。所以需要将Spark的依赖上传到HDFS集群路径，这样集群中任何一个节点都能获取到。

（1）上传并解压spark-3.0.0-bin-without-hadoop.tgz

tar -zxvf /opt/software/spark-3.0.0-bin-without-hadoop.tgz

（2）上传Spark纯净版jar包到HDFS

hadoop fs -mkdir /spark-jars

hadoop fs -put spark-3.0.0-bin-without-hadoop/jars/* /spark-jars

５）修改hive-site.xml文件

vim /opt/module/hive/conf/hive-site.xml

添加如下内容

<!--Spark依赖位置（注意：端口号9820必须和namenode的端口号一致）-->
<property>
    <name>spark.yarn.jars</name>
    <value>hdfs://hadoop102:9820/spark-jars/*</value>
</property>
  
<!--Hive执行引擎-->
<property>
    <name>hive.execution.engine</name>
    <value>spark</value>
</property>

<!--Hive和Spark连接超时时间-->
<property>
    <name>hive.spark.client.connect.timeout</name>
    <value>10000ms</value>
</property>

image-20210208200816891

注意：hive.spark.client.connect.timeout的默认值是1000ms，如果执行hive的insert语句时，抛如下异常，可以调大该参数到10000ms

FAILED: SemanticException Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client for Spark session d9e0224c-3d14-4bf4-95bc-ee3ec56df48e

1.3 Hive on Spark测试

（1）启动hive客户端

hive

（2）创建一张测试表

create table student(id int, name string);

（3）通过insert测试效果

insert into table student values(1,'abc');

若结果如下，则说明配置成功

image-20210208201113212

1.4 Yarn容量调度器并发度问题演示

Yarn默认调度器为Capacity Scheduler（容量调度器），且默认只有一个队列——default。如果队列中执行第一个任务资源不够，就不会再执行第二个任务，一直等到第一个任务执行完毕。

（1）启动1个hive客户端，执行以下插入数据的sql语句。

insert into table student values(1,'abc');

执行该语句，hive会初始化一个Spark会话，用以执行hive on spark任务。由于未指定队列，故该Spark会话默认使用的就是default队列，且会一直占用该队列，直到退出hive客户端。

可访问ResourceManager的web页面查看相关信息。

image-20210208201723826

（2）在hive客户端开启的状态下，提交一个MR。

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi 1 1

MR任务同样未指定队列，所以其默认也提交到了default队列

image-20210208202401251

image-20210208201926454

但是此时由于上一个任务一直占线，默认调度器只能同时执行一个任务，因此发生了阻塞

（3）容量调度器default队列中，同一时间只有一个任务执行，并发度低

1.5 增加ApplicationMaster资源比例

针对容量调度器并发度低的问题，考虑调整yarn.scheduler.capacity.maximum-am-resource-percent该参数。默认值是0.1，表示集群上AM最多可使用的资源比例，目的为限制过多的app数量。

（1）在hadoop102的/opt/module/hadoop-3.1.3/etc/Hadoop/capacity-scheduler.xml文件中修改如下参数值

<property>
    <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
    <value>0.5</value>
    <description>
      集群中用于运行应用程序ApplicationMaster的资源比例上限，
该参数通常用于限制处于活动状态的应用程序数目。该参数类型为浮点型，
默认是0.1，表示10%。所有队列的ApplicationMaster资源比例上限可通过参数
yarn.scheduler.capacity.maximum-am-resource-percent设置，而单个队列可通过参数yarn.scheduler.capacity.<queue-path>.maximum-am-resource-percent设置适合自己的值。
    </description>
  </property

image-20210208203542506

（2）分发capacity-scheduler.xml配置文件

xsync capacity-scheduler.xml

（3）关闭正在运行的任务，重新启动yarn集群

1.6 配置Yarn容量调度器多队列

在企业里面如何配置多队列：

按照计算引擎创建队列hive、spark、flink

按照业务创建队列：下单、支付、点赞、评论、收藏（用户、活动、优惠相关）

多队列有什么好处？

假如公司来了一个菜鸟，写了一个递归死循环，公司集群资源耗尽，大数据全部瘫痪。

可以使用队列统一管理任务优先级，保证重要的任务优先完成。

1）增加容量调度器队列

（1）修改容量调度器配置文件

默认Yarn的配置下，容量调度器只有一条default队列。在capacity-scheduler.xml中可以配置多条队列，修改以下属性，增加hive队列。

<property>
    <name>yarn.scheduler.capacity.root.queues</name>
    <value>default,hive</value>
    <description>
     再增加一个hive队列
    </description>
</property>

<property>
    <name>yarn.scheduler.capacity.root.default.capacity</name>
<value>50</value>
    <description>
      default队列的容量为50%
    </description>
</property>

同时为新加队列****添加****必要属性：

<property>
    <name>yarn.scheduler.capacity.root.hive.capacity</name>
<value>50</value>
    <description>
      hive队列的容量为50%
    </description>
</property>

<property>
    <name>yarn.scheduler.capacity.root.hive.user-limit-factor</name>
<value>1</value>
    <description>
      一个用户最多能够获取该队列资源容量的比例，取值0-1
    </description>
</property>

<property>
    <name>yarn.scheduler.capacity.root.hive.maximum-capacity</name>
<value>80</value>
    <description>
      hive队列的最大容量（自己队列资源不够，可以使用其他队列资源上限）
    </description>
</property>

<property>
    <name>yarn.scheduler.capacity.root.hive.state</name>
    <value>RUNNING</value>
    <description>
      开启hive队列运行，不设置队列不能使用
    </description>
</property>

<property>
    <name>yarn.scheduler.capacity.root.hive.acl_submit_applications</name>
<value>*</value>
    <description>
      访问控制，控制谁可以将任务提交到该队列,*表示任何人
    </description>
</property>

<property>
    <name>yarn.scheduler.capacity.root.hive.acl_administer_queue</name>
<value>*</value>
    <description>
      访问控制，控制谁可以管理(包括提交和取消)该队列的任务，*表示任何人
    </description>
</property>

<property>
    <name>yarn.scheduler.capacity.root.hive.acl_application_max_priority</name>
<value>*</value>
<description>
      指定哪个用户可以提交配置任务优先级
    </description>
</property>

<property>
    <name>yarn.scheduler.capacity.root.hive.maximum-application-lifetime</name>
<value>-1</value>
    <description>
      hive队列中任务的最大生命时长，以秒为单位。任何小于或等于零的值将被视为禁用。
</description>
</property>
<property>
    <name>yarn.scheduler.capacity.root.hive.default-application-lifetime</name>
<value>-1</value>
    <description>
      hive队列中任务的默认生命时长，以秒为单位。任何小于或等于零的值将被视为禁用。
</description>
</property>

（2）分发配置文件

xsync /opt/module/hadoop-3.1.3/etc/hadoop/capacity-scheduler.xml

（3）重启Hadoop集群

2）测试新队列

（1）提交一个MR任务，并指定队列为hive

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi -Dmapreduce.job.queuename=hive 1 1

（2）查看ResourceManager的web页面，观察任务被提交到的队列

image-20210208204613523

set mapreduce.job.queuename=hive;

image-20210208205355872

注意：hive调用spark引擎之所以队列一直running，是因为本质是运行的spark-shell，再次提交任务不需要重复执行，因此速度较快。

子清.
关注
  • 4
    点赞
  • 踩
  • 35
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
CDH6针对hive on spark的调优文档，这个是生产的实战经验
hive使用spark引擎的几种情况
u011250186的博客
09-14 3248
使用spark引擎查询hive有以下几种方式： 1>使用spark-sql(spark sql cli) 2>使用spark-thrift提交查询sql 3>使用hive on spark(即hive本身设置执行引擎为spark) 针对第一种情况： 1>ambari 已经支持，不需要特殊配置； 2>cdh不支持spark sql cli,原因是cdh自带的spark,spark-sql和spark-R是阉割版本的，如果需要使用 spark sql cli，需要下载原生的编...
Hive On Spark 概述、安装配置、计算引擎更换、应用、异常解决
JIE的博客
10-30 4773
Hive On Spark 概述、安装配置、计算引擎更换、应用、异常解决
Hive On Spark 报错：Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException
最新发布
Y_Aryan的博客
02-22 508
脚本中含有：数据装载进hive表的sql语句，在执行脚本的时候发生报错。
Hive on Spark 离线数仓生成的原始数据
02-12
2024年1月11号-13号的数据，包含7-10号的历史业务数据
hive-spark-client-3.1.2.jar
09-17
hive-on-spark客户端
配置Hive使用Spark执行引擎
积跬步，至千里。
10-10 3962
在Hive中，可以通过配置来指定使用不同的执行引擎。Hive执行引擎包括：默认MR、tez、spark。
了解hive on spark和spark on hive
weixin_45812067的博客
12-28 1656
大数据刚出来的时候，并不是很完善。发展的不是很快，尤其是在计算服务上，当时使用的是第一代mr计算引擎，相对来说计算并不是那么快。让大数据快速发展的是2009年伯克利大学诞生的spark，并在2013年成为Aparch的顶级开源项目。使大数据发展比较迅速、但是随着spark的快速发展，对于不太会用spark的或者一直用hiveSql的程序员，但是又想使用spark。提出hive添加spark作为第三个后端在这个概念上就衍生了两种模式，一种是hive on spark，另外一种是spark on hive。
Hive on Spark环境搭建
TH_NUM的博客
06-03 3122
Hive 引擎包括：默认 MR、tez、spark最底层的引擎就是MR （Mapreduce）无需配置，Hive运行自带Hive on Spark：Hive 既作为存储元数据又负责 SQL 的解析优化，语法是 HQL 语法，执行引擎变成了 Spark，Spark 负责采用 RDD 执行。Spark on Hive : Hive 只作为存储元数据，Spark 负责 SQL 解析优化，语法是 Spark SQL语法，Spark 负责采用 RDD 执行。
一百零六、Hive312的计算引擎由MapReduce(默认)改为Spark（亲测有效）
tiantang2renjian的博客
04-24 3552
Hive312的计算引擎由MapReduce(默认)改为Spark
hive on spark配置和需要注意的点
qq_46183404的博客
10-17 1756
hive on spark配置和需要注意的点
hive on spark mr 数据开发常见问题解决
11-20
hive工作常见问题解决收集开发人员在Hive日常开发过程中难免遇到各种各样的hive报错，这些报错信息很多时间并没有形成汇总的知识库，每次遇到问题都会重复查资料，效率非常低 现在总结一些常见的知识库，方便大家查看并分析： 最近工作的公司，我们常常见的错误 有 shuffle in fetcher#6 at GC overhead limit exceeded Unknown primitive type VOID Output column number expected to be 0 when isRepeating from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask 空文件 等等
Spark和Hive的结合（让hive基于spark计算）
01-07
spark和hive结合 1.安装mysql 2.在spark/conf中创建一个hive-site.xml        javax.jdo.option.ConnectionURL     jdbc:mysql://192.168.224.132:3306/hive?createDatabaseIfNotExist=true     JDBC connect string for a JDBC metastore              javax.jdo.option.ConnectionDriverName     com.mysql.jdbc.Driver     Driver
spark下安装hive配置文件hive-site.xml
03-24
spark下安装hive标准配置文档。Ubuntu安装hive，并配置mysql作为元数据库时候需要的标准hive-site.xml配置文件，可以根据这个文件联系我的博文内容就行修改，避免入坑。实现快捷启动hive。
hive3.x编译spark3.x包
06-07
补丁文件包，依赖包，hive3.1.2-spark3.0.0和hive3.1.3-spark3.1.3二进制包已经全部放进该压缩
Hive on Spark源码分析DOC
12-18
Hive on Spark源码分析，实际场景中会遇到需求：将Hive默认的执行引擎MapReduce换成Spark或者Tez。
Spark计算引擎之SparkSQL详解
01-27
1．SparkSQL概述 ...这个方法使得Shark的用户可以加速Hive的查询，但是Shark继承了Hive的大且复杂的代码使得Shark很难优化和维护，同时Shark依赖于Spark的版本。随着我们遇到了性能优化的上限，以及集
Hive（总）看完这篇，别说你不会Hive！
热门推荐
子清的博客
09-24 7万+
文章目录1.Hive入门1.1什么是Hive1.2 Hive的优缺点1.2.1 优点1.2.2 缺点1.3Hive架构原理2.Hive安装2.1Hive安装2.2HiveJDBC访问2.2.1启动hiveserver2服务2.2.2连接hiveserver2服务2.2.3注意2.3Hive常用交互命令2.4Hive其他命令操作2.5Hive常见属性配置2.5.1数据仓库位置配置2.5.2查询后信息显示配置2.5.3运行日志信息配置3.Hive数据类型3.1基本数据类型3.2集合数据类型3.3类型转化4.DD
让hive基于spark计算
08-09
Hive是一个基于Hadoop平台的数据仓库工具，而Spark是一个快速、通用的大数据处理引擎。Hive和Spark在大数据处理方面具有不同的优势，因此将Hive基于Spark进行计算可以提高数据处理的效率和性能。 首先，Hive基于Spark可以充分利用Spark的内存计算和并行处理能力。Spark使用内存计算，可以减少磁盘IO，提高数据处理速度。而Hive默认使用基于磁盘的MapReduce进行计算，速度相对较慢。通过将Hive使用Spark进行计算，可以大幅度提升计算速度，缩短任务执行时间。 其次，Hive基于Spark可以实现更复杂的数据处理和分析。Spark提供了丰富的数据处理和分析功能，如图计算、机器学习、流处理等。通过将Hive与Spark集成，可以在Hive中直接调用Spark的API，实现更灵活的数据处理和分析需求。例如，在Hive中可以使用Spark的机器学习库进行数据建模和预测，或者使用Spark的图处理框架进行社交网络分析。 最后，Hive基于Spark可以提升数据处理的可伸缩性和容错性。Spark有一个强大的集群管理器，可以有效地管理集群资源和任务调度。通过将Hive与Spark集成，可以充分利用Spark的集群管理和任务分发能力，实现更高的数据处理并发性和容错性。 总之，将Hive基于Spark进行计算可以提高数据处理效率和性能，实现更复杂的数据处理和分析需求，以及提升数据处理的可伸缩性和容错性。这种集成可以更好地满足大规模和复杂的数据处理场景下的需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值