编译Spark支持hive

最新推荐文章于 2022-12-01 16:09:29 发布
最新推荐文章于 2022-12-01 16:09:29 发布
阅读量657 收藏
点赞数
分类专栏： SPARK
原文链接：https://www.jianshu.com/p/b373ee023e51
版权

编译完全是参考简书的文章进行编译的，原链接如下：

编译Spark源码支持Hive并部署

这次编译真实抓狂，编译过程中总是refuse connected。。。

两把伞
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark2.0编译版-适用于hive2.3的hive on spark
09-26
hive on spark要求spark中不包含hive的jar包，必须重新编译，历尽艰辛终于搞好了，适配hive2.3、hadoop2.7.6环境。
spark-3.1.2兼容多版本hive
w757227129的博客
05-31 1352
spark 3.1.2版本对多版本hive的兼容处理
Hive3.1.2 on spark
weixin_42728895的博客
08-25 2511
详情参考： https://blog.csdn.net/gulugulu_gulu/article/details/105706090
hive on spark 已测，完美搭建
qq_42147602的博客
07-01 2168
hive on spark 已测，完美搭建安装包版本 Hadoop-3.1.3 Hive-3.1.2 Spark-3.0.0 安装包要选择博主安装包，已经经过编译，可以避开许多坑 Hadoop压缩包链接：https://pan.baidu.com/s/1_I5LfyQqAgZ0SFUhqgrPbw 提取码：1234 –如下载不上或需要远程协助，移步v xy18796357645告明来意1）兼容性说明 注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive3.1.2支持的Sp
hive on spark引擎编译与测试
悦上心灵的博客
09-23 653
Hive on Spark源码编译
hive3.x编译spark3.x包
06-07
补丁文件包，依赖包，hive3.1.2-spark3.0.0和hive3.1.3-spark3.1.3二进制包已经全部放进该压缩
Hive3.1.2编译源码
05-20
使用hive3.1.2和spark...所以，如果想要使用高版本的hive和hadoop，我们要重新编译hive，兼容spark3.0.0。除了兼容spark3.0.0外，还将hive3.1.2的guava的版本进行了提升，和hadoop3.x保持一致，以便兼容hadoop3.1.3。
编译的spark-hive_2.11-2.3.0和 spark-hive-thriftserver_2.11-2.3.0.jar
06-23
spark-hive_2.11-2.3.0 spark-hive-thriftserver_2.11-2.3.0.jar log4j-2.15.0.jar slf4j-api-1.7.7.jar slf4j-log4j12-1.7.25.jar curator-client-2.4.0.jar curator-framework-2.4.0.jar curator-recipes-2.4.0....
hive3.1.2编译.doc
08-24
hive对应spark3.x编译
spark 2.3.1 支持Hive Yarn Hadoop 2.7 已编译版本
07-27
spark 2.3.1 支持Hive Yarn Hadoop 2.7 已编译版本 可以直接使用
Spark3.X 编译源码支持hive（亲测可用）
猫头鹰数据的专栏
10-13 1673
Spark官网提供的编译版本默认是不支持Hive的，今天就给大家介绍采用源码编译方法得到支持Hive的Spark版本
HIVE3 兼容spark3.XX，编译过程
80后大叔爱学习
07-15 491
1、vi pom.xml 2、
hive3.1.4源码编译兼容spark3.0.0 hive on spark hadoop3.x修改源码依赖 步骤详细
weixin_52918377的博客
05-21 6266
hive编译 自从CDH宣布收费之后，公司决定使用开源的组件，对现有的大数据集群进行替换。 使用hive3.1.2和spark3.0.0配置hive on spark的时候，发现官方下载的hive3.1.2和spark3.0.0不兼容，hive3.1.2对应的版本是spark2.3.0，而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。 所以，如果想要使用高版本的hive和hadoop，我们要重新编译hive，兼容spark3.0.0。 目前，有关hive3.1.2编译的
编译Spark3.x，Spark3.x与Hadoop、Hive版本兼容问题的解决
chengyuan54的博客
09-25 6206
编译Spark3.x 1.修改 D:\source\spark-3.0.0\dev\make-distribution.sh 将133行-151行注释，按如下方式修改 VERSION=3.0.0 SCALA_VERSION=2.12 SPARK_HADOOP_VERSION=2.6.0-cdh5.16.2 SPARK_HIVE=1 #VERSION=$("$MVN" help:evaluate -Dexpression=project.version $@ 2>/dev/null\ # .
编译Spark3.1.0并集成hive3.1.2和hadoop3.3.0
hxtog的博客
02-09 4094
文章目录编译Spark2.4.7并集成hive3.1.2和hadoop3.3.0先上本机运行情况准备工作编译Spark配置Spark配置spark-env.sh配置spark-default.conf启动Spark集成Hive3.1.2修改hive-site.xml复制jar包到hive目录lib文件夹删除spark下orc-core-1.5.5-nohive.jar文件启动Hive on Spark总结 编译Spark2.4.7并集成hive3.1.2和hadoop3.3.0 搭建过程参考网上各种教程,
spark-3.2.0修改源码编译，导入IDEA，连接Hive库
liweihope的博客
02-10 1935
文章目录环境Spark修改spark-shell启动LOGO修改pom.xml文件编译源码导入IDEA连接Hive库验证spark-shell启动LOGO的修改 环境 参考官网： https://spark.apache.org/docs/3.2.0/building-spark.html The Maven-based build is the build of reference for Apache Spark. Building Spark using Maven requires Maven
编译适合CDH6.3.2的spark3.3.2
weixin_45441077的博客
08-16 1437
自编译适合CDH6.3.2的spark3.2.2
SPARKSQL3.0-Spark兼容多版本Hive源码分析
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
12-01 2161
SPARKSQL3.0-Spark兼容多版本Hive源码分析
Hive3.1.2整合Spark3.0.0-HiveOnSpark
epitomizelu的专栏
03-26 6279
一，整合原理 1，HiveOnSpark Hive是一个Sql解析引擎，其不具备计算能力，Hive将Sql解析成为物理执行计划，将物理执行计划交由计算引擎执行计算，默认的执行引擎是MapReduce，但MapReduce执行速度慢，随着Spark的崛起，Hive也支持使用Spark作为计算引擎，这就是HiveOnSpark 2，SparkOnHive 比较容易混淆，二者差距还是很大的，SparkOnHive只是使用了Hive的元数据服务，Sql解析由Spark完成、计算也由Spark完成。 二，整合步骤
spark2.3.0编译 spark on hive
最新发布
09-06
Spark提供了与Hive集成的功能，可以在Spark中使用Hive的元数据、表和查询语言。要在Spark中使用Hive集成，您需要确保在Spark中启用Hive支持。 首先，您需要在启动Spark应用程序时配置Hive支持。您可以在SparkSession的配置中设置以下选项来启用Hive支持： ```python from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("Spark Hive Integration") \ .config("spark.sql.warehouse.dir", "/user/hive/warehouse") \ .enableHiveSupport() \ .getOrCreate() ``` 在上述示例中，我们通过将`spark.sql.warehouse.dir`配置设置为Hive仓库目录来启用Hive支持。 一旦启用了Hive支持，您可以使用SparkSession的`sql`方法执行Hive查询。例如，您可以执行以下操作来读取Hive表的数据： ```python df = spark.sql("SELECT * FROM database.table") ``` 在这里，`database.table`是您要查询的Hive表的名称。 需要注意的是，Spark会自动将Hive表中的数据加载为DataFrame，这样您就可以使用Spark的API进行数据处理和分析。 除了执行Hive查询，您还可以使用Spark的DataFrame API来创建、操作和管理Hive表。您可以使用`spark.catalog`来访问Hive的元数据信息，并使用DataFrame API来创建新表、插入数据等操作。 这就是Spark与Hive集成的基本概述。通过使用Spark和Hive的组合，您可以在Spark中利用Hive的元数据和查询能力，以及Spark强大的数据处理和分析功能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值