idea配置spark连外置hive问题记录

最新推荐文章于 2024-04-18 21:12:58 发布

zyann95

最新推荐文章于 2024-04-18 21:12:58 发布

阅读量775

点赞数 1

分类专栏： spark 文章标签： intellij-idea spark hive

本文链接：https://blog.csdn.net/zyann95/article/details/125818627

版权

spark 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1. NoClassDefFoundError: org/codehaus/janino/InternalCompilerException**
加依赖：

<dependency>
            <groupId>org.codehaus.janino</groupId>
            <artifactId>janino</artifactId>
            <version>3.0.8</version>
</dependency>

2. Identifier principalName is unresolved**
hive metastore没有配置好

3. NoSuchMethodError:org.apache.spark.sql.execution.SparkPlanner.**
依赖中spark组件版本和spark/jars中不对应

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

zyann95

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
2
评论
idea配置spark连外置hive问题记录

记录
复制链接

扫一扫

专栏目录

Apache Spark启动spark-sql报错

终回首的博客

08-02

2611

一、问题安装好spark后，执行spark-sql报错Exception in thread “main” java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT 命令 ./bin/spark-sql 报错日志： 2021-08-02 15:00:04,213 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin

Window使用idea操作spark连接hive

qq_42263866的博客

11-27

1523

首先说下这样做的好处，不用每次都打成jar包在集群测试，直接在本地就可以测试。平台环境：hadoop 2.6.0-CDH5.7 Hive 1.1.0 Spark 1.6.0 Scala 2.11.5 项目环境：jdk 1.8 scala2.11.0 1.创建新工程 1.创建一个maven工程，不做赘述。工程目录结构如下： 2.配置环境 1.左上角File -&g...

2 条评论您还未登录，请先登录后发表或查看评论

在inteillj idea中使用Spark操作Hive

北桥苏的博客

05-06

1036

前言：都知道，小编前面已经简单介绍过在windows下hadoop和hive环境搭建和基本使用。这次的Spark有点突兀，但是也可以先忽略，重要的是先在IDEA中安装bigData插件连接hadoop已经HDFS，而后再简单介绍使用Spark操作Hive。 Big Data Tools安装： 1. 点击File, 选择Settings，再选择Plugins搜索Big Data Tools，最后下载安装。 2. 下载完毕后，底部和右侧栏会多出Hadoop或Big Data ...

windows下IDEA使用spark连接hive

katyusha1的博客

05-13

837

1、前言由于需要在本地环境连接测试集群相关的一些数据，传统方式需要先打jar包，然后再放在集群上使用spark-submit，这样非常麻烦，所以在网上找了下开发环境使用sparksql连接hive的方法，经过许久的折腾，总算弄成功了，特此记录一下。 2、准备 A、配置文件把集群上的hadoop etc/hadoop目录下的core-site.xml hdfs-site.xml （读取hdfs上的文件必须） hive的配置文件 hive-site.xml（读取hive必须）拷贝到resource

Spark异常：org/codehaus/janino/InternalCompilerException

weixin_44455388的博客

07-20

8942

执行SparkSQL时出现异常： Exception in thread "main" java.lang.NoClassDefFoundError: org/codehaus/janino/InternalCompilerException at org.apache.spark.sql.catalyst.expressions.codegen.GenerateSafeProjection$.create(GenerateSafeProjection.scala:197) at org.a

spark 连接 hive 报错 Identifier principalName is unresolved (not a static field)

weixin_53359823的博客

12-08

631

spark连接hive的mysql元数据库metastore，不能直接访问，需要通过metastore server间接访问因此需要开启元数据服务。

idea中通过spark访问hive

01-07

IDEA中使用Spark SQL 连接Hive 折腾了两个小时，好久没有弄了，记录一下一、复制hive-site.xml 复制hive-site.xml到idea工程中的resource目录下二、在windows中安装hadoop并配置环境变量 1、解压hadoop 2、修改...

spark下安装hive配置文件hive-site.xml

03-24

spark下安装hive标准配置文档。Ubuntu安装hive，并配置mysql作为元数据库时候需要的标准hive-site.xml配置文件，可以根据这个文件联系我的博文内容就行修改，避免入坑。实现快捷启动hive。

基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优

05-25

CDH6针对hive on spark的调优文档，这个是生产的实战经验

使用IDEA Database Tool连接Hive数据库.html

10-29

Idea连接Hive,Idea连接Hive,Idea连接Hive,Idea连接Hive,Idea连接Hive

使用IDEA工具连接CDH集群里面的hive组件

10-06

完成以上步骤后，你的IDEA项目就配置好了连接CDH集群中Hive组件的能力，可以编写Java程序执行Hive查询，进行大数据分析工作。记得在实际操作时，确保集群的网络安全设置允许从你的开发机器访问，并且配置文件正确...

Spark-submit 提交报错 org.apache.spark.sql.execution.datasources.orc.OrcFileFormat could not be instant

weixin_37417954的博客

07-05

9587

错误场景如下代码： spark.sql("select e.empno,e.ename,e.job,e.mgr,e.comm from emp e join dept d on e.deptno = d.deptno") .filter("comm is not null") .write.parquet("/demp"); spark-shell 可以跑的...

Spark报错NoSuchMethodError或ClassNotFoundException

胡渣大叔的技术专栏

06-29

957

Spark-submit提交的任务抛出了java.lang.NoSuchMethodError或者ClassNotFoundException问题分析方法

运行spark sql时出现的一个问题

weixin_30849591的博客

09-30

1956

运行如下代码时出现了 org.apache.spark.sql.AnalysisException 错误 import org.apache.log4j.{Level, Logger} import org.apache.spark.sql.{DataFrame, Dataset, SparkSession} /** * 使用SaprkSQL实现iplocation ...

01-集群空间被沾满导致sparksql执行失败异常

liu82327114的博客

05-07

557

异常log：Caused by: java.sql.SQLException: org.apache.spark.SparkException: Job aborted due to stage failure: Task 799 in stage 9537.0 failed 4 times, most recent failure: Lost task 799.3 in stage 9537.0...

【spark】异常：org.apache.spark.sql.AnalysisException: resolved attribute(s)

最新发布

m0_69460676的博客

04-18

1535

错误通常与运行环境缺少所需的依赖库有关，特别是与编译或运行时代码生成相关的库。我写一个方法让sparkSession实例去加载hdfs分布式文件系统中的数据信息，并且简单的执行过滤和读取信息，已经不会出现报错，下一步我们就可以使用mllib等机器学习库或自定义的权重算法实现大数据分析，生成用户个性化内容了。注意，如果您通过添加janino后，代码执行时，报错依然没有解决，那么可能是你的spark版本过旧，并不支持janino的最新特性，那么就在spark版本不变的情况下回退janino的版本：如图。

IDEA中spark-sql连接外置hive报错解决

weixin_72808879的博客

09-29

643

问题：hive-exec版本号为1.2.1无法导入尝试：由于1.2.1始终导入不成功，我尝试了和hive版本一致的3.1.2版本，导入后在进行数据修改时，常常会报错：在这期间，有尝试了许许多多方法去解决无法实例化SessionHiveMetaStoreClient的问题，诸如：删除以往的warehouse文件夹，不断调整exec的版本，重启hadoop和hive服务，开放端口关闭防火墙，启动和重新初始化元存储数据库等等但都没有解决。

idea 写spark程序连接hive

07-13

当你想要在Spark中连接Hive，你可以按照以下步骤进行操作： 1. 首先，确保你的Spark集群已经正确地配置了与Hive的连接。你需要在Spark配置文件（spark-defaults.conf）中设置以下属性： ``` spark.sql.warehouse.dir hive_warehouse_directory_path spark.sql.catalogImplementation hive ``` 2. 导入必要的包： ``` import org.apache.spark.sql.SparkSession ``` 3. 创建一个SparkSession实例，并启用Hive支持： ``` val spark = SparkSession.builder() .appName("Spark Hive Example") .enableHiveSupport() .getOrCreate() ``` 4. 现在，你可以使用SparkSession来执行Hive查询或操作Hive表。以下是一些示例代码： - 运行Hive查询并将结果作为DataFrame返回： ``` val result = spark.sql("SELECT * FROM your_hive_table") ``` - 将DataFrame写入Hive表： ``` result.write.mode("overwrite").saveAsTable("your_hive_table") ``` - 通过Hive SQL语句创建一个新的Hive表： ``` spark.sql("CREATE TABLE your_new_hive_table (column1 datatype, column2 datatype, ...)") ``` - 将DataFrame注册为临时表，并使用Hive SQL查询： ``` result.createOrReplaceTempView("temp_table") val queryResult = spark.sql("SELECT * FROM temp_table WHERE ...") ``` 这些步骤将帮助你连接Spark和Hive，并在Spark中执行Hive查询或操作Hive表。请确保你的Spark集群和Hive已正确配置和启动。