spark保存的parquet文件在hive中读取报错

最新推荐文章于 2023-10-11 10:44:25 发布
最新推荐文章于 2023-10-11 10:44:25 发布
阅读量3.5k 收藏 2
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhuge134/article/details/86033738
版权

报错如下：

can not find value at 0 in block ...................

这个错误是由于hive中使用的parquet约定与spark中不同导致的，

在hive中，decimal类型是固定用int32来表示，而标准的parquet规范约定：1=<精度<=9，使用int32表示；1=<精度<=18，使用int64表示，spark中即是采用的标准的parquet格式，因此随着decimal精度的不同，其底层类型会有变化；

而由于这一差异，导致在数据中存在decimal类型的情况下，通过spark保存的parquet文件在hive不能正常读取，

解决办法是修改spark中的配置参数，将spark.sql.parquet.writeLegacyFormat配置设为true，该配置默认为false

zhuge134
关注
专栏目录
spark2.3.1-with-hive
09-07
3. **Hive 表格式支持**：Spark 支持 Hive 的多种存储格式，如 ORC、Parquet 和 TextFile，这使得 Spark 可以读写 Hive 已经存在的数据，同时也意味着 Hive 的优化存储格式可以在 Spark 中使用，提高数据读取效率。...
spark-sql读取不到parquet格式的hive表
onway_goahead的博客
02-07 1558
情况一： 当向Hive metastore中读写Parquet表时，Spark SQL将使用Spark SQL自带的Parquet SerDe（SerDe：Serialize/Deserilize的简称,目的是用于序列化和反序列化），而不是用Hive的SerDe，Spark SQL自带的SerDe拥有更好的性能。这个优化的配置参数为spark.sql.hive.convertMetastoreParquet，默认值为开启。 所以有时会发生spark自带的序列化方式无法解析hive中的parquet数据，
Hive无法读取Parquet
鱼归不知处
08-02 3404
查询Hive表，报错：Failed with exception java.io.IOException:parquet.io.ParquetDecodingException: Can not read value at 0 in block -1 in file hdfs://xxx:8020/user/hive/warehouse/tmp.db/table1/part-00000.snapp...
spark.sql.parquet.writeLegacyFormat：ParquetDecodingException: Can not read value at 0 in block -1 in
大数据学习与分享的博客
11-06 3096
系列二 在此之前可以先阅读文章：SparkSQL与Hive metastore Parquet转换 在说问题之前首先了解一个参数spark.sql.parquet.writeLegacyFormat（默认false）的作用： 设置为true时，数据会以Spark1.4和更早的版本的格式写入。比如decimal类型的值会被以Apache Parquet的fixed-length byte array格式写出，该格式是其他系统例如Hive、Impala等使用的。 设置为false时，会使用parquet的新版格
0631-6.2-如何确认一个Parquet文件是否被压缩
张伟的专栏
05-07 365
1 环境准备 测试环境： 1.CDH6.2 2.集群已开启Kerberos 3.Redhat7.4 1.准备一张文本表，数据文件约6GB。 create table if not exists hive_table_test ( s1 string, s2 string, s3 string, s4 string, s5 string, s6 string, s7 string, s8 string, s9 string, s10 string, s11 string ) ROW FORMAT ...
presto查询hive parquet 报错记录
涛哥大数据小屋
12-08 7261
presto查询hive parquet文件表，报错parquet文件字段损坏 Query 20190314_072428_00009_enu46 failed: Corrupted statistics for column "[release_ch] BINARY" in Parquet file ... 解决方案： 在hive的catalog配置文件中，加入如下配置 hive.par...
Hive on Spark 离线数仓生成的原始数据
最新发布
02-12
每个文件可能按照特定的格式（如CSV、Parquet或ORC）存储，以便于Hive进行读取和分析。在实际的数据分析中，我们可能会对这些数据进行进一步的清洗、聚合、关联等操作，以生成更有价值的业务洞察。同时，为了保证...
spark操作hive表源码
11-03
首先，我们需要在Spark中配置Hive的相关信息，包括Hive的元数据存储位置、Hive的配置文件路径等。这通常在创建SparkSession时完成，例如： ```scala val conf = new SparkConf().setAppName("Spark-Hive-Example") ...
ParquetViewer_v2.3.6，可以直接查看parquet文件，并对里面的数据进行简单查询。
07-22
Parquet是一种广泛应用于大数据领域的文件格式，尤其在Apache Spark和Apache Hive等框架中，它以其高效的存储和查询性能而受到青睐。 首先，让我们深入了解Parquet格式。Parquet是Google Dremel论文启发的开源列式...
spark替代Hive实现ETL作业
10-08
1. **部署准备**：将Hive-site.xml文件移至Spark的配置目录中，确保Spark能够访问Hive元数据。注意检查Hive元数据版本，如果是通过Hive Server模式连接，则还需要注意服务器用户的权限问题。 2. **脚本转换**：基于...
Spark SQL的Parquet那些事儿.docx
大数据星球-浪尖
04-28 1649
Parquet是一种列式存储格式，很多种处理引擎都支持这种存储格式，也是sparksql的默认存储格式。Spark SQL支持灵活的读和写Parquet文件，并且对par...
使用spark将MySQL数据导入hive
KANGBboy的博客
03-10 2662
import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession} object spark_from_mysql_to_hive { def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession.builder().master(“local[*]”).enableHiveSupport() .config(“spark.debug.maxToStri
SparkSQL与parquet，处理decimal类型数据时遇到的问题及注意事项
雾岛与鲸的博客
10-11 1123
Spark SQL为了更好的性能，在读写Hive metastore parquet格式的表时，会默认使用自己的Parquet SerDe，而不是采用Hive的SerDe进行序列化和反序列化。设置为true时，数据会以Spark1.4和更早的版本的格式写入。究其原因是因为按照上述两个参数的配置，testdb.item中fee_rate字段类型为decimal(10,6)，数据为0.000000，经过一系列处理0.000000最终会被处理为0，看下边最终导致空指针异常的部分，就会一目了然。
spark参数总结
onway_goahead的博客
12-01 2659
0.Spark Driver SparkSession.builder() .enableHiveSupport() //.appName("pipeline") .config("spark.warehouse.dir", new File("spark-warehouse").getPath) //.config("spark.shuffle.service.enabled", true) // 配合spark.dynamicAllo
hive报错 spark_Spark保存数据到hive,在hive里查询报错
weixin_39840111的博客
12-20 616
我的原创地址：hive查询报错:java.io.IOException:org.apache.parquet.io.ParquetDecodingException​dongkelun.com前言本文解决如标题所述的一个hive查询异常，详细异常信息为：Failed with exception java.io.IOException:org.apache.parquet.io.ParquetDe...
parquet文件在spark中的读取
大鱼的博客
07-11 2513
parquet文件本质是json文件的压缩版，这样不仅大幅度减少了其大小，而且是压缩过的，比较安全一点，spark的安装包里面提供了一个例子，在这个路径下有一个parquet文件： spark-2.0.1-bin-hadoop2.7/examples/src/main/resources 我们可以查看一下： [root@hadoop001 resources]# cat users.par...
项目问题：hive中读取parquet文件的问题
mrye的博客
09-08 2238
问题： hive中查询一段语句： select guid, sessionid, properties, first_value(properties['pageid']) over(partition by guid,sessionid order by ts) as in_page, last_value(properties['pageid']) over(partition by guid,sessionid order by ts rows betwe
Spark存储parquet报错:Column: [xxxx], Expected: int, Found: INT64
善皮之的博客
12-19 3100
Spark存储parquet报错：Expected: int, Found: INT64 原因： hadoop上面有一个文件夹里面存储的dataFrame中的一个列名为a的字段类型为IntegerType 读取mysql中对应的表的时候相同列名a字段的类型是LongType写入parquet的时候类型变为IntegerType看起来没有什么大问题，但是之前的文件夹中的IntegerType是32位...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值