Spark用HiveUDF get_json_object内存泄漏问题

最新推荐文章于 2023-10-28 20:41:49 发布
最新推荐文章于 2023-10-28 20:41:49 发布
阅读量858 收藏 2
点赞数 1
分类专栏： spark 文章标签： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyzzxycj/article/details/109745466
版权
博客讲述了在Spark中使用HiveUDF get_json_object时遇到的内存泄漏问题。通过分析Spark的源码和HiveUDF的实现，发现在多线程环境下，由于LinkedHashMap的非线程安全操作导致内存泄漏。解决方案是移除UDF中的HashCache，以避免内存问题。
摘要由CSDN通过智能技术生成

1、问题背景

首先我们支持Spark使用HiveUDF的实现，在某个任务中，executor GC时间普遍非常长，而Hive同样逻辑就没有问题。
选取GC过长的一个executor，dump下内存，发现UDFJson对象非常大：
在这里插入图片描述
于是推测其中存在内存泄漏。

2、问题排查

本文代码为社区Spark master分支a834dba120
在解析SQL时我们可以看到注册UDF函数入口
Analyzer.scala：
在这里插入图片描述
发现函数注册提供qualifiedName以及不覆盖已注册的函数
SessionCatalog.scala:
在这里插入图片描述
跟进发现做了一些函数存在性和可加载校验：
在这里插入图片描述

最低0.47元/天 解锁文章
Spark之hive的UDF自定义函数
九师兄
07-04 7740
1.简单的 package com.llcc.sparkSql.MyTimeSort import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.hive.HiveContext object UDFDemo1 { def main(args:Array[String]):Unit = { val conf = new SparkConf().setAppName("aa") val .
[Spark版本更新]--Spark-2.4.0 发布说明
欢迎来到我的博客，一起探索代码里的世界！
11-09 6581
2018-11-02 Apache Spark 官方发布了 2.4.0版本，以下是 Release Notes，供参考：  Sub-task [ SPARK-6236 ] - 支持大于2G的缓存块 [ SPARK-6237 ] - 支持上传块> 2GB作为流 [ SPARK-10884 ] - 支持针对回归和分类相关模型的单实例预测 [ SPARK-11239 ] - 用于ML线性...
spark-hive-udf:Spark Hive UDF示例
04-22
Spark Hive UDF示例 建立项目 mvn clean package 将spark-hive-udf-1.0.0-SNAPSHOT.jar复制到边缘节点临时目录 spark-hive-udf]# cp target/spark-hive-udf-1.0.0-SNAPSHOT.jar /tmp 通过提供罐子来启动火花壳 spark-shell --master yarn --jars /tmp/spark-hive-udf-1.0.0-SNAPSHOT.jar 创建名称为大写的函数并列出该函数 spark.sql("CREATE OR REPLACE FUNCTION uppercase AS 'com.ranga.spark.hive.udf.UpperCaseUDF' USING JAR '/tmp/spark-hive-udf-1.0.0-SNAPSHOT.jar'") sp
简单谈谈hive，spark-sql，hive on spark中udf自定义函数的使用
Bayerngu的博客
06-19 3754
hive中使用udf 首先如果在hive中使用udf函数的话，如果使用java编写udf，则需要导入的包： import org.apache.hadoop.hive.ql.exec.UDF; //这里的1代表参数个数 import org.apache.spark.sql.api.java.UDF1; 比如创建一个udf： import org.apache.hadoop.hive.serde2.io.DoubleWritable; import org.apache.hadoop.io.IntWri
SparkSQL使用之如何使用UDF
大数据机器学习
04-25 7796
使用Java开发一个helloworld级别UDF，打包成udf.jar，存放在/home/Hadoop/lib下，代码如下： package com.luogankun.udf; import org.apache.hadoop.hive.ql.exec.UDF; public class HelloUDF extends UDF { public String evaluate(
Hive 程序内存溢出错误分析
dichao1961的博客
09-11 272
原hive程序： INSERT OVERWRITE TABLE MID_RES_LINK_LGC_BT PARTITION ( local_area_id = 20, dt = '20130831' ) SELECT LL.LGC_LINE_ID, LL.RES_SPEC_ID, ...
大数据技术之_19_Spark学习_07_Spark 性能调优 + 数据倾斜调优 + 运行资源调优 + 程序开发调优 + Shuffle 调优 + GC 调优 + Spark 企业应用案例
黑泽君
05-04 2180
大数据技术之_19_Spark学习_07_Spark 性能调优 + 数据倾斜调优 + 运行资源调优 + 程序开发调优 + Shuffle 调优 + GC 调优 + Spark 企业应用案例
数仓开发面试题-Spark
最新发布
话数Science
10-28 282
和Parquet类似，ORC文件也是以二进制方式存储的，所以是不可以直接读取，ORC文件也是自解析的，它包含许多的元数据，这些元数据都是同构ProtoBuffer进行序列化的。通过这三种文件存储格式的测试对比，ORC文件存储格式无论是在空间存储、导数据速度还是查询速度上表现的都较好一些，并且ORC可以一定程度上支持ACID操作，社区的发展目前也是Hive中比较提倡使用的一种列式存储格式，另外，本次测试主要针对的是Hive引擎，所以不排除存在Hive与ORC的敏感度比PARQUET要高的可能性。
[Spark版本升级]-- spark-2.2.0发行说明
欢迎来到我的博客，一起探索代码里的世界！
07-18 6606
Spark-2.2.0版本发行时间：2017-7-11   一、Jira说明： https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315420&version=12338275   子任务 [ SPARK-1267 ] - 添加PySpark的pip安装程序 [ SPARK-3249 ] - ...
记一次奇葩的Spark内存溢出OOM
Toby的博客
09-22 1598
错误信息如下： org.apache.spark.memory.SparkOutOfMemoryError: Unable to acquire 1048576 bytes of memory, got 65536 内存溢出的位置：做JOIN操作的时候，内存溢出了。 首先，定位下任务使用的资源， 其次，调参数 --driver-cores 4 \ --driver-memory 8G \ --executor-cores 4 \ --executor-memory 16G \ -..
在hive udf中加载外部数据到内存中
weixin_44651989的博客
09-09 837
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.io.IOUtils; import org.apache.hadoop.fs.FileSystem; import ja
Hive的Udf Jar包不能太大
激进的蜗牛
12-26 1019
Hive Udf的注册流程我们都清楚,是写好代码之后打成jar包,将jar包存放在HDFS上. 前端时间因业务需要,增加一个对数据加密的UDF,该功能因为依赖了外部库,所以在POM文件中添加了一些外部依赖.因为maven本身会将我们添加依赖的依赖链处理好,所以导致写完代码打包后,Jar包过大. 添加加密UDF前jar包大小为30k+,增加后为70M+,没考虑太多,直接上传. 第二天早晨...
Hive_Hive中的Json数据解析函数 get_json_object & json_tuple
迎难而上
07-22 5768
Hive 基础用法
spark-hive 自定义函数UDTF的坑
xiangyiran的博客
03-06 2526
spark-hive UDTF的坑
spark自定义hive的UDF/UDAF函数
念念的博客,记录学习的点点滴滴！
02-27 1335
自定义UDF函数 package com.ws.spark import org.apache.spark.sql.DataFrame import org.apache.spark.sql.hive.HiveContext import org.apache.spark.{SparkConf, SparkContext} object MyUDF{ def main(args: Arr...
hive udf报gc异常
遥望......
09-10 367
在编写实现udf函数时，在小批量数据是没有问题的，一旦数据量多就报错，仔细看日志有gc异常，后来经过排查，发现是udf包太大导致的问题，去除了一些不必要的依赖之后变得正常。下面是写的一个时间戳转任意时区的udf函数功能 1.获取北京时间yyyy-MM-dd格式的时间 selectts2day(); ------- 2019-09-10 2.获取指定时间戳的北京时间yyyy-MM-dd格式的时间 ...
Spark之多线程安全问题 ,RDD的错误示范,累加器(分布式计算器) ,shuffle算子特殊情况 ,调用别人的API怎么操作(9)
桂林算啦粉的博客
10-05 1276
一 多线程安全问题 二 定期更新规则 三 累加器 用来统计数据处理的条数 ,在Task局部聚合 ,再到Driver端sum 在Driver端定义累加器 ,有以下三种形式 : 1)collectionAccumulator :将异常数据保存到集合里面 2)longAccumulator("累加器的名字") 3) DoubleAccumulator无参 val rdd1 = parallelize(List(1,2,3,4,5,6)) ---在Driver端定义...
python实现Spark(Hive) SQL中UDF的使用
张小丑
05-10 2698
相对于使用MapReduce或者Spark Application的方式进行数据分析，使用Hive SQL或Spark SQL能为我们省去不少的代码工作量，而Hive SQL或Spark SQL本身内置的各类UDF也为我们的数据处理提供了不少便利的工具，当这些内置的UDF不能满足于我们的需要时，Hive SQL或Spark SQL还为我们提供了自定义UDF的相关接口，方便我们根据自己的需求进行扩展...
SparkSQL基础知识及与HIVE整合UDF函数编写
weixin_45793819的博客
04-21 1582
什么是SparkSQL 用于处理结构化数据的Spark模块 可以通过DataFrame和DataSet处理数据 SparkSQL特点 1易整合 可以使用java、scala、python、R等语言的API操作 2统一的数据访问 连接到任何数据源的方式相同。 3 兼容hive 4标准的数据连接（JDBC/ODBC） SQL 优缺点 优点：表达清晰 ，难度低，已学习 **缺点：**复杂的业业务需要复杂...
sparksql get_json_object函数
05-29
`get_json_object`是Spark SQL中的一个函数，用于从一个JSON字符串中提取指定的字段的值。其语法如下： ``` get_json_object(json_string, path) ``` 其中，`json_string`是指输入的JSON字符串，`path`是指要提取...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值