UDF函数和UDTF函数的图解举例，追加UDAF函数

已于 2022-08-01 09:28:49 修改
阅读量938 收藏
点赞数
文章标签： 大数据
于 2022-07-08 14:14:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhongs11/article/details/125677329
版权

简述UDF/UDAF/UDTF是什么，各自解决问题及应用场景 - 玩转大数据 - 博客园

自定义UDF和UDTF函数的两个作用点：

1.埋点log打印日志，方便任务出现问题后进行调试

2.有一些SQL解决不了的问题，可以通过java代码实现UDF\UDTF函数来辅助解决

  • UDF

  • 实现步骤(Java创建自定义UDF类)

    • 自定义一个java类
    • 继承UDF类
    • 重写evaluate方法
    • 打包类所在项目成一个all-in-one的jar包并上传到hive所在机器
    • 在hive中执行add jar操作，将jar加载到classpath中。
    • 在hive中创建模板函数，使得后边可以使用该函数名称调用实际的udf函数
    • hive sql中像调用系统函数一样使用udf函数
  • UDF函数属于一对一的关系，对一个集合中的每一数据进行一个操作，得到等量的结果，在具体的使用中比如对一组数据中的一个字段数据进行一个加密操作，或者是将一整组数据大写改成小写

UDTF

实现步骤

  • 自定义一个java类
  • 继承UDAF类
  • 内部定义一个静态类，实现UDAFEvaluator接口
  • 实现方法init,iterate,terminatePartial,merge,terminate，共5个方法. 详见下图
  • 在hive中执行add jar操作，将jar加载到classpath中。
  • 在hive中创建模板函数，使得后边可以使用该函数名称调用实际的udf函数

  • hive sql中像调用系统函数一样使用udaf函数

UDTF函数是一个一对多的关系，由一个参数得到多个结果，在具体的使用中包括有对一组数据进行一个行转列的列式存储的一个转化，在SQL对应的方法是explod

UDAF函数

属于多对一的关系，他具体的使用比如是在行式存储列转行的时候使用，将多行转换成一行

在SQL中对应的方法是 collect_list、collect_set

collect_list和collect_set之间的区别点在于collect_set是去重的，而collect_list是不去重的

zhongs11
关注
Hive UDF、UDAF和UDTF函数详解
JustinMars的博客
09-04 760
在 Hive 中，可以编写和使用不同类型的自定义函数，包括 UDF（User-Defined Functions）、UDAF（User-Defined Aggregate Functions）和 UDTF（User-Defined Table Functions）。
【Flink】Flink Table & SQL 用户自定义函数: UDF、UDAF、UDTF
九师兄
06-03 3509
本文总结Flink Table & SQL中的用户自定义函数: UDF、UDAF、UDTF。 UDF: 自定义标量函数(User Defined Scalar Function)。一行输入一行输出。 UDAF: 自定义聚合函数。多行输入一行输出。 UDTF: 自定义表函数。一行输入多行输出或一列输入多列输出。 测试数据 // 某个用户在某个时刻浏览了某个商品，以及商品的价值 // eventTime: 北京时间，方便测试。如下，乱序数据: {"userID": "user_5", "eventTi.
日志OLAP：在SQL中使用UDF, lambda函数使用案例
maoreyou的博客
07-11 321
摘要： 场景 日志服务内置了20+类SQL函数。面对用户复杂的业务场景，例如使用json来沉淀业务数据，普通的SQL函数可能就无法满足需求，需要一些用户自定义处理逻辑。为了处理json类的业务数据，我们可以采用把json展开成多行的形式进行统计分析，今天我们介绍使用UDF(lambda)的方式来编写自定义逻辑，处理json、array、map类型的数据。场景日志服务内置了20+类SQL函数。面对用...
hive自定义函数分类+UDF实例
东城庞太师
02-06 759
hive自定义函数分为三类： UDF（User-Defined-Function）普通函数， 一进一出 UDAF（User-Defined Aggregation Function）聚合函数，多进一出 UDTF（User-Defined Table-Generating Functions）表生成函数， 一进多出 UDF实例 新建子模块hive_demo ...
【大数据】UDF技术浅析
最新发布
wnm23的专栏
09-23 1400
用户定义函数（User Defined Function, UDF）是一种扩展数据库或数据处理系统功能的机制。通过定义自己的函数，用户可以在传统的查询功能之外实现更加复杂的数据处理逻辑。UDF被广泛用于数据分析、数据处理、数据清洗等场景。
HVE 用户自定义函数UDF实例
忘尘的博客
06-20 383
import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.util.HashMap; import java.util.Map; import org.apache.hadoop.hive.ql.exec.UDFArgumentException; import org.apache.hadoop.h
Hadoop_UDTF示例
weixin_30750335的博客
11-24 146
UDTF: 一进多出 UDTF(User-Defined Table-Generating Function)支持一个输入多个输出, 一般用于解析工作,比如说解析url,然后获取url中的信息 编码:继承GenericUDTF,实现方法:initializa(返回返回值的参数类型)、process具体的处理方法, 　　 一般在这个方法中会调用父类的forward方法进行数据的写出、最终...
udf函数（udf udaf udtf)
weixin_38629422的博客
11-03 6966
UDF的定义 UDF（User-Defined Functions）即是用户定义的hive函数。hive自带的函数并不能完全满足业务需求，这时就需要我们自定义函数了 UDF的分类 UDF：one to one，进来一个出去一个，row mapping。是row级别操作，如：upper、substr函数 UDAF：many to one，进来多个出去一个，row mapping。是row级别操作，如sum/min。 UDTF：one to many ，进来一个出去多个。如alteral view与explod
HIVE udf、udaf、udtf函数定义与用法（最全！！！！！）
nono的博客
02-08 5482
一、定义 1、hive udf、udaf、udtf函数定义与用法 （1）UDF（user-defined function）作用于单个数据行，产生一个数据行作为输出。（数学函数，字符串函数） （2）UDAF（用户定义聚集函数 User- Defined Aggregation Funcation）：接收多个输入数据行，并产生一个输出数据行。（count，max） （3）UDTF（表格生成函数 User-Defined Table Functions）：接收一行输入，输出（explode） 总结：
SparkSQL中的自定义函数UDF、UDAF、UDTF（附UDF实现案例）
奇迹虎虎的博客
02-26 1399
UDF 函数（User-Defined-Function）一对一的关系，UDAF 聚合函数（User-Defined Aggregation Function）多对一的关系，UDTF 函数（User-Defined Table-Generating Functions）一对多的关系。
hive中的自定义函数 udf 和udaf和udtf的区别 以及用法
zengxianglei的博客--手指星辰 奈何天！
05-07 3924
hive中的自定义函数 udf 和udaf和udtf的区别 以及用法 udf: 特点：input:output=1:1 实例函数:md5,split,ltrim 应用场景：1:1的情况，比如md5… 实现方法：简单udf实现 extends UDF 方法名 evaluate 举例： public class Lower extends UDF { public Text evaluate(Te...
UDF的应用实例
12-28
关于fluent的udf应用实例，帮助fluent初学者快速掌握udf的编程知识
HIVE 用户自定义函数UDTF实例(实现一行数据的分割带注释)
忘尘的博客
06-20 434
import java.util.ArrayList; import java.util.List; import org.apache.hadoop.hive.ql.exec.UDFArgumentException; import org.apache.hadoop.hive.ql.metadata.HiveException; import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF; import org.apache.hadoop.hive
hive-UDF/UDTF/UDAF
xiaopihaierletian的博客
10-23 1373
hive udf udtf udaf
Hive的UDF函数简单示例开发
fa124607857的博客
11-09 1172
Hive函数 1.1、内置函数 内容较多，见《Hive官方文档》 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 1）查看系统自带的函数 hive>show functions; 2）显示自带的函数的用法 hive>desc function upper; 3）详细显示自带的...
Hive中自定义函数UDF、UDTF函数介绍
qq_40078490的博客
08-15 1232
Hive中自定义函数UDF、UDTF函数介绍
SparkSQLUDF自定义函数案例
weixin_34270865的博客
07-31 128
2019独角兽企业重金招聘Python工程师标准>>> ...
hive：自定义函数UDF-其他实例参考
不花的花和尚的博客
01-07 1242
官网实例 ： 实例1：自定义一个 大写转小写函数 第一步： idea创建maven项目，并在pom中添加依赖： <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=...
Hive UDF自定义函数编写小例子
光于前裕于后的博客
03-26 3029
感谢段海涛老师~ 先写一个java类，定义函数逻辑（静态代码块模拟字典） package club.drguo.hive; import java.util.HashMap; import org.apache.hadoop.hive.ql.exec.UDF; //club.drguo.hive.PhoneNumToArea public class PhoneNumToArea exte
使用sparksql 和 hive api 代码实现用户自定义函数udf udaf udtf
03-16
使用SparkSQL和Hive API，可以通过以下步骤实现用户自定义函数（UDF）、聚合函数（UDAF）和表生成函数（UDTF）： 1. 编写自定义函数的代码，例如： ``` // UDF def myUDF(str: String): Int = { str.length } // UDAF class MyUDAF extends UserDefinedAggregateFunction { override def inputSchema: StructType = StructType(StructField("value", StringType) :: Nil) override def bufferSchema: StructType = StructType(StructField("count", IntegerType) :: Nil) override def dataType: DataType = IntegerType override def deterministic: Boolean = true override def initialize(buffer: MutableAggregationBuffer): Unit = { buffer(0) = 0 } override def update(buffer: MutableAggregationBuffer, input: Row): Unit = { buffer(0) = buffer.getInt(0) + input.getString(0).length } override def merge(buffer1: MutableAggregationBuffer, buffer2: Row): Unit = { buffer1(0) = buffer1.getInt(0) + buffer2.getInt(0) } override def evaluate(buffer: Row): Any = { buffer.getInt(0) } } // UDTF class MyUDTF extends GenericUDTF { override def initialize(args: Array[ConstantObjectInspector]): StructObjectInspector = { // 初始化代码 } override def process(args: Array[DeferedObject]): Unit = { // 处理代码 } override def close(): Unit = { // 关闭代码 } } ``` 2. 将自定义函数注册到SparkSQL或Hive中，例如： ``` // SparkSQL中注册UDF spark.udf.register("myUDF", myUDF _) // Hive中注册UDF hiveContext.sql("CREATE TEMPORARY FUNCTION myUDF AS 'com.example.MyUDF'") // Hive中注册UDAF hiveContext.sql("CREATE TEMPORARY FUNCTION myUDAF AS 'com.example.MyUDAF'") // Hive中注册UDTF hiveContext.sql("CREATE TEMPORARY FUNCTION myUDTF AS 'com.example.MyUDTF'") ``` 3. 在SQL语句中使用自定义函数，例如： ``` -- 使用SparkSQL中的UDF SELECT myUDF(name) FROM users -- 使用Hive中的UDF SELECT myUDF(name) FROM users -- 使用Hive中的UDAF SELECT myUDAF(name) FROM users GROUP BY age -- 使用Hive中的UDTF SELECT explode(myUDTF(name)) FROM users ``` 以上就是使用SparkSQL和Hive API实现用户自定义函数（UDF、UDAF、UDTF）的步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值