hive的永久性udf函数

最新推荐文章于 2024-06-12 14:11:36 发布
最新推荐文章于 2024-06-12 14:11:36 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： 大数据组件 文章标签： hive udf
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zwahut/article/details/90602328
版权

1、在开发工具中编辑实现函数的代码，完成之后编译打包成jar包，上传到主机XXX的/opt目录下

2、在XXX上传本地文件medUdf-0.0.1.jar到hdfs目录/hiveJar下

hadoop fs -put /opt/medUdf-0.0.1.jar /hiveJar


3、在hive命令行下执行语句，创建hive的永久性udf函数

create function default.delSpecialChar as 'org.es.hive.udf.string.DelSpecialCharUDF' using jar 'hdfs://XXX:8020/hiveJar/medUdf-0.0.1.jar';

 

未竟
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive自定义函数udf（临时和永久函数）
zll_1234的博客
05-28 1944
hive自定义函数udf和udtf 一、UDF（user defined functions）用于处理单行数据，并生成单个数据行 1、自定义UDF 的步骤： 1.1、编写自定义的UDF函数 继承"org.apache.hadoop.hive.ql.exec.UDF"类 至少实现一个evaluate()方法，evaluate函数支持重载 例子： import org.apache.hadoop.hive.ql.exec.UDF; import java.text.ParseException; import
Hive 函数UDF开发以及永久注册UDF函数
烙痕丷的博客
07-14 8148
explode： （把一串数据转换成多行的数据）创建一个文本：[hadoop@ruozehadoop000 data]$ vi hive-wc.txthello,world,welcomehello,welcome创建一个表，并导入文本内容create table hive_wc(sentence string); load data local inpath '/home/hadoop/data...
Hive UDF创建永久函数
ChengYanan的博客
04-28 1122
官网截图 1.UDF是什么？ 有时候hive提供的函数功能满足不了业务需要，就需要我们自己来写UDF函数来辅助完成，下面用一个简单的例子说明过程，以及注意事项。 UDF函数其实就是一个简单的函数，执行过程就是在Hive转换成mapreduce程序后，执行java方法，类似于像Mapreduce执行过程中加入一个插件，方便扩展. UDF只能实现一进一出的操作，如果需要实现多进一出，则需要...
hive配置永久UDF详解
最新发布
sunxunyong的博客
06-12 207
2、hive提交任务到yarn执行，需要同步更新本地和hdfs上的hive.tar.gz （hdfs上hive、tez、spark目录下的hive.tar.gz、tez.tar.gz、spark***yarn-archive.tar.gz）每个hs2都要执行：在${HIVE_HOME}下创建auxlib目录，将UDF jar包放到该目录中，这样hive在启动时会将其中的jar文件加载到classpath中。1、修改集群hive-site.xml配置hive.aux.jars.path。
hive的udf创建永久函数
weixin_30563917的博客
09-13 174
上传jar包到hdfs目录中， hdfs dfs -put /home/user/hive-functions.jar /user/hive/jars/hive-functions.jar create function default.unis_check as 'com.fhpt.hive.functions.UniversityCheckUDF' using jar 'hdfs:/...
12.zookeeper源码分析
colossus——bigdata的专栏
11-25 2794
开发环境：cdh5.4.8，hive1.1 最近需要开发一些永久的函数供业务使用，在hive的早期版本中，只能添加临时函数或者修改一些源代码来添加永久函数，后面找到了下面的文档来创建永久函数 Permanent Functions In Hive 0.13 or later, functions can be registered to the metastore, so they
hive添加永久udf函数
weixin_37589026的博客
08-28 1082
maven依赖 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>1.2.1</version> ...
hive udf开发以及永久注册udf函数
浅汐
10-07 1509
网上大部分资料显示注册 Hive udf 函数大体有两种方法： 第一种、创建临时函数。如在hive CLI执行下面命令： hive> add jar helloudf.jar; hive> create temporary function helloworld as 'com.hrj.hive.udf.helloUDF'; hive> select helloworld(
hive自定义udf函数实现和测试
eddianliu的专栏
09-07 1426
hive自定义udf函数 什么是udf hive做为数据仓库，提供了很多的内置函数来方便进行hql调用和逻辑处理，但是，内置函数往往不够满足我们在数据分析时的场景应用，因此，需要我们自定义一些函数来满足需求，udf就是java的一种自定义函数的扩展实现方式. java编程实现 本例以获取传入日期返回星期几这个场景为实例来说明如何实现udf自定义函数. pom依赖 <properties...
【若泽大数据实战第十九天】Hive 函数UDF开发以及永久注册udf函数
强悍de巨人
06-17 1234
前言：回顾想上期课程，上次课我们讲了聚合函数，多进一出
Hive之UDF创建永久函数
热门推荐
鱼归不知处
03-30 1万+
具体步骤： 1、JAVA代码： package com.bigdata; import org.apache.hadoop.hive.ql.exec.UDF; public class Add extends UDF { public Integer evaluate(Integer a, Integer b) { if (null == a || null == b) {
Hive创建永久UDF教程。
qq_36732299的博客
10-19 1257
添加 app_logs_hive.jar 到类路径/usr/local/soft/apache-hive-3.1.1-bin/lib 下 临时添加 jar 包： hive (applogsdb)> add jar /usr/local/soft/apache-hive-3.1.1-bin/lib/hiveUDF-app_logs_hive.jar; 永久添加 jar 包： 在 conf/hive-site.xml 文件中添加 由于之前添加过 json 的 jar 包所以修改为如下方式： hi
hive中的UDF 自定义函数 ： 如何创建临时/永久函数
wgyzzzz的博客
07-14 1615
文章目录一、为什么要使用自定义函数二、自定义函数的种类三、创建自定义函数1、创建一个maven工程（以idea为例）1、要求： 调用函数在输入的字符串之前添加上字符串“Hello”2、 注意3、打包4、上传5、创建函数1、创建临时函数2、创建永久函数 一、为什么要使用自定义函数 在业务需求中，hive内置的函数无法满足我们的需求，可以通过自定义函数来满足。 二、自定义函数的种类 UDF（User Defined Function），一进一出（输入一行，输出一行），比如：upper（），lowser（）等。
实现自定义的UDF永久生效
云计算、分布式架构、K8S、大数据、机器学习、搜索、推荐、广告
12-24 3342
UDF永久生效现在是只能修改源代码.不过可以变通一下处理也可以实现. 在HIVE_HOME的bin目录下新建一个.hiverc的文件,把写好的udf的注册语句写在这里就可以类似HIVE内置的用法一样用 原理是，在运行./hive命令时，同时会加载HIVE_HOME/bin/.hiverc and $HOME/.hiverc作为初始化所需要的文件  在.hiverc文件中加入以下内容： ad
hive添加永久udf方法
盖丽男
03-19 754
添加临时方法 先把jar添加进hive add jar my_jar.jar; 添加临时方法 create temporary function my_lower as 'com.example.hive.udf.Lower'; 删除临时方法 DROP FUNCTION [IF EXISTS] my_lower; 添加永久方法 hive版本0.13版及之后可以添加永久方法 create function my_db.my_lower as 'com.example.hive.udf.Lower';
Hive 自定义函数UDF开发手把手教程—— 创建临时函数和永久函数
helloxiaozhe的博客
10-11 7975
Hive 自定义函数UDF开发手把手教程—— 创建临时函数和永久函数 Hive中，除了提供丰富的内置函数（见[一起学Hive]之二–Hive函数大全-完整版）之外，还允许用户使用Java开发自定义的UDF函数。开发自定义UDF函数有两种方式，一个是继承org.apache.hadoop.hive.ql.exec.UDF，另一个是继承org.apache.hadoop.hiv...
Hive创建自己的UDF并永久化详细记录
i000zheng的博客
07-11 3064
1.UDF是什么？hive的类SQL预发给数据挖掘工作者带来了很多便利，海量数据通过简单的sql就可以完成分析，有时候hive提供的函数功能满足不了业务需要，就需要我们自己来写UDF函数来辅助完成，下面用一个简单的例子说明过程，以及注意事项。UDF函数其实就是一个简单的函数，执行过程就是在Hive转换成mapreduce程序后，执行java方法，类似于像Mapreduce执行过程中加入一个插件，方...
HIVE UDF永久生效方法
shengpli′s blog
03-29 1999
1、在linux用户的home目录下，创建 .hiverc ，默认当前用户下可以使用这个配置 如路径 ：/home/kwu 2、在hive的配置文件目录下，创建 .hiverc ，默认所有用户都可以使用这个配置，更改hive配置会影响此文件，配置完后需要重启Hive 路径 ： /etc/hive/conf .hiverc 示例 set hive.cli.print.current.db=true;...
HiveUDF详解：函数操作大全
"HiveQL UDF函数大合集，涵盖了关系运算、逻辑运算、数学运算、复合类型构建及访问、数值计算、类型转换和日期函数等多个方面的内容，是大数据开发中处理Hive数据的重要参考资料。" 在HiveQL中，用户定义的函数...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值