udf计算事件发生时间序列特征

最新推荐文章于 2022-09-11 01:25:21 发布

zx8167107

最新推荐文章于 2022-09-11 01:25:21 发布

阅读量364

点赞数

本文链接：https://blog.csdn.net/zx8167107/article/details/88863103

版权

这篇博客介绍了如何利用自定义的UDF（User Defined Function）来计算事件发生时间序列的各种特征，如均值和方差。首先，将包含UDF的jar包上传到HDFS指定路径，接着在Hive中通过`ADD JAR`命令引入，并创建临时函数。在同一个session或自助分析中执行SQL语句，即可使用这个UDF来处理时间间隔数据。

摘要由CSDN通过智能技术生成

使用该udf函，可获得不同时间跨度的连续事件，以及对应区间长度的均值、方差

输入是事件发生时间的列表、输出是事件发生的一系列数值包括均值、方差等等。

代码如下：

package ***.****;

import org.apache.hadoop.hive.ql.exec.UDF;

import java.util.*;

/**
 *
 */

public class timeGap extends UDF {

    public String evaluate(ArrayList<String> event_time_list, int time_span){

        Long time_gap = 0L;
        String timestamp_first = event_time_list.get(0);
        String timestamp = event_time_list.get(0);
        Long time_install;
        Double average_v;
        Double variance;

        Collections.sort(event_time_list);

        if (event_time_list.size() > 1){

            List<String> temp = new ArrayList<String>();
            for (int i = 0; i < event_time_list.size() - 1; i++){
                String t1 = event_time_list.get(i);
                String t2 = event_time_list.get(i + 1);

                if ((Long.valueOf(t2) - Long.valueOf(t1)) <= 15 * 60){
                    if (temp.size() == 0){
                        temp.add(t1);
                        temp.add(t2);
                    }else{
                        temp.add(t2);
                    }
                }else{
                    if (temp.size() > 0){