hive
文章平均质量分 53
善若止水
这个作者很懒,什么都没留下…
展开
-
每半个小时间隔内用户拨打电话的次数以及时长
大家好,今天看了一个分析函数的应用场景,分享出来用户拨打电话表: 字段用户id,开始时间,结束时间。样例数据如下所示(分隔符为,):aaa,2018-01-01 08:01:00,2018-01-01 08:08:00aaa,2018-01-01 08:15:00,2018-01-01 08:20:00aaa,2018-01-01 08:45:00,2018-01-01 08:48:00期望输出, 用户id,每个时间段的最早开始时间, 该时间段内拨打电话的次数,时长(分钟)aaa 2原创 2021-03-30 10:44:53 · 594 阅读 · 0 评论 -
hive的多粒度计算优化 列转行的函数lateral view
今天看了一个hive的减少job数的优化思路,值得借鉴测试表以及数据如下所示:create table sale_order as select '河南省' as province,'洛阳市' as city,'汝阳县' as country, 100 as salesunion all select '河南省' as province,'洛阳市' as city,'伊川县' as country, 200 as salesunion all select '河南省' as pro...原创 2021-03-19 18:26:28 · 488 阅读 · 0 评论 -
sparksql结合hive
第一步: 在spark的conf目录下创建hive的配置文件的信息/usr/local/spark/conf 创建文件hive-site.xml里面的内容是:<configuration><property><name>hive.metastore.uris</name><value>thrift://192.168.1...原创 2018-08-14 10:08:48 · 405 阅读 · 0 评论 -
hive中的分析函数的典型应用
大家: 好!今天看到了一个hive的分析函数的题,感觉很有意思。把答案整理了整理,分享出来,希望对大家有用。需求如下所示: 起初我看到这道题时,感觉应该要用到分析函数,但就不知道怎么用。好在最终,写出来了,思路如下所示:----测试表的表结构以及数据如下所示:hive> desc sales;OKid int ...原创 2017-11-13 19:20:08 · 667 阅读 · 1 评论 -
Hive对接Hbase
大家:好! 因项目实际需要,要求将hive中的数据对接入hbase中。在网上看的一篇博文的基础上,加上自己的理解以及相关的操作步骤,以及常见的几个错误,整理了此篇博客,希望对大家有所帮助。Bulk Load-HBase数据导入最佳实践一、概述HBase本身提供了非常多种数据导入的方式,通常有两种经常使用方式:1、使用HBase提供的TableOutputFormat,原理是通过一个M...原创 2018-08-20 10:44:40 · 718 阅读 · 0 评论