hive3.0惊天大bug发现，grouping()函数只能小写，大写直接报错，hive不是不区分大小写吗.

最新推荐文章于 2023-09-19 12:40:50 发布
最新推荐文章于 2023-09-19 12:40:50 发布
阅读量876 收藏
点赞数 2
分类专栏： hive 文章标签： sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zwmonk/article/details/107896510
版权

在最近写脚本时发现，一直使用的grouping()函数只能小写，改成大写直接报错。下面例子来证明一下。
1.如下图为表的数据
hive> select * from dwd_user_page_view_dm;
OK
user_id pv pt_d
0006D2BC14DF914C0 62 20201011
83AD10183789E78D4 4 20201011
15AE1A14B85921889 10 20201021
83AD10183789E78D4 2 20201021
993BD7AD13B621BA0 8 20201021
15AE1A14B85921889 2 20201031
83AD10183789E78D4 7 20201031
0006D2BC14DF914C0 33 20201031
0006D2BC14DF914C0 35 20201041
0006D2BC14DF914C0 12 20201041
83AD10183789E78D4 3 20201041
993BD7AD13B621BA0 10 20201041
993BD7AD13B621BA0 13 20201041
83AD10183789E78D4 5 20201051
15AE1A14B85921889 12 20201051
15AE1A14B85921889 9 20201061
0006D2BC14DF914C0 25 20201061
83AD10183789E78D4 4 20201061
83AD10183789E78D4 1 20201071
0006D2BC14DF914C0 94 20201071
15AE1A14B85921889 3 20201081
993BD7AD13B621BA0 44 20201081
993BD7AD13B621BA0 26 20201091
15AE1A14

最低0.47元/天 解锁文章
zwmonk
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hive知识之GROUPING运算符
恋恋风尘的博客
04-12 1635
前言：Hive的GROUPING运算符和SQL语句非常类似，如果有SQL基础，学习Hive的GROUPING运算符会比较容易。 可参考SQL的GROUPING运算符： https://blog.csdn.net/weixin_42384784/article/details/105462526 1、GROUPING运算符 GROUPING运算符主要包括 GROUPING SETS()、CUBE、...
hive高级分组聚合grouping sets,cube,rollup
huobumingbai1234的博客
02-13 873
日常使用较少，主要记录grouping sets,cube,rollup这三个分组聚合。 首先，使用高级分组聚合的语法时，要注意hive是否开启了向量模式。 set hive.verctorized.execution.enabled = true; 1、grouping sets select prov_id ,deep ,count(1) as num from dim.dim_city where p...
Hive/Presto中函数grouping sets用法详解（踩坑总结，看到赚到）
LdyLly的博客
04-24 2万+
本文详细记录了函数grouping sets使用时遇到的坑，基于Hive和Presto实现。
hive报错 Grouping sets size cannot be greater than 64
Azoner的博客
02-07 2023
TaskLogLogger-class org.apache.dolphinscheduler.plugin.task.sql.SqlTask:[160] - sql task error: org.apache.hive.service.cli.HiveSQLException: Error while compiling statement: FAILED: SemanticException [Error 10411]: Grouping sets size cannot be greater tha
Hive中数据Grouping_set和GROUPING__ID的关系整理
Yuli_li的专栏
03-22 2347
select "11+++++++++++++++++++++++++++++++++商品点击各维度聚合表++++++++++++++++++++++++++++++++h_temp_goods_hit_grouping"; select "------ 127 27941970 goods_id,create_month "; select "------ 191 13887202 goods_id,create_quarter "; select "------ .
Spark不能使用hive自定义函数.doc
03-06
然而，在实际应用中，开发人员可能会遇到一个常见问题——Spark 无法直接使用 Hive 中定义的自定义函数（UDF）。本文将深入探讨这一问题，并提供解决方案。 #### 一、问题背景 当开发者尝试在 Spark 应用程序中...
hive3.0以上连接Datagrip所需要的jar包
09-15
在IT行业中，Hive是一个基于Hadoop的数据仓库工具，它允许用户使用SQL（HQL，Hive Query Language）对大规模数据集进行分析处理。而JetBrains的Datagrip是一款强大的数据库和SQL集成开发环境，支持多种数据库管理和...
hive-jdbc-uber-2.6.3.0-292.jar
06-22
Hive JDBC Uber Driver，即“hive-jdbc-uber-2.6.3.0-292.jar”，是Apache Hive提供的一种集成型JDBC驱动，它使得Java应用程序能够通过标准的JDBC接口与Hive服务器进行通信，实现数据查询、操作和管理。这个特定版本...
基于SpringBoot+hiveJDBC+echarts的数据大屏可视化和大数据分析源码+项目使用说明.zip
12-27
基于SpringBoot+hiveJDBC+echarts的数据大屏可视化和大数据分析源码+项目使用说明.zip 【项目介绍】 使用Hadoop技术可快速生成分析结果，对6万条美妆销售数据分析，将数据转化为有价值的数据。 在Centos7中搭建 ...
大数据分析与应用Hadoop-Hive.pptx
08-05
Hive不适用于实时查询，但适合进行大规模数据的离线分析。Hive与传统的RDBMS（关系型数据库管理系统）相比，具有更灵活的数据模型和更高的扩展性，但在查询性能上可能稍逊一筹。 ### 四、手厅数据过滤实践 在实际...
Hive之Grouping Sets函数
热门推荐
数据小白的进阶之路
03-17 3万+
最近在看一些关于Hive优化的东西，看到一个很好用的函数：Grouping Sets函数，今天就先总结一下关于这个函数的用法！ 在一个GROUP BY 查询中，根据不同的维度组合进行聚合，等价于将不同维度的GROUP BY结果进行UNION ALL操作。GROUPING SETS就是一种将多个GROUP BY逻辑UNION写在一个HIVE SQL语句中的便利写法。GROUPING SETS会把在...
Hive之grouping sets用法及grouping_id计算方法
HappyRocking的专栏
06-04 3万+
grouping sets 用法 在Hive中，会出现对同一个数据表进行不同粒度的汇总，这时可以有两种方案： 用多个sql，对不同粒度使用不同的 group by 方法。 用1个sql，使用 grouping sets 方法一次性得到所有粒度的汇总。 以测试数据表 tmp_student 为例: 1、生成测试数据 在 hive 环境中创建临时表： create table tmp.tmp_student ( name string, class int, sex string,
Hive - Cube, Rollup, GroupingId 示例与详解
BITDDD小栈
05-06 2735
​上篇文章讲到了Grouping Sets 的使用方法，Grouping Sets 可以看做是将 group by 的内容进行 union 整合，这篇文章将基于同一思想进行扩展介绍两个方法 Cube 以及 Rollup，同时给出辅助函数 GroupingId 的生成方法与使用方法。...
hive、spark、presto 中的增强聚合-grouping sets、rollup、cube
向热爱自己一样，热爱这个世界。
09-19 1284
如何在 hive、spark、presto 中使用增强聚合-grouping sets、rollup、cube
Hive cube / rollup / grouping sets/GROUPING__ID用法
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-31 622
表结构如下： CREATE EXTERNAL TABLE `tmp.shop_detail_tb`( `id` string COMMENT '', `name` string COMMENT '', `type` string COMMENT '', `amt` string COMMENT '', `month` string COMMENT '' ) PARTITIONED BY ( `dt` string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t
Hive之grouping sets用法详解
weixin_43597208的博客
08-20 9523
比如(class, course), 二进制为 101，十进制则为5，则grouping__id为5，同理grouping__id为6，则组合为（sex,course），二进制为110；比如 group by class,sex,course,则二进制的顺序为：course sex class ,grouping sets字段出现则为1，反之则为0，关于grouping sets的使用，通俗的说，grouping sets是一种将多个group by 逻辑写在一个sql语句中的便利写法。
对于新旧hive版本中grouping_id计算方式不同造成的差异化解决方案
zwmonk的博客
10-10 685
工作中使用多维度分组时并不想写一大堆union all，为了便于代码简洁喜欢使用grouping_id这个函数，使用久了会发现hive_1.2.1版本以前的grouping_id计算方式和以后的计算方式会有所不同步。这样造成使用这个函数的时候如果存在历史数据使用时存在着矛盾，这时很多聪明人会想到的解决办法就是把不同的grouping_ID产生的数据按照时间分段开来重新计算，这样会造成许多大量重复的代码。在没有想到下面这个解决方案时，那种根据不同时间段groupingID 分段计算是一种解决方案但不是最佳方案
hive3的join数据错误
亮仔的专栏
03-02 2875
我们生产使用的hive3.1.2版本，hadoop也是3版本，用户通过使用hive发现join数据错误。分析SQL发现，当3表(含3表)以上，hive join出来的数据是错误。后来我通过测试发现，不管是left join、inner join还是right join，数据都会出现错误，通过后来的其他测试发现，两个表使用in和exists作为条件查询，出来的数据也是错误的。这是hive3的一个重大bug，使用hive3的小心了。 这个bug纠缠了我好久，后来定位出来hive...
hive开启不区分大小写样例
最新发布
05-30
Hive默认情况下是区分大小写的，但可以通过设置属性来开启不区分大小写的功能。具体步骤如下： 1. 打开Hive配置文件hive-site.xml。 2. 在文件中添加以下两行属性配置： hive.support.quoted.identifiers = none ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值