hive：left join存在关联字段不等

最新推荐文章于 2023-02-20 21:47:45 发布
最新推荐文章于 2023-02-20 21:47:45 发布
阅读量866 收藏
点赞数
分类专栏： hive 数据处理 文章标签： hive 数据处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ziyin_2013/article/details/125033540
版权
  • 问题
    在hive中用left join关联两个表，结果中存在关联字段不等的情况，如下图关联结果中的第2、3行。 在这里插入图片描述
  • 原因排查
    经排查发现，a.other_apply_id与b.data_id的数据类型不同，a.other_apply_id字段类型为string，b.data_id字段类型为bigint，可能是字段数据类型不同导致的。
  • 解决方法
    将两个字段a.other_apply_id与b.data_id数据类型都强转成string型。
    在这里插入图片描述
    ps：初衷是通过撰写博文记录自己所学所用，实现知识的梳理与积累；将其分享，希望能够帮到面临同样困惑的小伙伴儿。如发现博文中存在问题，欢迎随时交流~~
ziyin_2013
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive sql + left join 数据缺失
02-29
hive sql + left join 数据缺失
hive left join 字段不一致
MusicDancing的博客
05-09 1199
两个hive表left join时，由于关联字段类型不同导致的数据错误（bigint、string），结果会多出来一批数据。 select a.id as id1 ,b.id as id2 from table1 a left join table2 b on a.id = b.id where a.id = '1257829907772824682' -- 1257829907772824682 1257829907772824682 -- 1257829907772824682 12578299
hive sql join 时字段类型不一致问题
weifengs 的博客
06-13 7291
在用hive sql 查询数据时会遇到 两个表通过字段join，假如两个字段类型不一样，有可能出现莫名其妙的结果。 解决方法： 将2个字段类型转成一样。比如 两个表通过id关联， 一个是 string 一个是 int，可以将 string 转成int  eg: (cast id as int) as id
Hive join on的不等条件实现方法
热门推荐
孙张宾博客
12-02 2万+
hql的join on操作只支持相等条件，比如：select * from a join b on a.id=b.id;但是不支持相等条件以外的情况，比如：select * from a join b on a.id <> b.id; select * from a join b on a.name like '%'+b.name+'%';这是因为Hive很难把不等条件翻译成mapreduce jo
hive的left join 陷阱
libing101007的博客
12-19 1025
hive中，左连接操作不能在on的右边加不等式条件。比如在hive中不能进行如下操作： select * from tabel_1 a left join table_2 b on a.id=b.id and a.salary>b.salary 会出现报错。有人给出的答案是把上面语句改成： select * from tabel_1 a left join table_2 b on a.id...
Hive:join
huang358468的博客
10-28 234
Hive: Join hive join的连接方法如下： join_table: table_reference [INNER] JOIN table_factor [join_condition] | table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition | table_re...
SQL left join
08-18
SQL Left Join、Right Join和Inner Join都是用于组合表数据的查询操作，但它们之间存在着明显的区别。 * Left Join：以左表为基础，返回左表中的所有记录和右表中符合条件的记录。 * Right Join：以右表为基础，...
第6章：Hive性能优化及Hive3新特性1
08-08
优化JOIN顺序和使用合适的JOIN类型（如LEFT JOIN、RIGHT JOIN、FULL JOIN）也至关重要。 7. **CBO（Cost-Based Optimizer）与Analyze** CBO基于统计信息选择最优查询计划，使用`ANALYZE TABLE`收集表和分区的统计...
HiveSQL实战题目.docx
04-23
这个语句创建了一个名为 student 的表，包含四个字段：s_id、s_name、s_birth 和 s_sex。row format delimited fields terminated by '\t'; 语句指定了表的行格式和分隔符。 四、HiveSQL Load Data 语句 HiveSQL ...
hive.ziphive数据迁移和数据分析
最新发布
01-10
5. **JOIN操作**：Hive支持多种JOIN类型，包括INNER JOIN、LEFT JOIN、RIGHT JOIN和FULL JOIN，以及自定义JOIN条件。在处理大规模数据时，应谨慎使用JOIN，因为它可能导致内存溢出或性能下降。 6. **分桶和排序**：...
Hive--join
qq_46893497的博客
11-23 535
join分类 [inner] join：内连接，两边都有，结果才有 select empno,ename,a.deptno,b.deptno,b.dname from tb_emp a join tb_dept b on a.deptno = b.deptno; left [outer] join ：左外连接，左表有，结果就有 select empno,ename,a.deptno,b.deptno,b.dname from tb_emp a left join tb_dept b on a.
hive中间接实现不等值连接<转>
yongjian_luo的专栏
03-05 1558
由于hive中不支持不等值连接，给应用带来不便。 create tablelpx_test_a as select id,class  from ( select 1 as id, 2 asclass from dual union all select 2 as id, 3 asclass from dual union all selec
Hive不支持on语句中的非等值比较的解决办法
qq_44802009的博客
01-07 1998
Hive不支持on语句中的非等值比较 首先来看个例子 SELECT * FROM A LEFT JOIN B ON A.id=B.id AND A.id2=B.id2 AND A.startTime<= B.time AND B.time < A.endTime 因为Hive中不支持on语句的非等值比较，所以上述执行会出错。你以为修改成下面这个样子，把非等值的比较放到wher...
Hive的on不支持非等值连接解决，不支持or
someInNeed的博客
09-19 2815
--oracle SELECT a.*, b.id ASb_id, b.class AS b_class FROM lpx_test_a a LEFT OUTER JOIN lpx_test_b b ON (a.id = b.id AND a.class < b.class); 连接条件的第二个是非等值的，不能照搬上面 --hive SELECT a.*, CASE WHEN a.class < b.class THEN b.idEND AS b_id, CASE WH..
Hive的不等值连接
iilegend的博客
04-20 7977
hive的join语法仅支持等值连接，不支持非等值的连接 select * from a join b on a.id>b.id; 这种情况是不被允许的，直接报错。 可以采取这种方法： select * from a join b on a.id=b.id; 或者： select * from a,b where a.id>b.id; ...
Hive性能调优 | Fetch抓取
微信搜：import_bigdata，大数据领域硬核原创作者
10-28 292
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！我们在刚开始学习hive的时候,...
Hive Bug系列之关联结果不正确详解
xiaoluobutou的专栏
02-20 840
Hive是互联数据仓库中使用最频繁的工具，做为仓库的技术人员，有很大必要去深入了解它，并以认真的态度去对待工作中遇到的每个问题，每个知识点，由点及面，让我们的技术更扎实，也让我们更有底气！
Hive bigint类型和string类型关联可能导致数据异常
weixin_42496757的博客
03-29 3249
在hive中，两个表进行join，on条件两表的字段含义一致（都是整数），但数据类型不一致：string和bigint。join后发现如果数值过大则匹配的记录会出现问题：一条记录会匹配出多条记录（explain可以发现都转换为double） 如：190000000002778025，就会错误的匹配上*8023 ，*8025 a）原因：Java中精度只有15至16位，当数据超过精度就会不准——也就会出现超过精度的记录join上许多不一致的记录。 bigint和string比较时会隐式地都转换成doubl
【Hive】— Hive
AbelRose
08-19 220
Hive Facebook 开源的 用于解决海量***结构化*** 日志的数据统计。基于Hadoop的***数据仓库工具*** 。可以将结构化的数据文件映射为一张表，并提供***类SQL***查询功能。 本质是: 将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapReduce 3）执行程序运行在Yarn上 优点 操作接口采用***类SQL语法***，提供快速开发的能力（简单、容易上手）。 避免了去写MapReduce，减少开发人员的学习成本
hive的inner join 和left join
08-22
inner join 和left join 都是基于两个表之间的关联关系，inner join 只会返回两个表之间有相同的值的记录，而left join 则会返回两个表中所有的记录，即使右表中没有相关的值也会返回左表中的记录。 ### 回答2： ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值