【GP学习笔记二补充】 查询优化器消除外连接

最新推荐文章于 2023-02-16 21:16:16 发布
最新推荐文章于 2023-02-16 21:16:16 发布
阅读量1.3k 收藏
点赞数
分类专栏： 数据库 文章标签： 学习 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhchs2012/article/details/128651366
版权

一、连接类型

这个应该不用多介绍，简单列举下

  • 内连接： INNER JOIN
  • 外连接： LEFT [OUTER] JOIN 、RIGHT [OUTER] JOIN、FULL [OUTER] JOIN

除此之外，GP还引入了三种特殊连接，用于提升子链接时使用

  • SEMI JOIN：类似于IN的效果
  • ANTI JOIN： 可以看成是LEFT JOIN的结果去除INNER JOIN的结果之后得到的结果
  • JOIN_LASJ_NOTIN：用于NOT IN子链接提取

与外连接相比，SEMI JOIN和ANTI JOIN输出的结果集较少，对连接运算的结合律支持与内连接类似，更便于查询优化器的处理。

二、为什么要消除外连接

  • 结果集更小
  • 便于查询优化器优化，比如多个内连接可以改变连接顺序，寻找更好的查询计划，而非内连接不能随便交换连接顺序

如果能够将外连接转换为内连接，可以让优化器在查询优化的后续步骤更好的基于代价选择更优的连接顺序 。

三、如何消除外连接

  1. 试图将半外连接转换成内连接
  2. 试图将全外连接转换成办外连接或内连接
  3. 试图将LEFT JOIN转换成ANTI JOIN

3.1 外转内

先看一个简单连接查询

A LEFT JOIN B ON A.id = B.id WHERE B.id > 0

分析一下：

这个左外连接可以拆解成两部分

    最低0.47元/天 解锁文章
    喜碧夫人听众
    关注
    • 0
      点赞
    • 踩
    • 0
      收藏
      觉得还不错? 一键收藏
    • 0
      评论
    专栏目录
    【GP学习笔记二】查询优化器
    真新镇的涅法雷姆
    01-11 676
    一起来看看GP的查询优化器是怎么工作吧
    外连接消除
    weixin_34061042的博客
    08-23 114
    为什么80%的码农都做不了架构师？>>> ...
    去除外部链接
    qingflyer的专栏
    08-18 1293
     一、问题：去除文章中的外部链接。 二、基本思路：1、获取本站域名网址；2、本站域名网址换为字符串替换，我用#basehost#替换本站域名网址；3、用正则式过滤外部链接；4、字符串还原本站链接域名网址。 三、实现代码。下面我的是实现代码：//获取本站域名网址$host = isset($_SERVER[HTTP_X_FORWARDED_HOST
    MySQL查询优化器--逻辑查询优化技术（五）--外连接的消除（一）
    那海蓝蓝的博客
    03-13 505
    14.1.5 外连接消除 MySQL支持外连接转换为内连接，转换的条件是符合“空值拒绝”。   示例：假设表t_1和表t_2结构与数据参见表14-4：   表14-4 示例数据表 表t_1 表t_2 CREATE TABLE t_1 (t_1_id INT UNIQUE, t_1_col_1 INT, t_1_col_2 VA
    【SQL 优化器技术系列】 外连接消除
    余璜的技术博客
    07-14 383
    Oracle 2005 年出了一个 30 多页的小册子，《Query Optimization in Oracle Database10g Release 2》，介绍了常见的优化器技术。 我是做 SQL 执行的，优化部分只了解皮毛，从没有系统学习过。本系列逐个学习和介绍，自我提升，也帮助他人。 外连接消除就是将一个 outer join 转换成 inner join。 例如下面的查询适合做外连接消除： select * from a left join b on a.pk = b.pk where .
    GP2Y0A51SK0F 红外测距
    06-06
    4. 输出类型：GP2Y0A51SK0F 的输出类型为模拟输出，可以与微控制器或其他设备进行连接。 GP2Y0A51SK0F 是一款高性能的红外测距传感器，广泛应用于机器人、自动化设备等领域。 另外，需要注意的是 GP2Y0A51SK0F 的...
    螺旋电感品质因数Q的GP优化
    04-16
    为了提高螺旋电感的品质因数，综合多种变量进行高效的优化，提出一种GP优化的方法来得到螺旋电感品质因数最佳值。该方法通过matlab仿真分析了集成电路螺旋电感的一种物理模型，找出了对螺旋电感品质因数有影响的几个...
    基于GP32的直流电机控制器测试系统
    01-20
    摘要：在本文中,首先介绍了直流电机控制器测试系统的开发背景,给出了测试系统的组成及设计方案,然后分硬件和软件两个环节详细阐述了直流电机控制器测试系统的实现过程。在硬件方面,设计并完成了基于MC68HC908GP32...
    时间数字转换器 TDC-GP22 打包资料
    07-04
    内有从官网下载的较为齐全的中英文资料，C代码和工具软件等，基本上满足...笔者曾经做过先关的项目,亲自验证acam公司的TDC-GP系列芯片是精度极高稳定可靠的时间数字转换器,希望这款芯片和这些资料对您的项目能有帮助。
    摩托罗拉GP88S改中继连接图
    05-20
    摩托罗拉GP88S改中继连接图 摩托罗拉GP88S改中继连接图
    gp较全面性能调优官方ppt
    09-01
    该内容较为全面，详细的讲解有关greenplum调优的官方指导，不适合初级入门人员，需要有一定基础的人员，最好会一点英文。
    外连接消除、嵌套连接消除与连接消除
    张波的技术积累
    01-26 1815
    图：什么是外连接   A表和B表共同的部分，即为内连接操作                                                                         图：分别执行了内连接和外连接
    外连接消除技术应用
    余璜的技术博客
    07-10 189
    上回介绍了外连接消除技术。今天更进一步来聊聊这个话题。 select * from a right join b on a.m1 = b.m1 left join c on c.c1 = b.c1 where c.c1 in (1,2,3); 基于外连接消除技术，这个语句 left join 可以改写成 inner join： select * from a right join b on a.m1 = b.m1 inner join c on c.c1 = b.c1 wh
    第08课：消除外连接
    张树杰的博客
    09-22 301
    外连接是查询优化中的搅屎棍，在查询优化器的实现过程中，很多时间都消耗在和外连接做斗争。我们从《第4课：谓词下推》和《第5课：连接顺序交换规则》可以看出，外连接的出现对提高优化器的实现难度“功不可没”。例如，对约束条件进行下推（谓词下推）时，如果连接操作是外连接，那么有些约束条件下推就可能会受到阻碍。在连接顺序交换时，内连接的表之间的连接顺序交换比较灵活，而外连接不能随意地交换连接表的顺序。因此，如...
    一句话解释“外连接消除”
    余璜的技术博客
    06-13 1077
    外连接消除就是将一个 outer join 转换成 inner join。 例如： select * from a left join b on a.pk = b.pk where b.col = 3; 适合做外连接消除，query 改写成： select * from a inner join b on a.pk = b.pk where b.col = 3; 为什么呢？因为这个查...
    SQL优化--逻辑优化--外连接、嵌套连接与连接消除
    Fouy_风度玉门。
    02-13 2743
    1）外连接消除 ①外连接简介 1）LEFT JOIN / LEFT OUTER JOIN：左外连接     左向外连接的结果集包括：LEFT OUTER子句中指定的左表的所有行，而不仅仅是连接列所匹配的行。如果左表的某行在右表中没有匹配行，则在相关联的结果集行中右表的所有选择列表列均为空值。        2）RIGHT JOIN / RIGHT
    外连接消除的重大发现
    fgh123的博客
    09-15 160
    暗示法第三方第三方
    GPOrca中连接查询的快速优化
    Greenplum中文社区
    01-22 419
    连接优化是查...
    高级SQL优化 - 表连接消除（Join Elimination）
    PawSQL的博客
    02-16 332
    由于原生的MySQL和PostgreSQL都不支持表关联消除，PawSQL的JoinEliminationRewrite重写优化对它们是一个有意义的补充。在SQL被部署至生产环境真正执行之前，使用PawSQL可以把无意义的表关联给消除掉，避免数据库花费资源进行无意义的表关联操作。
    Kafka连接gp数据库python代码
    最新发布
    08-16
    ### 回答1： Kafka 是一个高性能的分布式流处理平台，它可以帮助您从 gp 数据库中提取数据并以流的方式跟踪数据更新。要使用 Kafka 连接 gp 数据库，可以使用 Python 的 Kafka 客户端库，如 Kafka-Python。首先，您需要通过设置 Kafka 配置参数（如服务器地址、端口号等）来连接到 Kafka 集群。接下来，可以使用 Python 代码从 gp 数据库中检索数据，并将其发布到 Kafka 主题，以便其他应用程序可以访问这些数据。 ### 回答2： 要连接Kafka和Greenplum数据库，可以使用Python和相关的库来实现。 首先，需要安装Python库kafka-python和psycopg2来实现Kafka和数据库的连接。 参考以下示例代码： ```python from kafka import KafkaConsumer import psycopg2 # 连接Kafka consumer = KafkaConsumer('topic_name', bootstrap_servers='kafka_server_ip:9092', group_id='my_group_id') # 创建数据库连接 conn = psycopg2.connect(database='your_database_name', user='your_username', password='your_password', host='your_host_ip', port='your_port_number') cursor = conn.cursor() # 从Kafka消费消息并插入到Greenplum数据库 for message in consumer: # 解析消息 data = message.value.decode('utf-8') # 假设消息是字符串格式 # 执行数据库插入操作 insert_query = "INSERT INTO table_name (column1, column2) VALUES (%s, %s)" values = tuple(data.split(',')) # 假设消息数据格式为逗号分隔的两个值 cursor.execute(insert_query, values) conn.commit() # 关闭数据库连接和Kafka消费者 cursor.close() conn.close() consumer.close() ``` 请根据实际情况修改`topic_name`、`bootstrap_servers`、`group_id`、`database`、`user`、`password`、`host`、`port`、`table_name`等相关参数。 以上代码会创建一个Kafka消费者，通过`KafkaConsumer`类将消息从Kafka主题中消费出来，然后将消息解析后插入到Greenplum数据库中。 需要注意的是，该代码只是一个简单的示例，实际使用时可能需要根据具体业务需求和数据格式进行修改。同时，为了保证代码的健壮性，建议添加异常处理、日志记录等功能。 ### 回答3： 以下是一个使用Python连接gp数据库的示例代码： ```python import psycopg2 conn = None try: # 连接gp数据库 conn = psycopg2.connect( host="your_host", port="your_port", database="your_database", user="your_username", password="your_password" ) # 创建一个游标对象 cur = conn.cursor() # 执行一个查询语句 cur.execute("SELECT * FROM your_table") # 获取查询结果 rows = cur.fetchall() # 打印查询结果 for row in rows: print(row) except (Exception, psycopg2.DatabaseError) as error: print(error) finally: # 关闭游标和连接 if cur: cur.close() if conn: conn.close() ``` 请注意，在代码中需要替换的部分包括：your_host（主机名）、your_port（端口号）、your_database（数据库名）、your_username（用户名）以及your_password（密码）。根据你的实际情况修改这些参数并运行代码即可连接gp数据库。

    “相关推荐”对你有帮助么？

    • 非常没帮助
    • 没帮助
    • 一般
    • 有帮助
    • 非常有帮助
    提交
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值