记一次Spark SQL问题排查的经历

最新推荐文章于 2023-06-06 15:41:46 发布

Deegue

最新推荐文章于 2023-06-06 15:41:46 发布

阅读量1.2k

点赞数 4

分类专栏： spark hadoop 文章标签： spark sql

本文链接：https://blog.csdn.net/zyzzxycj/article/details/92839500

版权

起因

分析师A：哇你们这个数据查询平台查Spark ，同样的SQL结果每次都不同，这能用？
我：？？？第一反应是你八成是在查一张，别人在更新数据的表吧。。（同个SQL也会去跑两遍小声bb）

排查过程

过了一会儿，分析师A：看了半天了没人动数据啊，你这个Spark有问题吧？
一脸蒙逼，开始排查问题。

首先把SQL copy执行了下，果然每次都不一样，查了下源表也没人在变更。

SQL如下：

select b1.shop_grade,sum(a1.order_cnt) as sum_orders
from 
(select
       shop_id,
       sum(deal_price) deal_price,
       count(case when coalesce(b.refundable_money,0)<a.total_price then a.order_id end) order_cnt
  from
       (
        select
               shop_id,order_id,sum(deal_price) deal_price,sum(total_price) total_price
          from aaa
         where stat_day='20190617'
           and cid1 not in (293,-1)
           and cid2 not in