业务场景6（500w数据SQL条件查重）count inner join

问题描述：1.不同分公司客户导入数据时不规范导致数据无法进行后续处理，拿到数据后先进行数据去重处理；2.id一致时名称不一致这种情况判断为相同。

解决思路：先做一个id重复的中间表，然后通过inner join关联原始表获取包括中文名称的所有字段信息方便后续更正。

select t1.月份,t1.渠道ID,t2.渠道名,t1.分公司ID,t2.分公司名,t1.营业所,t2.营业所名,t1.客户ID,t2.客户名,
t1.产品ID,t2.产品名,t2.目标金额,t2.录入时间,t2.录入员--获取关联两表所有需要的字段
from 
 (select 月份,渠道ID,分公司ID,营业所ID,客户ID,产品ID
from 目标录入表名
group by 月份,渠道ID,分公司ID,营业所ID,客户ID,产品ID having count(*) > 1--判断是否有重复值
) t1--查询结果作为表1
inner join 目标录入表名 t2--包含所有重复字段与非重复字段的原始表作为表2
on t1.月份=t2.月份 
and t1.渠道ID=t2.渠道ID 
and t1.分公司ID=t2.分公司ID 
and t1.营业所ID=t2.营业所ID
--and t1.可能为空的值=t2.可能为空的值
and t1.客户ID=t2.客户ID
and t1.产品ID=t2.产品ID