敏叔

原创 Spark的几种去重的原理分析

前言我们经常做去重的操作，事实上几种方式可以实现去重，但是结果的理解其实是不一样的，不过在一定程度上这几种也都可以满足我们的需求。参考数据idname1a2b1a1bDistinct去重这个其实是真正的去重，语意上其实就是如果出现一样的结果，则就显示一行可以作用单行或者多行sql select id from t;id12或者是select id,name from t;作用多行的时候多行要一起相等才行