148、Spark核心编程进阶之takeSampled以及公司年会抽奖案例

最新推荐文章于 2021-12-23 08:00:00 发布

ZFH__ZJ

最新推荐文章于 2021-12-23 08:00:00 发布

阅读量1.2k

点赞数

分类专栏： Spark入坑

本文链接：https://blog.csdn.net/zj__zfh/article/details/86625976

版权

Spark入坑专栏收录该内容

207 篇文章 8 订阅

订阅专栏

takeSample算子,与sample不同之处，两点

action操作，sample是transformation操作
不能指定抽取比例，只能是抽取几个

public class TakeSampled {
    public static void main(String[] args) {
        SparkConf conf = new SparkConf()
                .setAppName("TakeSampled")
                .setMaster("local");
        JavaSparkContext sc = new JavaSparkContext(conf);

        List<String> staffList = Arrays.asList("张三", "李四", "王二", "麻子",
                "赵六", "王五", "李大个", "王大妞", "小明", "小倩");
        JavaRDD<String> staffRDD = sc.parallelize(staffList);

        List<String> luckyStaffList = staffRDD.takeSample(false, 3);

        for(String luckyStaff : luckyStaffList) {
            System.out.println(luckyStaff);
        }
        sc.close();
    }
}