Spark中Actionn算子操作（三）

最新推荐文章于 2020-12-24 14:22:31 发布
最新推荐文章于 2020-12-24 14:22:31 发布
阅读量542 收藏
点赞数
分类专栏： Spark hadoop 文章标签： Spark Transformation算子 RDD
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zjh_746140129/article/details/80465472
版权
Spark算子大致上可分为三大类算子：
    Value数据类型的Transformation算子，这种变换不触发提交作业，针对处理的数据项是Value型的数据。
    Key-Value数据类型的Transformation算子，这种变换不触发提交作业，针对处理的数据项是Key-Value型的数据。
    Action算子，这类算子会触发SparkContext提交作业。


1、foreach
打印输出


2、saveAsTextFile
保存结果到HDFS

zjh_746140129
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark中的各种action算子操作（scala版）
kongshuchen的博客
05-08 1763
这里直接贴代码了，action的介绍都在java那里。 package cn.spark.study.coreimport org.apache.spark.SparkConf import org.apache.spark.SparkContextobject ActionOperation { def main(args: Array[String]): Unit = { /
Spark的Transform算子和Action算子列举和示例
spark的自由牧场的博客
08-22 8296
参考资料：http://www.cnblogs.com/zlslch/p/5723857.html ：http://www.cnblogs.com/liuzhongfeng/p/5285613.htmlSpark 算子概念 Transformation 变换/转换：这种变换并不触发提交作业，完成作业中间过程处理。Transformation 操作是延迟计算的，也就是说从
【Spark篇】---Spark中Action算子
L先生AI课堂
02-09 2419
一、前述Action类算子也是一类算子（函数）叫做行动算子，如foreach,collect，count等。Transformations类算子是延迟执行，Action类算子是触发执行。一个application应用程序（就是我们编写的一个应用程序）中有几个Action类算子执行，就有几个job运行。二、具体 原始数据集：  1、count返回数据集中的元素数。会在结果计算完成后回收到Driver...
spark transformation和action算子
Xlucas的博客
08-30 5213
spark transformation和action的算子 map(func) 返回一个新的分布式数据集，由每个原元素经过func函数处理后的新元素组成 filter(func) 返回一个新的数据集，由经过func函数处理后返回值为true的原元素组成 flatMap(func) 类似于map，但是每一个输入元素，会被映射为0个或多个输出元素，(因此，func函数的返回值是一个seq，
spark 算子例子_Spark的常用action算子案例
weixin_33411550的博客
12-24 115
package com.spark.core;​import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import...
wordpress-github-actionn-sample
03-27
wordpress-github-actionn-sample
RxJava 1升级到RxJava 2过程中踩过的一些“坑”
08-30
接着，**ActionN 和 FuncN 的命名规则进行了调整**，以遵循 Java 8 的命名约定。例如，`Action0` 变为了 `Action`，`Action1` 变为 `Consumer`，`Action2` 变为 `BiConsumer`。同样，`FuncN` 也进行了相应的变化，...
语法分析【C】编译原理课本实验
07-01
#include "stdio.h" #include "string.h" #include "conio.h" #include "ctype.h" char prog[80], token[8]; char ch; int syn,n; int kk;
service:Penlook 服务
06-17
Penlook 服务构建状态命令./... actionN./service.sh name client lang1 lang2 ... langN测试驱动开发./service.sh api clean build start./service.sh api test行动buildcleantestwatchstartstoprestart语phpjsrbpy
大学英语六级词汇表(乱序)整理
01-20
Sheet1tradevi.做买卖；交换dealvi.做买卖；对付hikevi.作长途徒步旅行actionn.作用；情节resultanta.作为结果而发生的consequenta.作为结果的；必然的
Spark之常用Action算子
weixin_42568742的博客
05-18 1187
1、collect collect 回收算子，会将结果回收到Driver端，如果结果比较大，就不要回收，这样的话会造成Driver端的OOM。 def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("foreach").setMaster("local") val sc = ne...
spark action 算子
chunhuakai1963的博客
08-14 192
action算子为执行算子，触发Spark作业的运行，真正触发转换算子的计算 1.reduce(func):通过函数func先聚集各分区的数据集，再聚集分区之间的数据，func接收两个参数，返回一个新值，新值再做为参数继续传递给函数func，直到最后一个元素。 2.collect()...
Spark之RDD的Action算子和最受学生喜爱/欢迎的科目案例(5)
桂林算啦粉的博客
10-01 349
一 RDD 的 Action 算子 Action :行动算子 ,调用行动算子会触发job执行 ,本质上是调用了sc.runJob方法 ,该方法从最后一个RDD,根据其依赖关系 ,从后往前 ,划分 Stage ,生成 TaskSet . 二 对RDD的操作(创建,查看) 1 创建 RDD的方法 1.1 通过并行化方法 ,将 Driver端的集合转成 RDD val rdd1:RDD[Int] = sc.parallelize(Array(1,2,3,4,5,6,7),2...
Spark资源参数调优参数
TURING.DT
05-03 3494
Spark资源参数调优 了解完了Spark作业运行的基本原理之后，对资源相关的参数就容易理解了。所谓的Spark资源参数调优，其实主要就是对Spark运行过程中各个使用资源的地方，通过调节各种参数，来优化资源使用的效率，从而提升Spark作业的执行性能。以下参数就是Spark中主要的资源参数，每个参数都对应着作业运行原理中的某个部分，我们同时也给出了一个调优的参考值。 num-exec
SparkCore算子（实例）之---- action算子
qq_16759443的博客
09-21 801
Action Operation 概述： SparkCore中的算子可以分为两类：Transformations Operation、Action Operation。 在Spark的提交执行过程中，会将RDD及作用于其上的一系列算子（即：RDD及其之间的依赖关系）构建成一个DAG有向无环图。当遇到action类算子的时候就会触发一个job的提交，而Driver程序则会将触发的 job 提交给DA...
Spark Action 算子
weixin_43078951的博客
04-26 212
1、reduce(func) 作用：通过func函数聚集RDD中的所有元素，先聚合分区内数据，再聚合分区间数据。 2、collect() 作用：在驱动程序中，以数组的形式返回数据集的所有元素。 3、count() 作用：返回RDD中元素的个数 4、first() 作用：返回RDD中的第一个元素 5、take(n) 作用：返回一个由RDD的前n个元素组成的数组 6、takeOrdered(n) 作用...
Spark中的各种action算子操作（java版）
weixin_30496431的博客
12-27 129
在我看来，Spark编程中的action算子的作用就像一个触发器，用来触发之前的transformation算子。transformation操作具有懒加载的特性，你定义完操作之后并不会立即加载，只有当某个action的算子执行之后，前面所有的transformation算子才会全部执行。常用的action算子如下代码所列：（java版）package cn.spark.study.core; ...
Sobel边缘检测算法
cay22的专栏
05-14 9498
/************************************************************************ Sobel边缘检测 （scale=0.5）* 参数: image0为原图形，image1为边缘检测结果，w、h为图像的宽和高* 当type为true时，差分结果取水平和垂直方向差分中较大者，否则取平均值*****************
spark 常用算子大全（分类详细，图片解析）
BigData_Hubert的博客
09-25 7042
scala 系列 spark 常用算子大全 scala 常用算子大全scala 系列前言思维导图 前言 上一篇博客已经给大家介绍了 scala OOP， 掌握了OOP 的知识后，就已经算是进入 scala 的门了。scala OOP基础是 spark 和 flink 的基础。 本篇博客将为大家带来 scala 高级扩展的介绍。主要包括模式匹配和正则表达式，此外还有异常处理、注解和高级类型的简单了解。 思维导图 ...
lintcode 194. 寻找单词
sinb妃的博客
02-06 328
给定一个字符串str，和一个字典dict，你需要找出字典里的哪些单词是字符串的子序列，返回这些单词。 样例 Example 1: Input: str="bcogtadsjofisdhklasdj" dict=["book","code","tag"] Output: ["book"] Explanation:Only book is a subsequence of str Example 2...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值