![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scala
hello_zzw
这个作者很懒,什么都没留下…
展开
-
mac配置Scala环境
1.官网下载对应的压缩包官网下载地址:https://www.scala-lang.org/download/进入后,默认是2.12.8我下载的是2.11.12,在当前页面可以找到以前的版本选择自己要下载的版本在最下面有压缩包2.下载压缩包,解压到指定目录tar -zxf scala-2.11.12.tgz -C /Users/zzw/Downloads/3.在/etc/p...原创 2019-05-20 18:58:52 · 795 阅读 · 0 评论 -
广播变量
当Executor端使用到Driver端的变量时,该变量就会产生副本随着task放到Executor中,一个task对应着一个变量副本,如果使用这个变量的task有1000个,则就会产生1000个副本。广播变量:将Executor端使用到的Driver端的变量生成一个副本,放到Executor端的BlockManager。有几个Executor使用到对用的变量,就有几个副本无论该Executo...原创 2019-05-28 20:03:42 · 1563 阅读 · 3 评论 -
Failed to construct terminal; falling back to unsupported java.lang.NumberFormatException: For input
在启动scala时报以下错误Welcome to Scala 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_181).Type in expressions for evaluation. Or try :help.[ERROR] Failed to construct terminal; falling back to uns...原创 2019-05-24 11:22:36 · 4670 阅读 · 4 评论 -
Spark context stopped while waiting for backend
spark提交任务到yarn上执行时,出现以下问题:ERROR TransportClient:233 - Failed to send RPC 7036352720568735489 to /172.16.96.152:34091: java.nio.channels.ClosedChannelExceptionjava.nio.channels.ClosedChannelException...原创 2019-05-23 20:44:45 · 3912 阅读 · 0 评论 -
Standalone-client|cluster
Standalone-client1.任务提交 ./spark-submit --master spark://node1:7077 #master在那个节点上 --deploy-mode client #任务提交方式,client cluster两种,不写的情况下默认是client --class org.apache.spark.examples.SparkPi #类名...原创 2019-05-23 19:23:02 · 330 阅读 · 0 评论 -
SparkCore
一、RDD:Resilient Distributed DateSet,弹性分布式数据集五大特性是由一系列partition组成函数作用在每个partition上partition之间有一系列依赖关系分区器作用在K,V格式的RDD上RDD提供一些列最佳的计算位置1.默认情况下,一个block对应一个partition2.RDD并不存储数据,我的理解是: RDD就是一些套在数...原创 2019-05-22 22:25:05 · 147 阅读 · 0 评论 -
Spark资源调度和任务调度
在了解资源调度和任务调度之前,需要先了解一下宽窄依赖和Stage两个概念1.宽窄依赖RDD之间是有依赖关系的,分为宽依赖和窄依赖宽依赖 父RDD和子RDD之间的对应关系是一对多,即一个RDD中的数据会被放到多个子RDD中窄依赖 父RDD和子RDD之间的对应关系是一对一或多对一,即一个父RDD中的数据去往一个子RDD或多个父RDD中的数据去一个子RDD2.StageSpark任务会...原创 2019-05-25 11:11:28 · 164 阅读 · 0 评论 -
scala break和continue
1.导入import scala.util.control.Breaks._2.使用breakable包裹要跳出的范围,在break跳出时,会跳出到将自己包裹离自己最近的breakable在跳出时会跳出到breakable包裹的范围//跳出最外层for循环breakable{ for (i <- 1 to 10;j <- 1 to i){ pri...原创 2019-05-20 20:33:37 · 135 阅读 · 0 评论 -
scala getter和setter
当类的属性是公共的实时可以通过“对象.属性” 直接调用,当属性是private私有时,则无法直接调用,这时就需要该字段的getter和setter进行访问。scala中的getter和setter方法是通过value和value_=进行实现的,以下是具体的实现object GetterSetterTest { def main(args: Array[String]): Unit = {...原创 2019-05-20 19:51:43 · 480 阅读 · 0 评论 -
累加器
当在Driver端定义一个变量后,在Executor内对该变量的修改,对Driver端内的变量是无影响的。想要在Executor中对Driver端的变量进行修改,可以使用累加器//每次累加整型的值,给累加器起名字:aaa,通过aaa.name可以获取val aaa = sc.longAccumulator("aaa")val bbb = sc.longAccumulator//每次累加小数...原创 2019-05-28 20:41:41 · 1346 阅读 · 0 评论