spark
奇允
爱积累各种工具
展开
-
spark文档汇总
1.spark的谣言粉粹系列1.1 Spark Misconceptions 解释了spark不是内存计算模型、spark对比hadoop并不能都快10x-100x、spark并不是什么新的技术1.2 spark系列中文文章 博主是中科院的博士,人很nice,这个中文系列是目前我见到最好的。原创 2015-12-24 15:25:01 · 965 阅读 · 0 评论 -
spark开发环境
使用maven管理scala依赖包scala开发环境idea 如果没有scale-archetype-simple这项,可以通过新添加获取 <groupId>net.alchim31.maven</groupId><artifactId>scala-archetype-simple</artifactId><version>1.5</version><packaging>mave原创 2016-05-08 18:16:54 · 786 阅读 · 0 评论 -
Scala actor
主目录Akka Actorimport akka.actor.Actorimport akka.actor.ActorSystemimport akka.actor.Props //定义一个Actorclass HelloActor extends Actor { //如果接收到"hello",返回"您好", 如果接收到其它,返回"您是?" def receive = { ca原创 2017-11-15 17:53:23 · 291 阅读 · 0 评论 -
Spark Master和Work启动过程
参考Spark core篇一:Spark源码Master Worker启动消息通信原创 2017-11-17 17:31:11 · 1523 阅读 · 0 评论 -
Spark学习笔记(整理中)
spark服务启动过程 spark作业启动执行过程 相关服务分析 常用参数 常用算子原创 2017-11-15 18:57:19 · 260 阅读 · 0 评论 -
Spark编程常用操作
创建DataFrame从list创建l = [('Alice', 1)]# 类型自动推测,默认列名df=sqlContext.createDataFrame(l) # DataFrame[_1: string, _2: bigint]# 指定列名sqlContext.createDataFrame(l, ['name', 'age']) #DataFrame[name: string,原创 2017-12-12 18:31:16 · 384 阅读 · 0 评论