SPARK
zhangxiong0301
这个作者很懒,什么都没留下…
展开
-
SPARK 1.2.0 编译
编译的是 CDH5.3.0版本的spark,跟我们现在的hadoop(HADOOP-2.5.0-CDH5.3.0)集群匹配 ,下载地址:http://archive.cloudera.com/cdh5/cdh/5/ 1.准备MAVEN,这是必须的,当然机器要能联网,以便MAVEN可以在线下载依赖的jar包。装maven就是下载和配置MAVEN_HOME,PATH,简单。 2.查...原创 2015-03-14 18:07:55 · 97 阅读 · 0 评论 -
spark1.0配置(转载)
1:Spark1.0.0属性配置方式 Spark属性提供了大部分应用程序的控制项,并且可以单独为每个应用程序进行配置。 在Spark1.0.0提供了3种方式的属性配置: SparkConf方式 SparkConf方式可以直接将属性值传递到SparkContext; SparkConf可以对某些通用属性直接配置,如master使用setMaster,appna...原创 2015-03-15 14:32:14 · 98 阅读 · 0 评论 -
SPARK调度机制--翻译(原创)
spark作业调度 概述 spark有多种方式调度各个计算所需的资源. 首先,每个application(即sparkContext实例)有一组独立的Executor进程。各种cluster manager(yarn Resource manager,standalone master等等)为application间的调度提供自己的方式。 ...原创 2015-03-15 20:06:17 · 215 阅读 · 0 评论 -
spark on yarn 模式开启historyserver(转载)
Spark history Server产生背景 以standalone运行模式为例,在运行Spark Application的时候,Spark会提供一个WEBUI列出应用程序的运行时信息;但该WEBUI随着Application的完成(成功/失败)而关闭,也就是说,Spark Application运行完(成功/失败)后,将无法查看Application的历史记录; Spark histo...原创 2015-03-16 14:32:53 · 720 阅读 · 0 评论 -
spark问题记录
1.问题:spark配置history server后,执行./bin/spark-shell --master yarn-client。在该shell里面执行action后退出shell,此时history server的webUI上不出现这个shell application。 解决:driver在SparkContext使用stop()方法后才将完整的信息提交到指定的目录,如果不使用st...原创 2015-03-16 21:40:27 · 122 阅读 · 0 评论 -
Spark Streaming容错的改进和零数据丢失(转)
作者:Tathagata Das 译者:彭根禄 本文来自Spark Streaming项目带头人 Tathagata Das的博客文章,他现在就职于Databricks公司。过去曾在UC Berkeley的AMPLab实验室进行大数据和Spark Streaming的研究工作。本文主要谈及了Spark Streaming容错的改进和零数据丢失。 以下为原文: 实时流处理系统必须要能在24/...原创 2015-12-09 11:18:17 · 271 阅读 · 1 评论