Spark
二师兄1986
这个作者很懒,什么都没留下…
展开
-
搭建基于mesos的spark集群
1、准备1)、安装scala(略)2)、安装mesos2、安装# mkdir /usr/local/spark# cd /usr/local/spark# wget http://d3kbcqa49mib13.cloudfront.net/spark-2.0.1-bin-hadoop2.7.tgz# tar -zxvf spark-2.0.1-bin-hadoop2.原创 2017-02-07 17:10:55 · 5045 阅读 · 8 评论 -
计算引擎整体设计实例
概述:以数据为中心,覆盖数据的采集到可视化展现整个流程,提供流式和离线两种实时计算方式加工处理数据,针对加工后的数据提供丰富的可视化展现,也可以自行定制个性化的数据展现。原创 2017-02-08 17:55:03 · 2745 阅读 · 0 评论 -
Spark配置参数
以下是整理的Spark中的一些配置参数,官方文档请参考Spark Configuration。Spark提供三个位置用来配置系统:Spark属性:控制大部分的应用程序参数,可以用SparkConf对象或者Java系统属性设置环境变量:可以通过每个节点的 conf/spark-env.sh脚本设置。例如IP地址、端口等信息日志配置:可以通过log4j.properties配置转载 2017-03-22 09:40:10 · 1170 阅读 · 0 评论