- 博客(3)
- 资源 (9)
- 收藏
- 关注
原创 Spark 运行第一个Scala程序WordCount
安装首先去官网下载Spark。注意Spark和Hadoop之间版本对应关系,我自己装的Hadoop 2.7.5版本,按照下面方式下载即可。 下载完成后,解压安装包至路径/usr/localtar -zxf ./spark-2.3.0-bin-hadoop2.7.tgz -C /usr/local/cd /usr/localsudo mv ./spark-2.3.0-bin-had...
2018-04-13 10:37:28 23992 1
原创 Spark基本架构及运行原理
Spark软件栈Spark Core:包含Spark的基本功能,包含任务调度,内存管理,容错机制等,内部定义了RDDs(弹性分布式数据集),提供了很多APIs来创建和操作这些RDDs。为其他组件提供底层的服务。Spark SQL:Spark处理结构化数据的库,就像Hive SQL,Mysql一样,企业中用来做报表统计。Spark Streaming:实时数据...
2018-04-12 13:20:39 28961 4
原创 Hadoop之WordCount实战详解
WorldCount可以说是MapReduce中的helloworld了,单词计数主要完成的功能是:统计一系列文本文件中每个单词出现的次数,通过完成这个简单程序让读者摸清 MapReduce 程序的基本结构。 特别是对于每一个阶段的函数执行所产生的键值对。这里对MapReduce过程原理不过多说明。环境说明CentOS 7Hadoop 2.7.5JDK 1.8IDE是IDEA+Gr...
2018-04-04 16:26:00 5658 1
ksoap2-android
2016-07-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人