初识spark

初始spark

含义：基于内存计算的大数据并行计算框架

优势：快

应用范围：广告业务，准实时报表

spark专用编程语言Scala

scala使用函数式编程思维来开发程序，门槛比java高

Scala核心：RDD,RDD全称为弹性分布式数据集

spark数据处理的基本流程：先创建RDD，然后对RDD进行数据处理

map(func)：通过 func 函数，对 RDD 数据转换生成新 RDD，可以简单理解为 Python 中 lambda 函数。

filter(func)：对于原有 RDD 中，满足经过 func 处理后返回 True 的数据保留下来，生成新数据集合。

flatMap(func)：将原有数据打平，可以简单理解为行转列。

sample(withReplacement, fraction, seed)：对原有 RDD 抽样，生成新 RDD
union(otherDataset)： 将两个 RDD 合并后生成新 RDD。

reduceByKey(func, [numPartitions])：针对( K, V )样式 RDD，将 K 作为被聚合的 key，计算 V 的值。

repartition(numPartitions)：将原有 RDD 重新组合到不同的分区中，比如原来 RDD 在 1000 个分区上，小文件过多，但实际只有几 MB 数据，这时一般会 reshuffle 到一个分区即可。

小结：通过transformations生成的RDD是惰性求值的

实战：

数据源：

统计数据总行数，统计各省份的访问次数总和，统计过滤出大于50万次访问次数的省份

学习网站

spark官网：examples

spark入门中文文档

Scala官网

Twitter Scala课堂