大数据与spark的简介

首先了解一下，大数据是什么呢？
大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据的四大V：数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值密度低(Value)第一代诞生的大数据生态圈是由Google通过各种发表关于Hadoop的相关论文，开源等措施推动的，然后各个成员跟随，例如Apache等。其标志性的组件为：Hadoop HDFS、Hadoop MapReduce, HBase、Hive。伴随着上面四个组件的成熟，第一代大数据生态圈逐渐成型。
在这里插入图片描述spark又是什么呢？
很多的时间场景下，Hadoop的计算速度以及模式已经不能完全的满足计算分析的需求，所以，在hadoop的基础上，我们增加了另外一个新的技术===SparkApache Spark是专为大规模数据处理而设计的快速通用的计算引擎 。现在形成一个高速发展应用广泛的生态系统。Spark最初由美国加州大学伯克利分校（UC Berkeley）的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。
二、Spark简介
1.Spark的特点
（1）运行速度快
使用DAG执行引擎以支持循环数据流与内存计算
（2）容易使用
支持使用Scala、Java、Python和R语言进行编程，可以通过Spark Shell进行交互式编程（3）通用性
Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组
（4）运行模式多样
可运行于独立的集群模式中，可运行于Hadoop中，也可运行于Amazon EC2等云环境中，并且可以访问HDFS、Cassandra、HBase、Hive等多种数据源。

进入2012年，大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。

Spark最初由美国加州大学伯克利分校（UC Berkeley）的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。
2013年Spark加入Apache孵化器项目后发展迅猛，如今已成为Apache软件基金会最重要的三大分布式计算系统开源项目之一（Hadoop、Spark、Storm）。
Spark在2014年打破了Hadoop保持的基准排序纪录。
Spark/206个节点/23分钟/100TB数据。
Hadoop/2000个节点/72分钟/100TB数据。
Spark用十分之一的计算资源，获得了比Hadoop快3倍的速度。
2.spark的特点
①运行速度快：使用DAG执行引擎以支持循环数据流与内存计算。
②容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过Spark Shell进行交互式编程 。
③通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组件。
④运行模式多样：可运行于独立的集群模式中，可运行于Hadoop中，也可运行于Amazon EC2等云环境中，并且可以访问HDFS、Cassandra、HBase、Hive等多种数据源 。
3.spark未来前景
Spark如今已吸引了国内外各大公司的注意，如腾讯、淘宝、百度、亚马逊等公司均不同程度地使用了Spark来构建大数据分析应用，并应用到实际的生产环境中。