《网络安全态势感知-提取、理解和预测》笔记：一

1 大数据基础

1.1 大数据的定义和特点

• 麦肯锡
  一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据模型、快速的数据流转、多样的数据类型和价值密度低四大特征。
• 研究机构Gartner
  大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
• 《大数据时代》
  大数据是指不用传统的随机分析法这样的捷径，而是采样所有数据进行分析处理。
• 数据中心IDC
  大数据处理技术代表了新一代的技术架构，这种架构通过高速获取数据并对其进行分析和挖掘，从海量且形式各异的数据源中更有效地抽取富含价值的信息。

如果把大数据比作一种产业，那么这种产业实现盈利的关键就在于提高数据的“加工能力”，通过“加工”实现数据的“增值”。

1.2 大数据关键技术

• 数据采集和预处理
• 数据存储与管理
• 数据处理与分析
• 数据可视化呈现

1.3 大数据计算模式

• 批量处理计算
  批处理计算是最常见的一类数据处理类型，主要用于大规模数据进行批量的处理其代表产品我们熟知的有：MapReduce、Spark等。
• 流式计算
  流式计算是近年来兴起、发展迅猛的计算方式。流式数据是随时间分布和数量上无限的一系列动态数据集合体，数据价值随时间流逝而降低，必须采用实时计算方式给出响应。流式计算就何以实时处理多源、连续到达的流式数据，并实时分析处理，如：storm、S4、Spark Streaming等。
• 交互式查询计算
  主要用于超大规模数据的存储管理和查询分析，提供实时或准实时的响应，如：Impala、Cassandra、hive等。
• 图计算
  图计算是以“图论”为基础的对现实世界的一种“图”结构的抽象表达，一集在这种数据结构上的计算模式，如：GraphX、Giraph等。

2 大数据主流平台框架

2.1 Hadoop

Hadoop是Apache软件基金会下的一个开源分布式计算平台，它将一个大型的任务切割成多个部分给多台计算机，让每台计算机处理其中一部分。

• 在硬盘存储层面，Hadoop的数据处理工作借助HDFS，将架构下每一台计算机中的硬盘资源汇聚起来，无论存储计算还是调用，都可是作为一个硬盘使用。
• 在资源管理层面，Hadoop使用集群管理和调度软件YARN。
• 在计算处理层面，Hadoop利用MapReduce计算框架进行计算编程，将复杂的、运行在大规模集群上的并行计算过程高度抽象为两个函数：Map和Reduce。

特点

• 高可靠性
  采用冗余数据存储方式，即使某副本发生故障，其他的仍能正常提供服务。
• 高效性
  采用分布式存储和分布式处理两大核心技术，能高效处理PB级别数据