期末总结 —— 大数据

一、Hadoop

• 在大数据时代，基于大数据技术的职位得到更好的发展机会，因此成为很多人的职业选择，在大数据技术学习当中，大家常常会听到的一个词就是Hadoop，这也是目前大数据处理的核心技术。很多刚开始学习的人，常常会问Hadoop是什么？有什么用处？
• 所谓大数据，对于它的定义，是有典型的4V特征，包括Volume、Variety、Value和Velocity，翻译过来就是数据体量大、数据类型多样、价值密度低、数据产生速度快。而大数据处理，就是要处理这些量大、类型多、密度低、产生速度快的数据。
• 相比于传统的数据，处理大数据需要的存储量大、计算量也大，除了数字、还有文字、声音、视频、网络日志、视频、图片、地理位置信息等多种数据，处理这样的数据，就需要Hadoop技术来实现。
• 大数据处理需要解决的关键性问题，包括数据采集与数据管理、分布式存储和并行计算、大数据应用开发、数据分析与挖掘、大数据前端应用、数据服务和展现等，而这些问题在Hadoop框架下，基本都能够有相应的解决方案。
• Hadoop是做什么的？作为目前主流的大数据处理分布式架构之一，Hadoop就是基于大规模数据处理任务需求的满足。

Hive

hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。

Hbase

• HBase是建立在Hadoop文件系统之上的分布式面向列的数据库。它是一个开源项目，是横向扩展的。

• HBase是一个数据模型，类似于谷歌的大表设计，可以提供快速随机访问海量结构化数据。它利用了Hadoop的文件系统（HDFS）提供的容错能力。

• 它是Hadoop的生态系统，提供对数据的随机实时读/写访问，是Hadoop文件系统的一部分。

• 人们可以直接或通过HBase的存储HDFS数据。使用HBase在HDFS读取消费/随机访问数据。 HBase在Hadoop的文件系统之上，并提供了读写访问。

总结

信息化时代的今天，我们的互联网上拥有海量的数据，大数据时代来临，我们应该如何把握时机呢?
学习大数据课程中最大的收获，是认知被刷新。终于算是入门了解了一点"大数据"的概念和操作方法，和自己之前臆想的差别还是很大——我以为大数据就是学生做很多题，各种形式，最后知道他的弱项在哪里，然后根据弱项反复练习;而实际上，大数据是指数以万计的小数据之和，在教育和学习上的应用主要是适应性学习和学习分析，最终提供给每一个学生定制的学习内容、方式和学习进度，帮助老师寻找最有效率的教学方式。运用大数据，可以将关注学生学习结果的单回路学习，变成关注学生学习过程和结果的双回路学习。
大数据除了有重塑学习行为，提供及时有效的反馈、提供个性化学习和概况预测等等好处之外，不合理使用，还存在危害，这也是我之前没有想过的:泄露学习者的隐私、过去的数据永远存在对学习者未来的束缚，以及通过概率预测进行分流可能带来的被拉大阶层之间的鸿沟。
大数据，通过追踪、观察学生的学习进程，大量收集个别学生及更多学生的学习情况数据，然后提取其中的信息，优化设计学习内容、进度和时间，以提高教师的教学和学生的学习效率及成绩，最终实现个性化的定制教学。
在线课程、电子课本、视频学习、论坛回复等，都是大数据运用的平台。有比较多的大数据学习平台已经逐步投入使用。