- (简答题) 简述大数据处理的基本流程。
大数据处理的基本流程主要包括:数据采集、存储管理、处理分析、结果呈现等环节。
- (简答题) 请列举hadoop生态系统的各个组件及其功能。
Ambari就是创建、管理、监视 Hadoop 的集群,是为了让 Hadoop 以及相关的大数据软件更容易使用的一个web工具。
Zookeeper:分布式协调服务基础组件,可以用ZooKeeper来做:统一配置管理、统一命名服务、分布式锁、集群管理。
Hbase:基于HADOOP的分布式海量数据库。
Hive:基于大数据技术(文件系统+运算框架)的SQL数据仓库工具。
Pig:一种数据流语言和运行环境,常用于检索和分析数据量较大的数据集。
Mahout:主要目标是创建一些可扩展的机器学习领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout现在已经包含了聚类、分类、推荐引擎(协同过滤)和频繁集挖掘等广泛使用的数据挖掘方法。除了算法,Mahout还包含数据的输入/输出工具、与其他存储系统(如数据库、Mong