- (简答题) 简述大数据处理的基本流程。
大数据处理的基本流程主要包括:数据采集、存储管理、处理分析、结果呈现等环节。
- (简答题) 请列举hadoop生态系统的各个组件及其功能。
Ambari就是创建、管理、监视 Hadoop 的集群,是为了让 Hadoop 以及相关的大数据软件更容易使用的一个web工具。
Zookeeper:分布式协调服务基础组件,可以用ZooKeeper来做:统一配置管理、统一命名服务、分布式锁、集群管理。
Hbase:基于HADOOP的分布式海量数据库。
Hive:基于大数据技术(文件系统+运算框架)的SQL数据仓库工具。
Pig:一种数据流语言和运行环境,常用于检索和分析数据量较大的数据集。
Mahout:主要目标是创建一些可扩展的机器学习领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智