Hadoop生态离线项目

Hadoop：HDFS MapReduce(清洗） YARN
Hive：外部表 SQL 数据倾斜
基于元数据管理
SQL是如何转换为MapReduce的。
Flume进行调度：crontab shell Azkaban
HUE：可视化的notebook，用于排查数据。
大数据项目：
集群规模–》每台机器的配置–》机型（物理机机型）

一、Hadoop离线处理架构

整个流程开发步骤：（1）数据采集server–>hadoop
（2）ETL
（3）raw -->target（external table location）
（4）业务统计：SQL–>dest table
(5) web ui(HUE)

ETL中的mapreduce场景
1、map+reduce
2、map
3、mapreduce chain

1、map去hdfs的input文件夹下读取数据，
2、在map方法中进行数据的清洗操作
问？清洗完的数据采取行式还是列式