![](https://img-blog.csdnimg.cn/20191113145749790.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop高级班课程
Hadoop离线项目剖析、Hadoop HA架构剖析、YARN HA架构剖析
zhikanjiani
这个作者很懒,什么都没留下…
展开
-
大数据实战第二课-Hadoop离线项目之数据清洗
一、开发流程: 项目调研:技术、业务 产品经理、项目经理 需求分析:做什么 做成什么样 用户提出来的:显示 隐示需求:不懂的客户要为客户提供方案 甘特图 方案设计: 概要设计、详设、系统设计(设计文档代码化) 功能开发: 开发 测试:功能单元测试 CICD 测试: 功能 联调 性能 用户 试用(像我们erp系统开发、测试人员测试完后交由需求提出方进行测试) 部署上线: 试运行 DIFF 稳...原创 2019-04-13 16:22:34 · 1312 阅读 · 0 评论 -
大数据实战第一课-基于hadoop的生态离线项目梳理
一、 Hadoop: HDFS、YARN 、MapReduce(数据清洗) Hadoop集群 Hive: 外部表进行关联,SQL进行数据处理 数据倾斜如何优化? 基于元数据管理(元数据?) SQL ==> MapReduce Flume: 进行数据采集 调度: crontab、shell、Azkaban HUE:可视化的基于notebook 排查数据 二、从通用项目来看 集群规模==》每...原创 2019-04-13 15:35:40 · 728 阅读 · 0 评论