hadoop
zoebb
这个作者很懒,什么都没留下…
展开
-
面试刷题参考
1/大数据https://blog.csdn.net/zuolixiangfisher/article/details/889731592/sparkhttps://blog.csdn.net/zuolixiangfisher/article/details/889731593/javahttps://blog.csdn.net/qq_16633405/article/details/7...原创 2019-11-06 21:08:24 · 124 阅读 · 0 评论 -
数仓建设,数据分层
概述粗放型的数据接入,对数据使用不利。作用:屏蔽原始数据的异常,便于血缘追踪,清晰数据结构,减少重复开发,复杂问题简单化,屏蔽业务影响。分层参考,实际情况实际分析:1/ 数据源—ODS数据源包括日志/Oracle等/其他hive库日志—hive,jar解析oracle—sqoop导入其他hive—走程序申请权限,接入数据先接入到临时表,然后处理处理:规范年月日时间长度,规范nu...原创 2019-11-06 20:34:24 · 402 阅读 · 0 评论 -
seconderyNameNode和NameNode的HA
概述:Hadoop 2.0之前,用seconderyNameNode,Hadoop2.0之后用HA。snn是namenode的checkpoint节点,它定时的去namenode拿到edits.log(增删改查信息),然后去更新fsimage(元数据的序列化存储),把fsimage给namenode。这样namenode就是有一个checkpoint,如果宕机,可以直接复制snn的fsimag...原创 2019-11-06 19:35:52 · 146 阅读 · 0 评论 -
Oozie学习总结
总览Oozie是一个管理Hadoop作业、可伸缩、可扩展、可靠的工作流调度系统。参考,和阿兹卡班以及其他调度任务对比(侵删):https://blog.csdn.net/weixin_36836847/article/details/96379318主要有三大功能模块构成:workflow(工作流):定义job任务执行。Coordinator:定时触发workflow,周期性执行wor...原创 2019-10-28 16:04:25 · 162 阅读 · 0 评论