使用oozie实现spark定时调度和spark依赖
oozie是针对hadoop的任务调度框架,因为spark on yarn的模式是基于hadoop的任务调度模块yarn来做的,所以spark on yarn模式可以利用oozie的定时模块和任务依赖调度模块,实现按时按步骤的执行spark的job,下面就简单介绍一下刚使用oozie时容易忽略和比较重要的地方。最简单来讲,一个简单依赖关系的ooziejob,需要一个提交到hdfs上的xml用来解析
原创
2017-08-07 12:00:35 ·
9995 阅读 ·
0 评论